阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

requests

25次阅读
没有评论

共计 2392 个字符,预计需要花费 6 分钟才能阅读完成。

我们已经讲解了 Python 内置的 urllib 模块,用于访问网络资源。但是,它用起来比较麻烦,而且,缺少很多实用的高级功能。

更好的方案是使用requests。它是一个 Python 第三方库,处理 URL 资源特别方便。

安装 requests

如果安装了 Anaconda,requests就已经可用了。否则,需要在命令行下通过 pip 安装:

$ pip install requests

如果遇到 Permission denied 安装失败,请加上 sudo 重试。

使用 requests

要通过 GET 访问一个页面,只需要几行代码:

>>> import requests
>>> r = requests.get('https://www.douban.com/') # 豆瓣首页
>>> r.status_code
200
>>> r.text
r.text
'<!DOCTYPE HTML>\n<html>\n<head>\n<meta name="description"content=" 提供图书、电影、音乐唱片的推荐、评论和...'

对于带参数的 URL,传入一个 dict 作为 params 参数:

>>> r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'})
>>> r.url # 实际请求的 URL
'https://www.douban.com/search?q=python&cat=1001'

requests 自动检测编码,可以使用 encoding 属性查看:

>>> r.encoding
'utf-8'

无论响应是文本还是二进制内容,我们都可以用 content 属性获得 bytes 对象:

>>> r.content
b'<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv="Content-Type"content="text/html; charset=utf-8">\n...'

requests 的方便之处还在于,对于特定类型的响应,例如 JSON,可以直接获取:

>>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json')
>>> r.json()
{'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', ...

需要传入 HTTP Header 时,我们传入一个 dict 作为 headers 参数:

>>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})
>>> r.text
'<!DOCTYPE html>\n<html>\n<head>\n<meta charset="UTF-8">\n <title> 豆瓣(手机版)</title>...'

要发送 POST 请求,只需要把 get() 方法变成 post(),然后传入data 参数作为 POST 请求的数据:

>>> r = requests.post('https://accounts.douban.com/login', data={'form_email': '[email protected]', 'form_password': '123456'})

requests默认使用 application/x-www-form-urlencoded 对 POST 数据编码。如果要传递 JSON 数据,可以直接传入 json 参数:

params = {'key': 'value'}
r = requests.post(url, json=params) # 内部自动序列化为 JSON

类似的,上传文件需要更复杂的编码格式,但是 requests 把它简化成 files 参数:

>>> upload_files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=upload_files)

在读取文件时,注意务必使用 'rb' 即二进制模式读取,这样获取的 bytes 长度才是文件的长度。

post() 方法替换为 put()delete() 等,就可以以 PUT 或 DELETE 方式请求资源。

除了能轻松获取响应内容外,requests对获取 HTTP 响应的其他信息也非常简单。例如,获取响应头:

>>> r.headers
{Content-Type':'text/html; charset=utf-8','Transfer-Encoding':'chunked','Content-Encoding':'gzip', ...}
>>> r.headers['Content-Type']
'text/html; charset=utf-8'

requests对 Cookie 做了特殊处理,使得我们不必解析 Cookie 就可以轻松获取指定的 Cookie:

>>> r.cookies['ts']
'example_cookie_12345'

要在请求中传入 Cookie,只需准备一个 dict 传入 cookies 参数:

>>> cs = {'token': '12345', 'status': 'working'}
>>> r = requests.get(url, cookies=cs)

最后,要指定超时,传入以秒为单位的 timeout 参数:

>>> r = requests.get(url, timeout=2.5) # 2.5 秒后超时

小结

用 requests 获取 URL 资源,就是这么简单!

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2024-08-07发表,共计2392字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中