一、发送请求
使用Requests发送网络请求非常简单:
# 导入requests模块,若未安装需要先安装(如: pip install requests) import requests # # GET请求 r = requests.get('https://api.github.com/events') # # POST请求 r = requests.post('http://httpbin.org/post', data={'key': 'value'}) # # DELETE请求 r = requests.delete('http://httpbin.org/delete') # # HEAD请求 r = requests.head('http://httpbin.org/get') # # OPTION请求 r = requests.options('http://httpbin.org/get')
二、传递URL参数
Requests允许使用params关键字参数,以一个字符串字典来为URL提供参数:
# 将参数以字典形式传递给params payload = {'key1': 'value1', 'key2': 'value2'} r = requests.get('http://httpbin.org/get', params=payload) print(r.url) # # 还可以将一个列表作为值传入 payload = {'key1': 'value1', 'key2': ['value2', 'value3']} r = requests.get('http://httpbin.org/get', params=payload) print(r.url)
三、响应内容
我们能读取服务器响应的内容:
import requests r = requests.get('https://api.github.com/events') # # 使用r.text时,requests会自动检测文本编码并将内容打印出来 print(r.text) # # 我们可以通过修改r.encoding来修改编码方式 print(r.encoding) # 'utf-8'非常常见 r.encoding = 'ISO-8859-1' # # 有些HTML、XML页面指定了不同的编码,我们可以通过r.content来找到编码,然后设置r.encoding为响应的编码,这样既可正确解析r.text。
四、二进制响应内容
对于非文本请求,我们也能以字节的方式访问请求响应体:
print(r.content) # # Requests会自动解码gzip、deflate传输编码的响应数据 # 例如,以请求返回的二进制数据创建一张图片: from PIL import Image from io import BytesIO i = Image.open(BytesIO(r.content))
五、JSON响应内容
Requests中有一个内置的JSON解码器,可以帮助我们处理JSON数据
import requests r = requests.get('https://api.github.com/events') # # 使用r.json()来解析json格式的数据,若解析失败,会抛出一个异常。 print(r.json()) # # r.json()调用成功并不意味着响应成功,检查请求是否成功可以使用如下两个方式: print(r.raise_for_status()) print(r.status_code)
六、原始响应内容
在罕见的情况下,我们可能想获取来自服务器的原始套接字响应:
r = requests.get('https://api.github.com/events', stream=True) print(r.raw) print(r.raw.read(10)) # # 但一般情况下,我们应该先将文本流保存到文件 with open(filename, 'wb') as writer: for chunk in r.iter_content(chunk_size): writer.write(chunk)
七、定制请求头
如果想为请求添加HTTP头部,只要简单地传递一个dict给headers参数即可:
url = 'https://api.github.com/some/endpoint' headers = {'user-agent': 'my-app/0.0.1'} r = requests.get(url, headers=headers) # # 定制header的优先级低于某些特定的信息源,如: # 1. 如果在.netrc中设置了用户认证信息,使用headers=设置的授权就不会生效,而如果设置了auth=参数,.netrc的设置就无效了。 # 2. 如果被重定向到别的主机,授权header就回被删除 # 3. 代理授权header会被URL中提供的代理身份覆盖掉 # 4. 在我们能判断内容长度的情况下,header的Content-Length会被改写。
八、更复杂的POST请求
通常,你想要发送一些编码为表单形式的数据--非常像一个HTML表单,要实现这个,只需要简单传递一个字典给data参数,它会自动编码:
payload = {'key1': 'value1', 'key2': 'value2'} r = requests.post('http://httpbin.org/post', data=payload) print(r.text) # # data参数还接受元组的形式 payload = (('key1', 'value1'), ('key2', 'value2')) r = requests.post('http://httpbin.org/post', data=payload) print(r.text) # # 很多时候我们想要发送的数据并非编码为表单形式的,比如我们就是要传递string而不是按照dict解析,那么数据将会被直接发布出去 import json url = 'https://api.github.com/some/endpoint' payload = {'some': 'data'} r = requests.post(url, data=json.dumps(payload)) # # 除了自行对dict编码,还可以使用json参数直接传递: r = requests.post(url, json=payload)
九、POST一个多部分编码(Multipart-Encoded)的文件
# 如:上传xls文件 url = 'http://httpbin.org/post' files = {'file': open('report.xls', 'rb')} r = requests.post(url, files=files) print(r.text) # # 我们可以显式地设置文件名、文件类型和请求头: url = 'http://httpbin.org/post' files = {'file': ('report.xls', open('report.xls', 'rb'), \ 'application/vnd.ms-excel', {'Expires': '0'})} r = requests.post(url, files=files) print(r.text) # # 我们也可以发送作为文件来接收的字符串 url = 'http://httpbin.org/post' files = {'file': ('report.csv', 'some,data,to,send\nanather,row,to,send\n')} r = requests.post(url, files=files) print(r.text)
十、响应状态码
r = requests.get('http://httpbin.org/get') print(r.status_code) # # 为方便引用,Requests还附带了一个内置的状态码查询对象 print(r.status_code == requests.codes.ok) # # 如果发送了一个错误请求(比如一个4XX客户端错误,或者5XX服务器错误响应),我们可以通过Response.raise_for_status()来抛出异常: bad_r = requests.get('http://httpbin.org/status/404') print(bad_r.status_code) bad_r.raise_for_status()
十一、响应头
# 我们可以查看以字典形式展示的服务器响应头 print(r.headers) # # eg.1 一个响应头 { 'content-encoding': 'gzip', 'transfer-encoding': 'chunked', 'connection': 'close', 'server': 'nginx/1.0.4', 'x-runtime': '148ms', 'etag': '"e1ca502697e5c9317743dc078f67693f"', 'content-type': 'application/json' } # # HTTP头部是大小写不敏感的,因此如下都是可以的: print(r.headers['Content-Type']) print(r.headers.get('content-type')
十二、Cookie
# 通过.cookies可以访问响应所包含的cookie url = 'http://example.com/some/cookie/setting/url' r = requests.get(url) print(r.cookies['example_cookie_name']) # # 要发送cookies到服务器,可以使用cookies参数: url = 'http://httpbin.org/cookies' cookies = dict(cookies_are='working') r = requests.get(url, cookies=cookies) print(r.text) # # Cookie的返回对象是RequestsCookieJar,它的行为和字典类似,但接口更完整,适合跨域名和跨路径使用,我们还可以把Cookie Jar传到Requests中: jar = requests.cookies.RequestsokieJar() jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies') jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere') url = 'http://httpbin.org/cookies' r = requests.get(url, cookies=jar) print(r.text)
十三、重定向与请求历史
默认情况下,除了HEAD,Requests会自动处理所有重定向。
可以使用响应对象的history方法来追踪重定向,Response.history是一个Response对象的列表,这个对象列表按照从最老到最近的请求进行排序。
r = requests.get('http://github.com') print(r.url) print(r.status_code) print(r.history) # # 如果使用的是GET、OPTIONS、POST、PUT、PATCH或者DELETE,那么我们可以通过allow_redirects参数禁用重定向处理: r = requests.get('http://github.com', allow_redirects=False) print(r.status_code) print(r.history) # # 如果使用了HEAD,我们也可以启用重定向: r = requests.head('http://github.com', allow_redirects=True) print(r.url) print(r.history)
十四、超时
timeout参数用于设置等待响应的最长时间,即requests会在等待该时间之后停止等待响应。若不设置该参数,程序可能会永远失去响应:
requests.get('http://github.com', timeout=0.001)
十五、错误与异常
- 遇到网络问题时,Requests会抛出一个ConnectionError异常
- 如果HTTP请求返回了不成功的状态码,Response.raise_for_status()会抛出一个HTTPError异常
- 若请求超时,则抛出Timeout异常
- 若请求超过了设定的最大重定向次数,则抛出TooManyRedirects异常
- 所有Requests显式抛出的异常都继承自requests.exceptions.RequestException
本文暂时没有评论,来添加一个吧(●'◡'●)