编程开源技术交流,分享技术与知识

网站首页 > 开源技术 正文

python3—requests讲解(四渡赤水图示及讲解路线图)

wxchong 2024-08-31 04:00:37 开源技术 9 ℃ 0 评论

requests库是一个常用的用于http请求的模块,它使用python语言编写,可以方便的对网页进行爬取,是学习python爬虫的较好的http请求模块。

1、requests模块的安装

WIN+R——cmd——pip install requests即可。

如果遇到read timeout(访问超时)的问题,可参考链接文章:you-get介绍及python如何利用you-get工具进行网页视频的爬取?中you-get工具借用豆瓣代理的下载安装方式。

2、requests模块的使用方法

2.1 requests库的几个主要方法:

(1)requests.get()

这个方法是我们平时最常用的方法之一,通过这个方法我们可以了解到其他的方法,所以我们详细介绍这个方法。 具体参数是:

r=requests.get(url,params,**kwargs)
  • url: 需要爬取的网站地址。
  • params: 翻译过来就是参数, url中的额外参数,字典或者字节流格式,可选。
  • **kwargs : 12个控制访问的参数

params:字典或字节序列, 作为参数增加到url中,使用这个参数可以把一些键值对以?key1=value1&key2=value2的模式增加到url中 例如:kw= {'key1':' values', 'key2': 'values'} r = requests.get('http:www.python123.io/ws', params=kw)

a.发送无参数的get请求:


b.发送带参数的get请求:


以上得知,我们的get参数是以params关键字参数传递的。

此外,还可以传递一个list给一个请求参数:


以上就是get请求的基本形式。

**kwargs有以下的参数:

  • data:字典,字节序或文件对象,重点作为向服务器提供或提交资源是提交,,作为requests的内容,与params不同的是,data提交的数据并不放在url链接里, 而是放在url链接对应位置的地方作为数据来存储。它也可以接受一个字符串对象。
  • json:json格式的数据, json合适在相关的html,http相关的web开发中非常常见, 也是http最经常使用的数据格式, 他是作为内容部分可以向服务器提交。 例如:kv = {'key1': 'value1'} r = requests.post('http://python123.io/ws', json=kv)
  • headers:字典是http的相关语,对应了向某个url访问时所发起的http的头i字段, 可以用这个字段来定义http的访问的http头,可以用来模拟任何我们想模拟的浏览器来对url发起访问。 例子: hd = {'user-agent': 'Chrome/10'} r = requests.post('http://python123.io/ws', headers=hd)
  • cookies:字典或CookieJar,指的是从http中解析cookie
  • auth:元组,用来支持http认证功能
  • files:字典, 是用来向服务器传输文件时使用的字段。 例子:fs = {'files': open('data.txt', 'rb')} r = requests.post('http://python123.io/ws', files=fs)
  • timeout: 用于设定超时时间, 单位为秒,当发起一个get请求时可以设置一个timeout时间, 如果在timeout时间内请求内容没有返回, 将产生一个timeout的异常。
  • proxies:字典, 用来设置访问代理服务器。
  • allow_redirects: 开关, 表示是否允许对url进行重定向, 默认为True。
  • stream: 开关, 指是否对获取内容进行立即下载, 默认为True。
  • verify:开关, 用于认证SSL证书, 默认为True。
  • cert: 用于设置保存本地SSL证书路径

其中response(即:r)对象有以下属性:


我们可以单击桌面左下角的WIN按钮,找到python安装包,打开IDLE来亲自操作熟悉response的属性。


requests库的异常

注意requests库有时会产生异常,比如网络连接错误、http错误异常、重定向异常、请求url超时异常等等。所以我们需要判断r.status_codes是否是200,在这里我们怎么样去捕捉异常呢?

这里我们可以利用r.raise_for_status() 语句去捕捉异常,该语句在方法内部判断r.status_code是否等于200,如果不等于,则抛出异常。

于是在这里我们有一个爬取网页的通用代码框架:

此处不能采用return来返回输出,使用的话会报错,因为:return只能用在自定义函数中

(2) request.head()

看代码:

(3)requests.post()

1、向url post一个字典:



2、向url post 一个字符串,自动编码为data

>>> import requests
>>> r=requests.post("http://httpbin.org/post",data="hello python")
>>> print(r.text)
{
  "args": {}, 
  "data": "hello python", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "12", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.22.0", 
    "X-Amzn-Trace-Id": "Root=1-5e510c68-12ee4eec533847d89a06d184"
  }, 
  "json": null, 
  "origin": "36.47.128.206", 
  "url": "http://httpbin.org/post"
}

3.向url post一个文件

>>> import requests
>>> files = {'files':open('C:\\Users\\Think\\Desktop\\test_requests\\test.txt','rb')}
>>> r = requests.post('https://httpbin.org/post',files=files)
>>> print(r.text)
{
    "args":{
 
    },
    "data":"",
    "files":{
        "files":"hello worle!"
    },
    "form":{
 
    },
    "headers":{
        "Accept":"*/*",
        "Accept-Encoding":"gzip, deflate",
        "Connection":"close",
        "Content-Length":"158",
        "Content-Type":"multipart/form-data; boundary=d2fb307f28aeb57b932d867f80f2f600",
        "Host":"httpbin.org",
        "User-Agent":"python-requests/2.19.1"
    },
    "json":null,
    "origin":"113.65.2.187",
    "url":"https://httpbin.org/post"

以上得知,post请求参数是以data关键字参数来传递的。

(5)requests.put()

看代码:

>>> payload={"key1":"value1","key2":"value2"}
>>> r=requests.put("http://httpbin.org/put",data=payload)
>>> print(r.text)
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.18.4"
  }, 
  "json": null, 
  "origin": "218.197.153.150", 
  "url": "http://httpbin.org/put"

(6)requests.patch()

requests.patch和request.put类似。 两者不同的是: 当我们用patch时仅需要提交需要修改的字段。 而用put时,必须将20个字段一起提交到url,未提交字段将会被删除。 patch的好处是:节省网络带宽。

(7)requests.request()

requests.request()支持其他所有的方法。 requests.request(method,url,**kwargs)

  • method: “GET”、”HEAD”、”POST”、”PUT”、”PATCH”等等
  • url: 请求的网址
  • **kwargs: 控制访问的参数

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表