编程开源技术交流,分享技术与知识

网站首页 > 开源技术 正文

2、requests请求库基本使用(2、requests请求库基本使用手册)

wxchong 2024-08-31 04:01:21 开源技术 8 ℃ 0 评论

学习爬虫,最初的操作便是模拟浏览器向服务器发出请求,这就是requests库的意义所在。

有了这个库,我们不需要了解HTTP、TCP 、 IP 层的网络传输通信,也不需要知道服务器的响应和应答原理,只需要传入url地址即可模拟浏览器发送请求。


requests库是Python第三方库,需要打开cmd等终端输入以下代码安装:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

1、模拟浏览器发送请求

常用请求方式有两种,getpost。

get请求基本模式:

# get请求常用参数
requests.get(url, headers, proxies, cookies, timeout, verify)

post请求基本模式

# post请求常用参数
requests.post(url, headers, proxies, timeout, verify, data)

2、Response对象和它的基本属性

# 模拟浏览器发送get请求
response = requests.get("https://www.baidu.com")
# 打印response对象类型
print(type(response))

# 打印响应题状态码
print(response.status_code)

# 打印url
print(response.url)

# 打印cookie的内容
print(response.cookies)

# 响应体的文本内容
print(response.text)    #根据html的头部来猜编码,可能不准确
print(response.content.decode("utf-8"))   # 自己根据charset手动解码
print(response.content.decode("gbk"))

# 如果返回的是json格式,将会把json转为字典
print(response.json())

3、添加请求头(headers)

headers = {
    "User-Agent": "你自己的浏览器请求头",
    "referer": "https://www.zhihu.com/"
}

4、添加代理(proxies)

proxies = {
    "http": "http://10.10.1.11:3298",
    "https": "http://10.10.1.11:3452"
}

5、添加cookie

cookies = """_zap=68f867be-eerr-adb2-02759bb15a46; d_c0="ALBSeVe2uRGPTjF2LXmnPte5Is74=|15973rw5xxxxxx...""""
cookies = {i.split("=")[0]:i.split("=")[1] for i in cookies.split("; ")}

6、添加超时设置(timeout)

在本机网络状况不好或者服务器网络响应太慢甚至无响应时,我们可能会等待特别久的时间才可 能收到响应,甚至到最后收不到响应而报错。为了防止服务器不能及时响应,应该设置一个超时时间,即超过了这个时间还没有得到响应,那就报错。这需要用到 timeout 参数。这个时间的计算是发送请求到服务器返回响应的时间 。单位是秒。

例:

r = requests.get("https://www.baidu.com", timeout=1)

7、设置SSL证书验证(verify参数)

默认是True,即验证当前网页是否有SSL证书,没有会报错。

可以设置如下设置关闭验证:

response = requests.get("https://www.12306.cn", verify=False)


Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表