编程开源技术交流,分享技术与知识

网站首页 > 开源技术 正文

Requestium一个比Requests跟实用的python库

wxchong 2025-06-04 02:21:22 开源技术 10 ℃ 0 评论

一.前言

最近看到好多微信公众号说Requestium把 Requests 按在地上摩擦了,我特意学习了下,这个库就是写爬虫,比较方便而已,也没网友说的那么夸张

那么什么是Requestium?

Requestium是一个集成了Requests和Selenium的Web自动化工具。它允许在保持当前Web会话的同时,在Requests的Session和Selenium的Webdriver之间进行切换。如果需要一个以Selenium为主体,增加部分Requests功能的Python库,可以考虑使用另一个叫做Selenium-Requests的库。

Requestium还整合了Parsel,用它编写的页面查询元素选择器代码特别清晰。它还为诸如点击元素和在DOM中渲染内容这些通用操作提供了帮助,这使得网页自动化更加省时和方便。


二.基本用法

1.安装

pip install requestium


2.创建Session对象

创建一个Session对象是发送请求的第一步。Session对象提供了许多方便的方法来发送和处理请求。创建Session对象的代码如下:

s = Session()


3.发送get请求

使用Session对象可以方便地发送GET请求

from requestium import Session  
s = Session()  


response = s.get('http://127.0.0.1:8090')  


print(response.text)


4.发送POST请求

Requestium也支持发送POST请求。以下是一个示例代码,展示如何使用Requestium发送POST请求

from requestium import Session, Keys


s = Session()


# 设置请求 URL
url = "http://127.0.0.1:8090"


# 设置请求数据
data = {
    "hello": "world"
}


# 发送 POST 请求
response = s.post(url, data=data)


# 输出响应内容
print(response.content)

5.处理响应

发送GET请求后,将返回一个响应对象。可以通过响应对象获取请求的结果。以下是一个示例代码,展示如何处理响应

from requestium import Session  






s = Session()  


response = s.get('http://127.0.0.1:8090')  


print(response.status_code)  # 打印响应状态码  


print(response.headers)  # 打印响应头部信息  


print(response.text)  # 打印响应内容


6.selenium部分

这部分代码需要安装selenium,下载好自己chrom浏览器对应的chromedriver驱动,使用BeautifulSoup这个库解析返回的数据

最新驱动下载地址如下:

https://googlechromelabs.github.io/chrome-for-testing/

以下代码,打开百度,搜索"requests"内容

from requestium import Session, Keys


from selenium.webdriver.common.by import By


from bs4 import BeautifulSoup




login_url = 'https://www.baidu.com'


s = Session(webdriver_path='./chromedriver.exe',


            browser='chrome',


            default_timeout=15,


            webdriver_options={'arguments': ['headless']}


           )


s.driver.get(login_url)


s.driver.find_element(By.XPATH,"//*[@id='kw']").send_keys('requests')


s.driver.find_element(By.XPATH,"//*[@id='su']").click() #send_keys('', Keys.ENTER)


s.transfer_driver_cookies_to_session()


resp = s.get(login_url)






soup = BeautifulSoup(resp.text,'html.parser') # 通过BeautifulSoup 解析返回的内容诶html


title = soup.head.title # 获取titile


print(title)


三.注意事项

1.需要先安装Requestium模块,可以使用pip命令进行安装。

2.在处理混合型网页(既有静态内容又有动态加载内容)时,可以先使用Requests获取网页的静态内容,然后在需要时切换到Selenium来处理JavaScript生成的内容或者进行用户交互,这样更加高效和灵活。

3.如果需要使用Selenium的方法,比如找到一个元素或执行JavaScript代码,可以在Session对象中通过driver属性来访问WebDriver。

4.在处理完请求后,需要关闭WebDriver,以释放资源。

5.如果需要添加请求参数,可以在get()方法中传入参数字典,或者使用params属性6设置请求参数。

7.如果需要使用XPath、CSS正则表达式进行解析响应,可以使用Session对象的xpath()、css()或re()方法,这些方法都支持链式调用。

8.在解析响应时,需要注意编码问题,可以使用decode()方法将编码后的字符串转为普通的Unicode字符串。

9.在处理完请求后,需要关闭Session对象,以释放资源。


四.优点

1.高效灵活:Requestium允许使用Requests处理静态内容,再切换到Selenium处理动态内容,提高了效率和灵活性。

2.无需额外配置:Requestium自动处理Selenium WebDriver的启动和关闭,无需手动配置。

3.支持多种解析方法:Requestium支持XPath、CSS和正则表达式等多种解析方法,方便对网页进行解析。

4.支持链式调用:Requestium的xpath()、css()和re()方法都支持链式调用,方便进行多步骤解析。

5.支持自动处理Cookie和Session:Requestium会自动处理Cookie和Session,方便进行登录等操作。


五.缺点:

1.需要安装多个库:Requestium需要同时安装Requests和Selenium两个库,安装过程稍微复杂一些。

2.切换引擎可能造成混淆:Requestium需要在不同引擎之间切换,对于初学者可能造成混淆。

3.解析速度可能较慢:由于Selenium需要加载整个网页,包括JavaScript、CSS、图片等,解析速度可能比纯Requests慢一些。

4.浏览器依赖性较强:Selenium依赖于特定版本的浏览器,如果浏览器更新可能导致一些问题


文中访问的127.0.0.1:8090 为自己写的服务,代码如下

import socket


sock = socket.socket()


sock.bind(("127.0.0.1", 8090))


sock.listen(5)


while 1:


    conn, addr = sock.accept()  # 阻塞等待客户端连接


    data = conn.recv(1024)


    print("客户端发送的请求信息:\n",data)


    conn.send(b'HTTP/1.1 200 ok\r\nserver:localhost\r\ncontent-type:application/json\r\n\r\n{"hello":"Requestium"}')


    conn.close()

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表