网站首页 > 开源技术 正文
本文内容主要介绍了Python模拟登入的N种方式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着我来一起学习学习吧!!!
这段时间在研究如何破解官网验证码,然后进行下一步的爬虫操作,然而一个多星期过去了,编写的代码去识别验证码的效率还是很低,尝试用了tesserorc库和百度的API接口,都无济于事,本以为追不上五月的小尾巴,突然想到我尝试了这么多方法何不为一篇破坑博客呢。
现在很多官网都会给出相应的反扒措施,就拿这个登入来说,如果你不登入账号那么你就只能获取微量的信息,甚至获取不了信息,这对我们爬虫来说是非常不友好的,但是我们总不可能每次都需要手动登入吧,一次二次你能接受,大工程呢?既然学了python,而不为用脚本代码帮你做这点事情呢?
图为简书登入模块:
不同方式优缺点对比:
突然想到一种可能更简单的方式,所以整理得三,不同情况参考不同用法!
如下:
用法很简单,代码如下:
还是一句话,这种方式极大可能出现在某网站中,其他情况基本不可能出现,那么就得使用下面二种方式了。
方式一: requests高级用法扩展:
相信很多人看书都不看全的,很多细节都在书中呢,下面扩展几种requests库的高级用法,很好用的东西。
超时处理: 某网站服务器搭建在国外,加载巨慢。代码可能抛出timeout : xxxx等情况,这个时候用它:
r = requests.get(url , timeout=30)
文件上传: 假如某网站需要上传文件,那么就使用它:
files = {'file': open('img.jpg', 'rb')}
r = requests.get(url, files=files)
print(r.text)
cookies设置: headers这个很多人都使用过吧,基本都是加一个代理头就完事了,其实也可以设置其他的参数,然后使用post请求,就可以简单的模拟登入一次了,用法如下:
这些字段一般都需要加上,常用的就是代理头user-agent,这个必须设置:
方式二: requests的session会话使用:
会话是什么: 就好比你和朋友对接电话,你这头是客户端,朋友那头是服务端,你们接通电话,这个通话记录就代表一个会话,电话中,你可以通过声音知道是你朋友,在服务器中,你请求成功一次,客户端和服务端就维持了一个会话,这个会话能代表你的身份,那么这段时间在一个浏览器中,你进入网站就不需要在输入账号密码了,直到你退出浏览器,那么会话截至,下次登入就需要再次输入密码了。
很好的是,Session能很好的帮助我们维持会话,从而达到cookies的一致性。区别于一半的请求requests,就可以达到get 和 post 共同的作用;
基本用法如下:
s = requests.Session()
r = s.get(url)
那么我们使用会话从GitHub的模拟登入尝试下:
首先我们需要登入一次,看看需要构建什么参数:
在这个界面就开启f12 , 不然看不了会话维持:
登入成功之后,如下图,查看构造参数:
打开这个From Data 会发现,authenticity_token 这个字段,我们可能构造不了,这个时候,就得回到 登入界面了, 打开源代码。F这个字段:
如图: 只需要爬取这个页面,获得这个参数 那么就可以构造登入的所有参数了, 爬虫代码如下:
对于cookies的一致性,使用session 就已经搞定了这个问题,根据上图的Name字段中的session , 我们可以找到会话网址: ‘
https://github.com/session'
所以我们现在只需要构造一个函数去请求这个会话网址,就可以达到我们的要求了:
代码如下, 这里我构造了一个class类,账号密码用自己,或者前面传值过去,图中的函数是二个爬虫代码,可以根据需求设计:
会话登入到这里就结束了,主要是构造参数挺麻烦的,需要页面里寻找,看到这里给个关注和赞啦。
方式三: selenium模拟登入:
如何下载selenium相关的插件,我就不做介绍了,篇幅有限
使用selenium 就是需要考虑到表单的切换,和定位元素等,其他都很简单,这里用4399游戏网页做一个实例: 网址
点击登入:
弹出登入表单:
这里我们需要切换表单,不然输入不了,怎么找到这个表单的,很简单,整块的高亮就行:
代码如下:
我给的例子没有涉及到验证码,如果涉及到验证码,要么人工输入,要么破解验证码,或者交给打码平台,最好的方式就是绕过验证码,这个我也在思考如何去实现。以上就是这周的知识总结,有帮助的话,就点个赞和关注吧!
到此这篇关于Python模拟登入的N种方式的文章就介绍到这了,更多相关内容关注小编敬请期待为你带来更优质的相关文章。
结尾
最后多说一句,小编是一名python开发工程师,这里有我自己整理了一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些资料的可以关注小编,并在后台私信小编:“07”即可领取。
猜你喜欢
- 2025-06-04 python用requests BeautifulSoup下载网页到txt并去掉html标记
- 2025-06-04 测试进阶:实现跨请求地保持登录的神器session你get了么?
- 2025-06-04 Requestium一个比Requests跟实用的python库
- 2025-06-04 RobotFramework之http接口测试库RequestsLibrary使用介绍(十)
- 2025-06-04 Kafka Producer 参数 max.in.flight.requests.per.connection 配置
- 2025-06-04 如何搭建接口自动化测试框架?(接口自动化测试框架设计)
- 2025-06-04 python编程实践:网络爬虫,从学习Requests 模块开始
- 2025-06-04 一文详解 requests 库中 json 参数和 data 参数的用法
- 2025-06-04 Python爬虫5 requests库get、post的使用
- 2025-06-04 Python-实战-requests库标准入门姿势
你 发表评论:
欢迎- 最近发表
-
- 后端服务太慢?试试这 7 招(后端 服务端 区别)
- 做一个适合二次开发的低代码平台,把程序员从curd中解脱出来-1
- Caffeine缓存 最快缓存 内存缓存(caffeine缓存使用)
- Java性能优化的10大策略(java性能调优从哪几个方面入手)
- New Balance M576PGT 全新配色设计
- x-cmd pkg | qrencode - 二维码生成工具
- 平和精英抽奖概率是多少 平和精英抽奖物品一览
- x-cmd pkg | tmux - 开源终端多路复用器(terminal multiplexer)
- 漫威官方App中文版上线:全站漫画限时免费
- macOS Monterey 12.7.4 (21H1123) 正式版发布,ISO、IPSW、PKG 下载
- 标签列表
-
- jdk (81)
- putty (66)
- rufus (78)
- 内网穿透 (89)
- okhttp (70)
- powertoys (74)
- windowsterminal (81)
- netcat (65)
- ghostscript (65)
- veracrypt (65)
- asp.netcore (70)
- wrk (67)
- aspose.words (80)
- itk (80)
- ajaxfileupload.js (66)
- sqlhelper (67)
- express.js (67)
- phpmailer (67)
- xjar (70)
- redisclient (78)
- wakeonlan (66)
- tinygo (85)
- startbbs (72)
- webftp (82)
- vsvim (79)
本文暂时没有评论,来添加一个吧(●'◡'●)