Python爬淘宝——300W淘宝文胸（python爬取淘宝商品数据）

分享

爬虫部署

部署环境

测试环境：腾讯云主机一台

操作系统：ubuntu-14.04

数据库： mongodb

安装依赖

pip install -r requirements.txt

修改配置文件

config = {

一般的爬取速度不会有禁IP的情况。如果有被禁IP的情况可以使用tor代理，将config['use_tor_proxy']设置为True，具体方法见python中使用tor代理 · 叁公子的博客:http://nladuo.github.io/2016/07/17/python%E4%B8%AD%E4%BD%BF%E7%94%A8tor%E4%BB%A3%E7%90%86/

运行爬虫

python crawler/item_crawler.py # 爬文胸的商品信息

简单统计与可视化展示

1. 运行脚本

cd simple_analyzer

2. 运行网页显示

cd data_visualization

好多A、B。。

为什么是黑色？？

人数最多的竟然是75B，那是什么概念？？

感兴趣的学习 女生胸围到底是70B大还是75B大？

关键词分析

运行脚本

cd keyword_analyzer

效果

学习过程中遇到什么问题或者想获取学习资源的话，欢迎加入学习交流群

626062078，我们一起学Python！