编程开源技术交流,分享技术与知识

网站首页 > 开源技术 正文

python读取当当首页的全部商品分类

wxchong 2024-09-10 22:45:06 开源技术 7 ℃ 0 评论

python读取当当首页的全部商品分类,首先要使用开发者工具找到全部商品分类所在的层级,

写代码来读取该层级下的文本和超链接。

找到层级:

代码如下:

详细代码:

from __future__ import print_function

import requests

import sys

#reload(sys)

#sys.setdefaultencoding("utf-8")

import importlib

importlib.reload(sys)

from lxml import etree;

#打印全部商品分类

resp =requests.get('http://category.dangdang.com/?ref=www-0-C')

doc_main=etree.HTML(resp.content.decode("gbk"))

for x in doc_main.xpath("//body/div/div/div/ul"):

print(*x.xpath("li/a/text()")+x.xpath("li/a/@href"))

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表