python中如何使用XPath爬取小说-图灵python

说明

Xpath是在XML文档中搜索信息的语言。

过程

1、在浏览器中获取标题和作者测试。

2、xpath插件安装在浏览器中：

3、在html中找到book-mid-info:

4、找到我们想要的小说的名字，作者

即//p[@class='book-mid-info']/h4/a/txt()

实例

#作者：
#2021/4/8/0008开发时间:24

importrequests
fromlxmlimportetree
url="https://www.qidian.com/rank/yuepiao"
headers={'user-agent':'Mozilla5.0(WindowsNT10.0.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/70.0.3538.25Safari/537.36Core/1.70.3861.400QQBrowser/10.7.4313.400'}
#发送请求
resp=requests.get(url,headers)
e=etree.HTML(resp.text)#类型转换，将str转换为class'lxml.etree._ELement
print(type(e))
names=e.xpath('//p[@class="book-mid-info"]/h4/a/text()')
authors=e.xpath('//p[@class="author"]/a[1]/text()')
print(names)
print(authors)
#与作者对应的名称
forname,authorsinzip(names,authors):
print(name,":",authors)

以上是Python中使用XPath爬行小说的方法，希望对大家有所帮助。更多Python学习指导：python基础教程

本文教程操作环境：windows7系统Python 3.9.1，DELL G3电脑。