当前位置: 首页 > news >正文

python爬虫入门(六)之 xpath 解析

一、什么是xpath

XPath(XML Path Language)是一种用于在 XML 文档中查找信息的语言。

html是xml的一个子集(XML 允许用户创建自己的标签来描述数据。例如,<book><title><author> 是 XML 标签,可以用于描述书籍信息)。

Xpath可以用来遍历 XML 文档的节点、选择节点,或对节点进行条件筛选,实际上它就是靠节点之间的关系去查找内容

二、如何使用xpath

1、安装引入

pip install lxml (终端)
from lxml import etree

2、建立解析对象

(1)fromstring()函数:解析较短的字符串

(2)XML()函数:解析xml文档内容

(3)HTML()函数:解析html文档内容(已经化成text的)

tree=etree.HTML(resp.text)

(4)parse()函数:解析文件或类文件对象

tree=etree.parse("a.html")

3、定位

xpath通过路径表达式选取节点,result=tree.xpath("路径表达式")

下面是常用的路径表达式:

表达式描述
/表示层级关系(开头一个/:从根节点开始)
.表示当前节点(./:从当前节点开始)
..表示当前节点的父节点
A//B

表示在A中找为B的所有子孙后代节点

(斜杠之间为空,即任意多少内容均可)

A/*/B

表示在A中找为B的孙子节点

(斜杠之间为通配符*,必须是一个内容,可任意)

text()

表示选取文本内容

(比如:li.xpath(./a/text()),

否则得到的是迭代器,而不是列表)

[n]

表示索引筛选

(比如:li[1]选取第一个li,注意从一开始)

[@xx="xxx"]

表示属性筛选

(比如:a[@href='dapao']选取href属性为dapao的a标签

@xx

表示选取属性的值

(比如:li.xpath(./a/@href),提取a里面href的值)

4、小技巧

(1)检查源代码时,可以右键copy full XPath

(2)把路径表达式最后的[n]去掉,可以得到该列所有同类元素

例如:把/html/body/div[2]/div[1]/div[2]/div[1]改成/html/body/div[2]/div[1]/div[2]/div


http://www.mrgr.cn/news/1693.html

相关文章:

  • 车载以太网交换机入门基本功(3)—VLAN 转发
  • 【北京迅为】《i.MX8MM嵌入式Linux开发指南》-第六篇 嵌入式GUI开发篇-第八十五章 Qt控制硬件
  • 白骑士的HTML教学高级篇 3.1 HTML5新特性
  • EmguCV学习笔记 VB.Net 2.4 Image类
  • 一篇文章入门Java虚拟机(JVM)
  • 如何优化 Vite 项目中的 Lodash 引入:从 Tree Shaking 到自动化测试
  • 理解消息队列的持久性,可靠性,幂等性
  • 修改Docker的默认网段
  • C语言 - 构造类型
  • C语言是真男人就挺过100回合
  • 产品经理基础知识
  • 华为 OLT 添加 ONU 配置 (SNMP管理模式)
  • java之责任链模式
  • Qt框架学习03——对象树模型
  • ETAS工具链自动化实战指南<一>
  • 网站自动化锚文本的实现逻辑
  • 【C++ 面试 - 面向对象】每日 3 题(一)
  • 【ubuntu24.04】错误:8llvm 由于没有公钥:无法验证下列签名 NO_PUBKEY
  • 软考软件设计师-备考须知
  • 恒创科技:云服务器的备份和快照哪个更好?