lxml基于 libxml2 和 libxslt,性能强,支持 XPath 与 ElementTree API,可自动修复html,适用于网页抓取与数据提取。1. 安装:pip install lxml;2. 解析 XML:etree.parse() 读取文件,findall 与 find 定位元素;3. 解析 HTML:html.fromstring()处理不规范 HTML,结合 requests 获取页面内容;4. 使用 XPath 提取数据,如 //div、//a[@href]、//img/@src 等;5. lxml 与 requests、XPath 组合,构成高效解析方案。

python的 lxml 库是处理 XML 和 HTML 数据的强大 工具 ,它基于 c 语言 编写的 libxml2 和 libxslt 库,性能高、功能全,广泛用于网页抓取、数据提取和 配置文件 解析等场景。本文将介绍如何使用 lxml 高效解析 HTML 和 XML 文档。
安装 lxml 库
在使用前需要先安装 lxml:
pip install lxml
安装完成后即可导入并使用。lxml 支持 XPath、ElementTree API,能自动修复不规范的 HTML 结构,特别适合解析真实世界中的网页内容。
解析 XML 文档
使用 l xml 解析 XML 非常简单,可通过etree.fromstring() 或etree.parse()加载 XML字符串 或文件。
立即学习“Python 免费学习笔记(深入)”;
示例 XML 内容(保存为 data.xml):
<?xml version="1.0"?> <books> <book id="1"> <title>Python 入门 </title> <author> 张三 </author> </book> <book id="2"> <title> 数据分析实战 </title> <author> 李四 </author> </book> </books>
解析代码:
from lxml import etree
tree = etree.parse(‘data.xml’)
root = tree.getroot()
for book in root.findall(‘book’):
title = book.find(‘title’).text
author = book.find(‘author’).text
book_id = book.get(‘id’)
print(f”ID: {book_id}, 标题: {title}, 作者: {author}”)
解析 HTML 文档
HTML 通常结构不规范,lxml 的 html 模块能自动修复标签,更适合处理网页内容。
from lxml import html
import requests
# 获取网页内容
response = requests.get(“https://example.com”)
doc = html.fromstring(response.content)
# 使用 XPath 提取标题
titles = doc.xpath(‘//h1/text()’)
links = doc.xpath(‘//a/@href’)
print(titles)
print(links)
上面代码通过 requests 获取页面,用 html.fromstring() 解析,并使用 XPath 快速定位元素。XPath 语法灵活,支持按标签、属性、位置等多种方式筛选节点。
常用 XPath 技巧
XPath 是 lxml 的核心查询语言,掌握基本语法可大幅提升解析效率。
- //div:选择所有 div 元素,无论层级
- //a[@href]:选择包含 href 属性的 a 标签
- //p[contains(text(), “Python”)]:选择文本包含“Python”的 p 标签
- //img/@src:提取所有图片的 src 地址
- //ul/li[1]:选择第一个 li 子元素
这些表达式结合 lxml 使用,可以精准提取所需数据。
基本上就这些。lxml 配合 requests 和 XPath,构成了 Python 中高效解析 HTML/XML 的标准组合。只要熟悉基本 API 和 XPath 语法,就能轻松应对大多数结构化数据提取任务。