使用requests获取网页内容，结合beautifulsoup或lxml解析html，通过css选择器或XPath提取数据；2. 针对动态加载页面，采用Selenium模拟浏览器渲染；3. 提取后进行数据清洗并结构化存储为CSV或jsON。

python爬虫提取网页数据的核心在于准确识别并定位目标内容。常用的技术组合是使用requests获取网页源码，再通过BeautifulSoup或lxml解析HTML结构，结合CSS选择器或XPath提取所需信息。掌握这些工具的配合使用，能高效抓取静态网页中的文本、链接、图片等数据。

1. 使用 BeautifulSoup 解析 HTML 并提取数据

BeautifulSoup 是处理 HTML 和 XML 文档的强大库，适合初学者和中小型项目。它能将杂乱的网页结构转化为树形对象，便于遍历和搜索。

基本用法如下：

• 用 requests.get() 请求网页，获取响应内容
• 将响应文本传给 BeautifulSoup(html, ‘html.parser’) 构建解析对象
• 使用 find() 或 find_all() 按标签名、class、id 等属性查找元素
• 提取标签内的文本用 .text，属性值用 [‘href’] 或 [‘src’]

例如：提取所有标题链接

soup = BeautifulSoup(response.text, 'html.parser') links = soup.find_all('a', class_='title') for link in links:     print(link.text.strip(), link['href'])

2. 利用 XPath 和 lxml 提高定位精度

对于结构复杂或 class/id 动态变化的网页，XPath 能提供更灵活、精准的路径匹配方式。lxml 库支持 XPath 语法，解析速度比 BeautifulSoup 更快。

立即学习“Python免费学习笔记（深入）”；

使用方法：

即构数智人

即构数智人是由即构科技推出的AI虚拟数字人视频创作平台，支持数字人形象定制、短视频创作、数字人直播等。

36

查看详情

• 导入 lxml.html，用 html.fromstring(response.text) 构建节点树
• 调用 .xpath(‘//div[@class=”content”]/p/text()’) 直接获取文本列表
• 支持逻辑判断，如 //a[contains(@href, “article”)]”

优势：能应对嵌套深、属性多变的场景，适合需要稳定抓取的项目。

3. 处理动态加载内容（javaScript 渲染）

传统 requests 获取的是原始 HTML，无法读取由 javascript 动态插入的数据。这类页面需借助浏览器自动化工具。

解决方案：

• 使用 Selenium + ChromeDriver 模拟真实浏览器行为
• 等待页面加载完成（WebDriverWait 配合预期条件）
• 执行 driver.page_source 获取渲染后的 HTML，再交由 BeautifulSoup 解析

注意：Selenium 较重，建议仅在必要时使用，可考虑是否可通过 API 接口直接获取数据。

4. 数据清洗与结构化存储

提取出的原始数据常包含空白符、换行、无关字符等，需进行清洗才能使用。

常用清洗技巧：

• 用 .strip() 去除首尾空白
• 正则表达式 re.sub() 替换多余符号
• 转换数据类型，如 int()、Float()
• 存入 CSV 或 json 文件，便于后续分析

示例：保存为 CSV

import csv with open('data.csv', 'w') as f:     writer = csv.writer(f)     writer.writerow(['标题', '链接'])     writer.writerows(data_list)

基本上就这些。关键是根据网页特点选择合适的提取方式，静态页优先用 requests + BeautifulSoup/lxml，动态内容考虑 Selenium 或抓包找接口。保持代码简洁，注意请求频率，避免对目标网站造成压力。