首先分析分页结构，确定是URL参数翻页还是ajax动态加载；接着构造对应请求循环抓取，静态页通过修改页码参数，动态内容则调用API接口获取jsON；利用“下一页”链接或总页数信息判断终止条件；最后通过设置请求头、添加延迟等反爬策略确保稳定采集。
爬取分页数据是python网络爬虫中的常见需求，尤其在抓取列表类网页（如新闻列表、商品页、搜索结果）时尤为关键。要完整获取所有页面的数据，必须识别分页结构、构造请求并循环抓取。以下是处理分页数据的实用流程。
分析分页结构
开始前先观察目标网站的分页机制。常见的分页方式有两种：
- URL参数翻页：页码通过URL中的参数传递，例如：https://example.com/page=2 或 https://example.com/?p=3
- AJAX动态加载：点击“下一页”时页面不刷新，内容通过javaScript异步加载，通常需要抓包分析接口请求
使用浏览器开发者工具（F12）查看网络请求，确认数据来源是html直出还是API接口返回json。
构造请求并循环抓取
若为静态分页，可通过修改URL中的页码参数发起请求。示例代码如下：
立即学习“Python免费学习笔记（深入）”；
import requests from bs4 import BeautifulSoup <p>base_url = "<a href="https://www.php.cn/link/0acecb86d3b3fab2fea045403bedfb1f">https://www.php.cn/link/0acecb86d3b3fab2fea045403bedfb1f</a>={}" headers = { "User-Agent": "Mozilla/5.0" }</p><p>for page in range(1, 6): # 抓取前5页 url = base_url.format(page) response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') items = soup.select('.news-item') # 根据实际选择器调整 for item in items: title = item.select_one('h2').get_text(strip=True) link = item.select_one('a')['href'] print(title, link)
若为AJAX接口，需定位XHR请求地址，直接请求返回JSON数据：
api_url = "https://example.com/api/news?page={}" for page in range(1, 6): response = requests.get(api_url.format(page), headers=headers) data = response.json() for item in data['results']: print(item['title'], item['url'])
自动检测最大页数或终止条件
有时不知道总页数，可通过以下方式判断是否结束：
- 解析当前页的“下一页”按钮是否存在
- 检查响应内容是否为空或返回错误码
- 从第一页提取总页数信息（如“共87条，每页10条”可推算出9页）
示例：基于“下一页”链接判断是否继续
url = "https://example.com/news" while url: response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') parse_items(soup) # 解析当前页数据 <pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">next_link = soup.select_one('a:contains("下一页")') url = next_link['href'] if next_link else None if url and not url.startswith('http'): url = "https://example.com" + url
注意事项与反爬策略
频繁请求容易触发反爬机制，建议采取以下措施：
- 设置合理time.sleep()间隔，避免请求过快
- 使用随机User-Agent或添加Referer头模拟真实访问
- 考虑使用requests.session()保持会话状态
- 遇到验证码或封IP时，引入代理池或Selenium模拟浏览器操作
基本上就这些。掌握分页规律后，结合解析和循环逻辑，就能稳定抓取多页数据。关键是先搞清分页机制，再选择合适的请求方式。