本文旨在解决在使用 scrapy 爬取网页时，由于 tbody 标签的特殊性导致 XPath 表达式返回空数组的问题。通过分析问题原因，并提供绕过 tbody 标签直接查询 tr 标签的有效方法，帮助开发者成功抓取目标数据，避免爬虫失效。
在使用 Scrapy 进行网页数据抓取时，有时会遇到 XPath 表达式返回空数组的情况，即使在浏览器开发者工具中确认该元素确实存在。一个常见的原因是 tbody 标签的特殊性。许多网页的 html 源码中并不包含 tbody 标签，而是由浏览器在渲染页面时动态添加的。因此，直接使用包含 tbody 的 XPath 表达式可能无法匹配到任何元素，导致 Scrapy 返回空数组。
问题分析
假设我们需要抓取 https://cve.mitre.org/CGI-bin/cvekey.cgi?keyword=hp 页面中表格的所有行。我们可能会尝试使用以下 XPath 表达式：
//div[@id='TableWithRules']//tbody/tr
然而，在 Scrapy shell 中执行该表达式会返回一个空数组。这是因为该网页的 HTML 源码中并不包含 tbody 标签。
解决方案
解决这个问题的方法是绕过 tbody 标签，直接查询 tr 标签。以下是两种可行的解决方案：
1. 直接查询 tr 标签
最简单的方法是直接查询 div 元素下的所有 tr 标签：
rows = response.xpath("//div[@id='TableWithRules']//tr")
这条 XPath 表达式会返回所有 tr 标签，包括表头行。
2. 排除表头行
如果需要排除表头行，可以使用以下 XPath 表达式：
rows = response.xpath("//div[@id='TableWithRules']//tr[td]")
这条 XPath 表达式会选择所有包含 td 标签的 tr 标签，从而排除表头行（通常包含 th 标签）。
代码示例
以下代码展示了如何在 Scrapy shell 中使用这两种方法：
scrapy shell https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=hp # 直接查询所有 tr 标签 rows = response.xpath("//div[@id='TableWithRules']//tr") print(len(rows)) # 输出：3366 # 排除表头行 rows = response.xpath("//div[@id='TableWithRules']//tr[td]") print(len(rows)) # 输出：3365
注意事项
- 在编写 XPath 表达式时，务必先检查目标网页的 HTML 源码，确认元素的实际结构。
- 如果网页使用 JavaScript 动态生成内容，可能需要使用 Scrapy 的 Splash 或 Selenium 等中间件来渲染页面，才能正确抓取数据。
- 频繁爬取同一网站可能会触发反爬机制，建议设置合理的爬取频率，并使用 User-Agent 伪装等技术来避免被封禁。
总结
当使用 Scrapy 抓取网页时，遇到 XPath 表达式返回空数组的问题，首先要检查 tbody 标签是否存在于 HTML 源码中。如果 tbody 标签是由浏览器动态添加的，则需要绕过它，直接查询 tr 标签。通过本文提供的解决方案，可以有效地解决这个问题，成功抓取目标数据。
