本文旨在解决scrapy爬虫抓取网页数据时，XPath表达式返回空数组的问题。通过分析tbody标签的特性，提出绕过该标签直接定位所需数据行的解决方案，并提供示例代码和注意事项，帮助开发者有效应对类似情况。
在使用Scrapy进行网页数据抓取时，有时会遇到XPath表达式返回空数组的情况，导致无法获取目标数据。这通常是由于网页结构与预期不符造成的。一个常见的原因是，某些html元素（如tbody）是由浏览器动态添加的，在原始HTML源码中并不存在。
问题分析：tbody标签的特性
tbody标签用于在HTML表格中组合表格主体内容。然而，许多网页在编写时并未显式包含tbody标签，浏览器在渲染页面时会自动添加该标签。因此，当使用Scrapy抓取此类网页时，直接使用包含tbody的XPath表达式可能会导致无法找到对应的元素，从而返回空数组。
例如，假设要抓取CVE数据库中HP相关的漏洞信息，目标网页的表格结构如下：
<div id="TableWithRules"> <table> <!-- thead --> <thead> <tr> <th>Header 1</th> <th>Header 2</th> </tr> </thead> <!-- tbody (可能由浏览器动态添加) --> <tbody> <tr> <td>Data 1</td> <td>Data 2</td> </tr> <!-- 更多行 --> </tbody> </table> </div>
如果直接使用//div[@id=’TableWithRules’]//tbody/tr这样的XPath表达式，很可能无法找到tbody标签，导致返回空数组。
解决方案：绕过tbody标签
为了解决这个问题，可以绕过tbody标签，直接定位到表格行tr元素。
以下是两种可行的解决方案：
-
直接定位所有行： 使用//div[@id=’TableWithRules’]//tr直接选取TableWithRules下的所有tr元素。
import scrapy class HPSpider(scrapy.Spider): name = "hp_spider" start_urls = ['https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=hp'] def parse(self, response): rows = response.xpath("//div[@id='TableWithRules']//tr") print(f"Total rows found: {len(rows)}") for row in rows: # 处理每一行的数据 pass这种方法会选取包括表头在内的所有行，需要根据实际情况进行过滤。
-
排除表头行： 如果需要排除表头行，可以使用//div[@id=’TableWithRules’]//tr[td]选取包含td子元素的tr元素。
import scrapy class HPSpider(scrapy.Spider): name = "hp_spider" start_urls = ['https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=hp'] def parse(self, response): rows = response.xpath("//div[@id='TableWithRules']//tr[td]") print(f"Data rows found: {len(rows)}") for row in rows: # 处理每一行的数据 pass这种方法通过判断tr元素是否包含td子元素来排除表头行。
使用Scrapy Shell进行调试
在编写Scrapy爬虫时，可以使用Scrapy Shell进行调试，验证XPath表达式的正确性。
-
启动Scrapy Shell：
scrapy shell https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=hp
-
在Shell中测试XPath表达式：
>>> rows = response.xpath("//div[@id='TableWithRules']//tr") >>> len(rows) # 输出行数 >>> rows = response.xpath("//div[@id='TableWithRules']//tr[td]") >>> len(rows) # 输出数据行数
注意事项
- 在编写XPath表达式时，要仔细分析网页结构，注意动态添加的html元素。
- 使用Scrapy Shell进行调试，验证XPath表达式的正确性。
- 根据实际需求，选择合适的XPath表达式，过滤不需要的数据行。
- 某些网站可能会采取反爬虫措施，需要根据情况调整爬虫策略。
总结
当Scrapy爬虫返回空数组时，需要仔细分析网页结构，检查XPath表达式是否正确。对于tbody等可能由浏览器动态添加的HTML元素，可以尝试绕过这些元素，直接定位到目标数据。通过合理的XPath表达式和调试，可以有效地解决Scrapy爬虫返回空数组的问题。
