本文旨在解决使用 rvest 和 xml2 包从动态网页中提取嵌套 URL 的问题。核心在于理解动态网页的内容加载机制，认识到直接抓取 html 源码可能无法获取所有目标链接。通过分析网络请求，找到包含目标信息的 JSON 数据接口，并使用 httr 包获取和解析 json 数据，最终提取出所需的 URL。
在网页抓取中，经常会遇到一些网页内容并非直接包含在 HTML 源码中，而是通过 JavaScript 动态加载的。这意味着，直接使用 rvest 等包读取 HTML 源码可能无法获取到所有需要的信息，特别是嵌套的 URL。本文将介绍如何针对这种情况，通过分析网页的网络请求，找到包含目标信息的 JSON 数据接口，并使用 R 语言提取所需 URL。
1. 理解动态网页加载机制
现代网页通常采用动态加载技术，例如使用 JavaScript 从服务器获取数据并更新页面内容。这意味着，当我们使用 read_html 函数读取网页时，只能获取到初始的 HTML 结构，而后续通过 JavaScript 加载的内容可能无法直接获取。
2. 分析网络请求
要解决这个问题，我们需要分析网页的网络请求，找到包含目标信息的 API 接口。可以使用浏览器的开发者工具（通常按 F12 键打开）来查看网络请求。
- 打开开发者工具，切换到 “Network”（网络）选项卡。
- 刷新网页，观察所有网络请求。
- 筛选请求，查找包含 “json” 或 “api” 等关键词的请求。
- 检查请求的 “Response”（响应）内容，确认是否包含目标 URL。
3. 使用 httr 包获取 JSON 数据
一旦找到包含目标 URL 的 JSON 数据接口，就可以使用 httr 包来获取数据。
library(httr) library(dplyr) # 目标 API 接口 URL url <- paste0("https://thrivemarket.com/api/v1/products", "?page_size=60&multifilter=1&cur_page=1") # 发送 GET 请求并获取响应内容 response <- GET(url) json_data <- content(response) # 提取产品信息和 URL products_df <- json_data$products %>% lapply(function(x) data.frame(product = x$title, url = x$url)) %>% bind_rows() %>% as_tibble() print(products_df)
代码解释:
- library(httr) 和 library(dplyr): 导入所需的包。httr 用于发送 HTTP 请求，dplyr 用于数据处理。
- url: 定义目标 API 接口的 URL。需要根据实际情况修改。
- GET(url): 发送 GET 请求到指定的 URL，并获取响应对象。
- content(response): 解析响应对象的内容，通常为 JSON 数据。
- json_data$products: 访问 JSON 数据中的 products 字段，该字段通常包含一个产品列表。
- lapply(function(x) data.frame(product = x$title, url = x$url)): 使用 lapply 函数遍历产品列表，提取每个产品的 title 和 url 字段，并创建一个数据框。
- bind_rows(): 将所有数据框合并成一个数据框。
- as_tibble(): 将数据框转换为 tibble 格式，方便后续处理。
- print(products_df): 打印提取到的产品信息和 URL。
4. 数据处理和清洗
获取到 JSON 数据后，可能需要进行一些数据处理和清洗，例如：
- 过滤不需要的字段。
- 转换数据类型。
- 处理缺失值。
- 去除重复的 URL。
注意事项:
- API 接口可能会发生变化，需要定期检查代码是否仍然有效。
- 某些 API 接口可能需要身份验证才能访问。
- 频繁请求 API 接口可能会导致 IP 地址被屏蔽，需要控制请求频率。
- 遵守网站的 robots.txt 协议，避免抓取禁止抓取的内容。
总结:
通过分析网页的网络请求，找到包含目标信息的 JSON 数据接口，并使用 httr 包获取和解析 JSON 数据，可以有效地提取动态网页中的嵌套 URL。这种方法比直接解析 HTML 源码更加可靠，并且可以获取到 JavaScript 动态加载的内容。在实际应用中，需要根据具体情况调整代码，并遵守网站的规则，避免对网站造成不必要的负担。
