结构中，并且在查看页面源代码时无法找到这些数据，那么很有可能这些数据是通过JavaScript动态加载的。此时，传统的HTML解析方法将无法奏效。
V8包：在R中执行JavaScript
为了克服动态网页抓取的挑战，我们需要一个能够在R环境中模拟浏览器执行JavaScript能力的工具。V8包正是为此而生。它提供了对Google V8 JavaScript引擎的R语言接口，允许用户在R中创建JavaScript上下文，执行JavaScript代码，并获取JavaScript环境中变量的值。这使得我们能够直接处理那些通过JavaScript加载或计算出的数据。
实施步骤：抓取动态加载的国家数据
以下我们将通过一个具体案例，演示如何利用httr和V8包抓取FATF网站上的国家数据。
步骤1：识别并获取JavaScript源文件
首先，我们需要确定包含目标数据的JavaScript文件。通常，这需要对网页进行一些检查（例如使用浏览器开发者工具的网络请求选项卡），以找出在页面加载过程中请求的JavaScript文件。对于FATF网站的案例，我们发现国家数据存储在一个名为country-data-multi-lang.js的JavaScript文件中。
立即学习“Java免费学习笔记（深入）”；
使用httr包，我们可以像获取普通网页一样获取这个JavaScript文件的内容。
library(httr) library(V8) library(dplyr) library(tidyr) # 目标JavaScript文件的URL js_url <- paste0('https://www.fatf-gafi.org/media/fatf/fatfv20/', 'js/country-data-multi-lang.js') # 使用GET请求获取JavaScript文件内容 js_content <- content(GET(js_url), 'text') # 此时js_content变量中包含了JavaScript代码的字符串
步骤2：初始化V8引擎并执行JS代码
获取到JavaScript代码后，我们需要在R中创建一个V8上下文（即一个独立的JavaScript运行环境），然后将这段JavaScript代码加载并执行。
# 创建一个V8上下文 ct <- v8() # 在V8上下文中执行JavaScript代码 # 这将运行js_content中的所有JS语句，包括变量定义等 ct$eval(js_content)
执行ct$eval(js_content)后，js_content中定义的任何全局变量都将在ct这个V8上下文中可用。在我们的案例中，经过分析，我们知道所需数据存储在一个名为countries的JavaScript变量中。
步骤3：提取和整理数据
JavaScript代码执行完毕后，我们可以使用ct$get()方法从V8上下文中提取指定变量的值。V8包会自动将JavaScript的数据结构（如数组、对象）转换为R中对应的列表或数据框。由于countries变量是一个嵌套的数据结构，我们需要使用tidyr和dplyr进行进一步的整理。
# 从V8上下文中获取名为"countries"的变量 # V8会自动将其转换为R的数据结构，通常是嵌套的列表或数据框 country_data <- ct$get("countries") # 对嵌套数据进行整理： # 1. unnest(cols = c(groups))：展开'groups'列中的嵌套数据 # 2. select(c(1:2,4:14,16))：选择所需的列，这里根据实际输出进行调整 # 3. filter(!is.na(name))：过滤掉可能存在的空行或无效数据 final_data <- country_data %>% unnest(cols = c(groups)) %>% select(c(1:2,4:14,16)) %>% # 根据实际数据结构调整列索引 filter(!is.na(name)) # 查看最终整理好的数据 print(final_data)
完整代码示例：
library(httr) library(V8) library(dplyr) library(tidyr) # 1. 识别并获取JavaScript源文件 js_url <- paste0('https://www.fatf-gafi.org/media/fatf/fatfv20/', 'js/country-data-multi-lang.js') js_content <- content(GET(js_url), 'text') # 2. 初始化V8引擎并执行JS代码 ct <- v8() ct$eval(js_content) # 3. 提取和整理数据 final_data <- ct$get("countries") %>% unnest(cols = c(groups)) %>% select(c(1:2,4:14,16)) %>% # 根据实际数据结构调整列索引 filter(!is.na(name)) # 打印结果 print(final_data) # 示例输出（部分） #> # A tibble: 209 × 14 #> name code FATF APG CFATF EAG ESAAMLG GABAC GAFILAT GIABA MENAFATF #> <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr> #> 1 Afghanist… AF "" "mbr" "" "obs" "" "" "" "" "" #> 2 Albania AL "" "" "" "" "" "" "" "" "" #> 3 Algeria DZ "" "" "" "" "" "" "" "" "mbr" #> 4 Andorra AD "" "" "" "" "" "" "" "" "" #> 5 Angola AO "" "" "" "mbr" "" "" "" "" "" #> # … with 200 more rows, and 3 more variables: MONEYVAL <chr>, #> # jurisdiction <chr>, id <chr>
注意事项与最佳实践
- 适用场景： V8包非常适合处理数据直接嵌入在JavaScript文件中的情况，或者当JavaScript逻辑相对简单，不涉及复杂的dom操作或异步请求时。对于需要模拟用户交互、处理大量ajax请求或渲染完整页面的场景，可能需要更强大的工具，如R中的RSelenium（基于Selenium webdriver的无头浏览器）。
- 查找数据源的技巧： 使用浏览器开发者工具是关键。在“网络”（Network）选项卡中，您可以监视页面加载时所有的HTTP请求，包括JavaScript文件。通常，文件名或响应内容会暗示其是否包含所需数据。您也可以在“元素”（Elements）选项卡中查看动态生成的HTML，并在“源”（Sources）选项卡中调试JavaScript代码以理解其逻辑。
- 数据后处理： V8包提取的数据通常是R中的列表或数据框。对于嵌套结构，tidyr包的unnest()函数是强大的工具，可以帮助您将嵌套数据展平为更易于分析的格式。dplyr则用于选择、过滤和转换数据。
- JavaScript变量名： 确保您ct$get()中使用的变量名与JavaScript文件中实际定义的变量名完全匹配。
- 编码： 在读取网页内容或JavaScript文件时，指定正确的编码（如encoding = “UTF-8″）可以避免乱码问题。
总结
当传统基于HTML解析的网页抓取方法遇到瓶颈时，特别是在面对由JavaScript动态生成内容的现代网站时，V8包提供了一个强大而灵活的解决方案。通过在R环境中直接执行JavaScript代码并提取其内部变量，我们能够高效地获取到这些隐藏在动态逻辑背后的宝贵数据。掌握这种技术，将极大地扩展您在R语言中进行网页数据抓取的能力。
