使用php开发爬虫需先通过cURL或file_get_contents发起http请求获取html；2. 然后利用domdocument、xpath或正则表达式解析html提取数据；3. 将数据存储至数据库或文件；4. 通过设置user-agent、使用代理ip、控制请求频率（如sleep函数）等方式避免被封禁；5. 对JavaScript动态加载内容可采用无头浏览器（如selenium）或分析ajax请求获取数据；6. 验证码处理可选用ocr识别、第三方平台或人工输入。完整解决方案需结合反爬策略与数据提取技术，确保稳定高效抓取，最终实现数据采集目标。
PHP网页抓取与解析技术，简单来说，就是用PHP编写代码，模拟浏览器行为，访问网页，然后提取我们需要的信息。 核心在于“抓取”和“解析”，前者是获取网页的HTML代码，后者是从HTML代码中提取目标数据。
解决方案
要用PHP开发简单的爬虫，你需要以下几个关键步骤：
立即学习“PHP免费学习笔记（深入）”；
-
发起HTTP请求： 使用PHP的
curl
库或者
file_get_contents
函数，模拟浏览器发送HTTP请求，获取网页的HTML内容。
curl
更强大，可以设置header、Cookie等，更灵活。
<?php // 使用curl $url = 'https://example.com'; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 忽略SSL证书验证，生产环境不建议 $html = curl_exec($ch); if (curl_errno($ch)) { echo 'Curl error: ' . curl_error($ch); } curl_close($ch); if ($html) { echo $html; // 输出HTML内容 } else { echo "Failed to fetch data from $url"; } // 使用file_get_contents (简单，但功能较弱) // $html = @file_get_contents($url); // 使用@抑制错误，不推荐，但有时有用 // if ($html) { // echo $html; // } else { // echo "Failed to fetch data from $url"; // } ?> -
解析HTML： 获取到HTML后，需要解析它，提取你需要的数据。常用的方法有：
- 正则表达式： 灵活，但编写和维护成本较高，容易出错。适合提取结构不规则的数据。
- DOM解析： 使用PHP的
DOMDocument
类，将HTML解析成DOM树，然后通过DOM操作提取数据。适合提取结构化的数据。
- XPath： 使用XPath表达式，在DOM树中查找节点。比DOM操作更简洁。
<?php // 使用DOMDocument和XPath解析HTML $html = '<html><body><h1>Hello World</h1><p>This is a paragraph.</p><a href="https://example.com">Link</a></body></html>'; $dom = new DOMDocument(); @$dom->loadHTML($html); // 使用@抑制HTML错误 $xpath = new DOMXPath($dom); // 提取标题 $title = $xpath->query('//h1')->item(0)->nodeValue; echo "Title: " . $title . "n"; // 提取链接 $link = $xpath->query('//a/@href')->item(0)->nodeValue; echo "Link: " . $link . "n"; //提取段落 $paragraph = $xpath->query('//p')->item(0)->nodeValue; echo "Paragraph: " . $paragraph . "n"; ?> -
控制爬取频率： 为了避免给目标网站造成过大压力，需要控制爬取频率，设置合理的延迟。可以使用
sleep()
函数。
-
处理反爬机制： 很多网站都有反爬机制，比如User-Agent检测、IP限制、验证码等。需要针对这些机制进行处理。比如，可以设置User-Agent，使用代理IP，识别验证码等。
PHP爬虫如何处理JavaScript动态加载的内容？
对于JavaScript动态加载的内容，直接通过
curl
或者
file_get_contents
获取的HTML代码中可能不包含这些内容。 有几种解决方案：
-
使用无头浏览器： 使用类似
Selenium
或者
Puppeteer
的无头浏览器，模拟浏览器执行JavaScript代码，然后获取渲染后的HTML。这种方法可以处理大部分动态加载的内容，但资源消耗较大，速度较慢。
<?php // 需要安装Selenium和相应的WebDriver // 示例代码，需要根据实际情况进行调整 use facebookWebDriverRemoteRemoteWebDriver; use FacebookWebDriverWebDriverBy; require_once 'vendor/autoload.php'; // 假设使用了composer $host = 'http://localhost:4444/wd/hub'; // Selenium Server地址 $capabilities = array( "browserName" => "chrome" // 或者 "firefox" ); $driver = RemoteWebDriver::create($host, $capabilities); $driver->get('https://example.com'); // 目标网页 // 等待JavaScript加载完成 (需要根据实际情况调整等待时间) $driver->wait(10, 500)->until( WebDriverExpectedCondition::presenceOfElementLocated(WebDriverBy::id('dynamic-content')) ); $html = $driver->getPageSource(); // 获取渲染后的HTML $driver->quit(); // 关闭浏览器 // 现在可以使用DOMDocument或者XPath解析$html ?>
-
分析Ajax请求： 很多动态加载的内容是通过Ajax请求获取的。可以分析网页的Ajax请求，直接请求这些API，获取json数据。这种方法效率较高，但需要一定的分析能力。可以使用浏览器的开发者工具（F12）来分析Ajax请求。
-
使用反编译工具： 一些网站会将数据放在js文件中，可以通过反编译js文件来获取数据。
PHP爬虫如何避免被网站封禁IP？
避免被网站封禁IP，是爬虫开发中非常重要的一环。以下是一些常用的方法：
-
设置User-Agent： 模拟真实的浏览器，设置User-Agent。可以在网上找到各种浏览器的User-Agent。
<?php $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'https://example.com'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'); // 模拟Chrome浏览器 $html = curl_exec($ch); curl_close($ch); ?>
-
使用代理IP： 使用代理IP，隐藏真实的IP地址。可以使用免费的代理IP，也可以购买付费的代理IP。免费的代理IP不稳定，速度慢，容易失效。付费的代理IP更稳定，速度快，但需要一定的成本。
<?php $proxy = '127.0.0.1:8080'; // 代理IP地址和端口 $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'https://example.com'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_PROXY, $proxy); $html = curl_exec($ch); curl_close($ch); ?>
-
控制爬取频率： 设置合理的延迟，避免对目标网站造成过大压力。可以使用
sleep()
函数。
<?php sleep(rand(1, 5)); // 随机延迟1-5秒 ?>
-
使用Cookie： 有些网站需要登录才能访问，需要设置Cookie。
<?php $cookie = 'PHPSESSID=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'; // Cookie值 $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'https://example.com'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_COOKIE, $cookie); $html = curl_exec($ch); curl_close($ch); ?>
-
分布式爬取： 使用多个IP地址，分布式爬取，降低单个IP的访问频率。
PHP爬虫如何处理验证码？
处理验证码是爬虫开发中一个比较棘手的问题。常见的解决方案有：
-
人工识别： 将验证码图片显示给用户，让用户手动输入验证码。这种方法简单，但效率较低。
-
OCR识别： 使用OCR（Optical Character Recognition）技术，自动识别验证码图片。常用的OCR库有Tesseract OCR。
<?php // 需要安装Tesseract OCR和相应的PHP扩展 // 示例代码，需要根据实际情况进行调整 use thiagoalessioTesseractOCRTesseractOCR; $imagePath = 'captcha.png'; // 验证码图片路径 $captcha = (new TesseractOCR($imagePath)) ->lang('eng') // 设置语言 ->run(); echo "Captcha: " . $captcha . "n"; ?> -
第三方验证码识别平台： 使用第三方验证码识别平台，将验证码图片发送给平台，平台返回识别结果。这种方法效率较高，但需要付费。
-
绕过验证码： 有些网站的验证码可以通过一些技巧绕过，比如分析验证码的生成规则，或者利用网站的漏洞。
选择哪种方法，取决于验证码的复杂程度和爬取的需求。对于简单的验证码，可以使用OCR识别。对于复杂的验证码，可以使用第三方验证码识别平台或者人工识别。对于一些特殊的网站，可以尝试绕过验证码。
另外，如果目标网站提供了API，尽量使用API进行数据抓取，避免直接爬取网页。API通常更稳定，更易于使用，而且不会受到反爬机制的限制。
