要实现简单的java爬虫推荐使用JSoup解析html，具体步骤如下：1. 添加jsoup依赖，maven用户在pom.xml中加入对应代码，gradle用户添加implementation语句，无构建工具则手动导入jar包；2. 使用jsoup.connect方法获取网页内容，并通过useragent和timeout设置请求头与超时时间，将结果解析为document对象；3. 利用类似css选择器的方式提取数据，例如遍历所有链接或指定类名的元素内容；4. 注意jsoup无法处理动态加载内容，若需应对Javascript渲染页面，应配合selenium或playwright等工具。整个流程清晰稳定，适用于结构固定的网页抓取需求。
要实现一个简单的java爬虫，用 Jsoup 解析 HTML 是个不错的选择。它简单易用，功能又足够满足大多数网页抓取和解析的需求。下面我们就一步步来看怎么用 Java + Jsoup 来写一个基础但实用的爬虫。
1. 添加 Jsoup 依赖
首先你需要在项目中引入 Jsoup 库。如果你使用的是 Maven 项目，只需要在 pom.xml 文件里加上这行：
<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.16.1</version> </dependency>
Gradle 用户则加这个：
立即学习“Java免费学习笔记（深入）”；
implementation 'org.jsoup:jsoup:1.16.1'
如果没有用构建工具，也可以直接下载 jar 包手动导入。
2. 获取网页内容并解析
Jsoup 提供了很方便的方法来连接网页并获取 HTML 内容。比如这样：
Document doc = Jsoup.connect("https://example.com").get();
这段代码会发起一个 GET 请求，获取页面内容，并自动解析成一个 Document 对象。你可以把它理解为整个 HTML 页面的结构化表示。
- 如果目标网站需要设置 User-Agent 或者有反爬机制，可以加上一些请求头：
Document doc = Jsoup.connect("https://example.com") .userAgent("Mozilla/5.0") .get();
- 还可以设置超时时间防止卡住：
Document doc = Jsoup.connect("https://example.com") .timeout(10 * 1000) .get();
3. 使用选择器提取数据
Jsoup 支持类似 css 选择器的方式来提取元素。这是最常用、也最方便的方式。
举个例子，假设你想提取所有链接（a 标签中的 href）：
Elements links = doc.select("a"); for (Element link : links) { System.out.println(link.attr("href")); }
再比如，提取某个类名下的所有标题：
Elements titles = doc.select(".article-title"); for (Element title : titles) { System.out.println(title.text()); }
你还可以组合选择器，比如查找某个 div 下的所有段落：
Elements paras = doc.select("div.content p");
熟悉 CSS 选择器的话，这部分基本没有门槛。
4. 处理动态加载的内容？
这里要注意一点：Jsoup 只能处理静态 HTML，不能执行 JavaScript。也就是说，如果网页内容是通过 JS 动态加载的（比如很多现代前端框架做的 SPA），那 Jsoup 抓下来的就是空白或者不完整的内容。
这种情况下，你可以考虑配合 Selenium 或者 Playwright 等工具来做渲染，然后再用 Jsoup 做解析。不过这就复杂多了，属于进阶玩法了。
基本上就这些。
整个流程其实很清晰：发请求 → 拿 HTML → 选元素 → 提数据。
只要网页结构稳定，用 Jsoup 就能轻松搞定。
