使用wget递归下载需结合-r与-np、-A、-R等参数控制范围和过滤文件，如wget -r -np -A “.pdf” -R “.html”指定下载PDF并排除HTML，同时用–limit-rate限速、-U伪装浏览器，避免过度请求或被拦截，确保高效精准抓取目标内容。
在linux中进行批量下载，尤其是当目标是一个网站的完整目录结构或者一系列相互链接的文件时，
wget
的递归下载功能无疑是核心利器。它能让你指定一个起点，然后像一个不知疲倦的数字侦察兵一样，自动追踪链接、下载所有你想要的内容，极大地简化了原本可能异常繁琐的手动操作。这不仅仅是下载单个文件那么简单，它关乎效率、完整性和对复杂网络资源的掌控。
解决方案
要实现
wget
的递归下载，核心是使用
-r
或
--recursive
选项。在此基础上，结合其他参数可以精细控制下载行为。
最基础的递归下载命令如下：
这会从指定URL开始，递归下载该目录及其子目录下的所有文件。然而，仅仅使用
-r
往往会导致下载过多不必要的内容，所以通常需要配合其他选项进行过滤和控制。
一个更实用的示例可能看起来像这样：
wget -r -np -R "index.html*,*.txt" -A "*.pdf,*.zip" -l 1 --limit-rate=200k -U "Mozilla/5.0 (windows NT 10.0; Win64; x64) appleWebKit/537.36 (KHTML, like Gecko) chrome/91.0.4472.124 safari/537.36" http://example.com/downloads/
这条命令的含义是：
-
-r
：启用递归下载。
-
-np
：不追溯到父目录。这很重要，否则你可能会把整个网站都下载下来。
-
-R "index.html*,*.txt"
：拒绝下载所有名为
index.html
开头的文件和所有
.txt
文件。
-
-A "*.pdf,*.zip"
：只接受下载
.pdf
和
.zip
文件。注意，
-A
和
-r
可以同时使用，但要理解它们的优先级和作用范围。
-
-l 1
：设置递归深度为1。这意味着只下载当前目录下的文件和链接，不会深入到子目录的子目录。
-
--limit-rate=200k
：限制下载速度为200KB/s，避免给服务器造成过大压力。
-
-U "..."
：设置User-Agent，模拟浏览器访问，有些网站会检查这个。
如何利用
wget
wget
递归下载整个网站或特定目录？
当我们需要抓取一个网站的全部内容，或者仅仅是其中某个特定区域时，
wget
的递归能力就显得尤为关键。我个人在做一些数据备份或者离线浏览时，经常会用到这个。最直接的用法就是结合
-r
和
-k
（将绝对链接转换为相对链接，方便离线浏览）以及
-p
（下载所有页面所需的图片、css等文件）。
想象一下，你要备份一个旧的个人博客，或者一个静态的文档站点：
wget -r -k -p -np -P /path/to/save/website/ http://old-blog.example.com/
这里，
-P /path/to/save/website/
指定了下载内容的保存路径。
-k
和
-p
的组合，旨在让下载下来的网页在本地也能正常显示，所有图片、样式表都会被一并下载并修改链接。而
-np
，正如我之前提到的，是防止
wget
跑出你设定的根目录，避免把整个互联网都拖下来。我曾有过一次经验，忘记加
-np
，结果它试图下载整个域名下的所有内容，那次硬盘空间真是告急。所以，
-np
几乎是递归下载时的标配。
对于特定目录，你只需将URL指向该目录即可。
wget
会从那里开始递归。如果该目录有索引页，它会解析索引页上的链接；如果没有，它会尝试列出目录内容（如果服务器允许）。
如何避免
wget
wget
递归下载不必要的文件类型或外部链接？
这是
wget
递归下载中一个非常实用的技巧，也是我经常需要精细调整的地方。我们很少会想要一个网站的所有内容，通常只对特定类型的文件或特定域内的内容感兴趣。
避免外部链接： 默认情况下，
wget
递归下载时会遵循链接，包括指向外部域名的链接。要将其限制在当前域名或指定域名内，可以使用
--domains=example.com
或
-D example.com
。
wget -r -np -D example.com,cdn.example.com http://example.com/
这条命令会确保只下载
example.com
和
cdn.example.com
这两个域下的内容。这对于只抓取主站内容，同时允许加载其CDN资源的情况非常有用。
过滤文件类型：
wget
提供了
-A
（accept，接受）和
-r
（reject，拒绝）两个选项来根据文件扩展名进行过滤。
-
-A "*.pdf,*.doc"
：只下载PDF和word文档。
-
-R "*.mp3,*.avi"
：拒绝下载MP3和AVI文件。
你甚至可以结合它们，例如，我只想下载一个文档库里的PDF，但不想下载任何HTML页面：
wget -r -np -A "*.pdf" -R "*.html,*.htm" http://docs.example.com/
注意，
-A
和
-r
是基于文件扩展名进行匹配的，所以如果文件没有扩展名，或者扩展名不符合预期，它们可能不会生效。我发现有时网站会用
/file/download/id/123
这样的URL提供文件，这时候就不能简单地靠扩展名过滤了。面对这种情况，可能需要更复杂的脚本或结合
--include-directories
和
--exclude-directories
来指定路径。
处理
wget
wget
递归下载中的常见问题与最佳实践有哪些？
wget
虽然强大，但在实际使用中也常遇到一些“坑”，并且有些实践能让你的下载任务更顺畅。
1. 服务器限制与礼貌： 很多网站会限制爬虫访问，或者你下载速度过快可能会被封IP。
-
--limit-rate=BYTES
：限制下载速度。我通常会设置一个合理的限速，比如
200k
或
500k
，避免给服务器造成太大压力，也减少自己被封的风险。
-
--wait=SECONDS
：每次请求之间等待指定秒数。比如
--wait=5
，每下载一个文件就等待5秒。这能模拟人类浏览行为，更“礼貌”一些。
-
--random-wait
：在0到
2*--wait
秒之间随机等待。比固定等待更不容易被识别为机器人。
-
-U "User-Agent String"
：设置User-Agent。有些网站会根据User-Agent来判断是否允许访问，模拟主流浏览器通常能解决问题。
2. 处理
robots.txt
： 网站通常会有一个
robots.txt
文件来指导爬虫哪些区域可以访问，哪些不可以。
wget
默认会遵循
robots.txt
。如果你有正当理由需要忽略它（例如，你正在备份自己的网站，但
robots.txt
误配置了），可以使用
--execute=robots=off
。但要小心，这可能会违反网站的使用政策。
3. 断点续传与日志：
-
-c
或
--continue
：断点续传。如果下载中断，下次运行相同的命令可以从上次中断的地方继续。这对于下载大文件或在网络不稳定的情况下非常重要。
-
-o logfile.txt
：将所有输出写入日志文件，而不是标准输出。这样可以方便地查看下载过程中的错误或详细信息。
4. 递归深度控制：
-l depth
或
--level=depth
。我前面提过，这是控制
wget
深入多少层目录的关键。如果只需要当前目录的文件，设为
1
；如果需要整个网站，可能需要更高的值，甚至不设限制（但要配合其他过滤选项）。
5. ssl/TLS证书问题： 有时在下载https网站时，可能会遇到证书验证失败的问题。如果确定来源可信，可以暂时使用
--no-check-certificate
来跳过证书检查。但请务必谨慎使用此选项，因为它会降低安全性。
总之，
wget
的递归下载功能是Linux命令行工具箱中的一颗明珠。它提供了极高的灵活性和控制力，让你能够以近乎外科手术般的精度，从复杂的网络资源中提取所需的信息。掌握这些技巧，无疑能让你的日常工作效率提升一大截。
暂无评论内容