urllib3 是 python 中一个强大且易用的 http 请求库,适合频繁发起网络请求的场景。安装方法为:pip install urllib3。发送 get 请求的关键步骤包括:导入库、创建 poolmanager 实例、调用 request() 方法获取响应,并通过 .status 和 .data 查看结果。添加请求头和参数可通过 headers 和 fields 参数实现。post 请求支持 json 和表单两种方式,json 需手动编码并设置 content-type,而表单则由库自动处理。错误处理可通过捕获异常和检查状态码进行,常见异常包括超时、dns 解析失败和 ssl 证书问题。掌握这些基本操作即可应对大多数实际需求。
用 python 发送 HTTP 请求,urllib3 是一个非常实用的第三方库。它比标准库中的 urllib 更强大、更易用,特别适合需要频繁发起网络请求的场景。
安装 urllib3
在使用之前,首先得安装这个库。如果你还没装过,可以通过 pip 安装:
pip install urllib3
这一步很简单,但很重要。没装的话运行代码会报错,比如提示找不到模块 urllib3。
立即学习“Python免费学习笔记(深入)”;
基本 GET 请求怎么发?
发送一个最简单的 GET 请求其实只需要几行代码:
import urllib3 http = urllib3.PoolManager() response = http.request('GET', 'https://httpbin.org/get') print(response.status) print(response.data.decode('utf-8'))
这里有几个关键点需要注意:
- PoolManager() 用来管理连接池,能提升性能,特别是多次请求时。
- request() 方法第一个参数是请求方法,第二个是 URL。
- 返回的是一个 HTTPResponse 对象,里面有状态码和响应内容。
有时候你会发现返回的内容是二进制格式(.data),记得要用 .decode() 转成字符串。
如何添加请求头和参数?
很多时候我们不只是简单地访问一个网址,还需要带上 headers 或者查询参数。
添加 headers 的方式如下:
headers = { 'User-Agent': 'MyApp/1.0', 'Authorization': 'Bearer YOUR_TOKEN' } response = http.request('GET', 'https://httpbin.org/get', headers=headers)
常见用途包括身份验证、伪装浏览器访问等。
查询参数可以用 fields 参数传入:
response = http.request( 'GET', 'https://httpbin.org/get', fields={'key1': 'value1', 'key2': 'value2'} )
这样会自动把参数拼接到 URL 上,变成类似 ?key1=value1&key2=value2 的形式。
POST 请求怎么处理?
POST 请求通常要传数据,urllib3 支持以 JSON 或表单形式发送。
发送 JSON 数据:
import json data = {'username': 'test', 'password': '123456'} encoded_data = json.dumps(data).encode('utf-8') response = http.request( 'POST', 'https://httpbin.org/post', body=encoded_data, headers={'Content-Type': 'application/json'} )
注意几点:
- 需要把字典转成 JSON 字符串再编码成字节流。
- 设置正确的 Content-Type,否则服务器可能识别不了。
表单提交可以这样写:
response = http.request( 'POST', 'https://httpbin.org/post', fields={'username': 'test', 'password': '123456'} )
这时 urllib3 会自动设置 Content-Type: application/x-www-form-urlencoded,并把字段编码为表单格式。
错误处理怎么做?
网络请求难免出问题,比如超时、连接失败或者服务器返回错误状态码。
捕获异常的方法如下:
try: response = http.request('GET', 'https://httpbin.org/status/500') except urllib3.exceptions.HTTPError as e: print("发生网络错误:", e)
还可以检查响应的状态码来判断是否成功:
if response.status >= 400: print("请求失败,状态码:", response.status)
常见的错误类型有:
- 连接超时(Timeout)
- DNS 解析失败
- SSL 证书验证失败(可在测试环境加 cert_reqs=’CERT_NONE’ 忽略)
基本上就这些。urllib3 功能丰富但用起来不复杂,只要掌握基本的 GET 和 POST 请求、参数传递和错误处理,就能应对大多数实际需求了。