如何使用Python发送HTTP请求?urllib3使用指南

urllib3 是 python 中一个强大且易用的 http 请求库,适合频繁发起网络请求的场景。安装方法为:pip install urllib3。发送 get 请求的关键步骤包括:导入库、创建 poolmanager 实例、调用 request() 方法获取响应,并通过 .status 和 .data 查看结果。添加请求头和参数可通过 headers 和 fields 参数实现。post 请求支持 json 和表单两种方式,json 需手动编码并设置 content-type,而表单则由库自动处理。错误处理可通过捕获异常和检查状态码进行,常见异常包括超时、dns 解析失败和 ssl 证书问题。掌握这些基本操作即可应对大多数实际需求。

如何使用Python发送HTTP请求?urllib3使用指南

python 发送 HTTP 请求,urllib3 是一个非常实用的第三方库。它比标准库中的 urllib 更强大、更易用,特别适合需要频繁发起网络请求的场景。

如何使用Python发送HTTP请求?urllib3使用指南


安装 urllib3

在使用之前,首先得安装这个库。如果你还没装过,可以通过 pip 安装:

如何使用Python发送HTTP请求?urllib3使用指南

pip install urllib3

这一步很简单,但很重要。没装的话运行代码会报错,比如提示找不到模块 urllib3。

立即学习Python免费学习笔记(深入)”;


基本 GET 请求怎么发?

发送一个最简单的 GET 请求其实只需要几行代码:

如何使用Python发送HTTP请求?urllib3使用指南

import urllib3  http = urllib3.PoolManager() response = http.request('GET', 'https://httpbin.org/get') print(response.status) print(response.data.decode('utf-8'))

这里有几个关键点需要注意:

  • PoolManager() 用来管理连接池,能提升性能,特别是多次请求时。
  • request() 方法第一个参数是请求方法,第二个是 URL。
  • 返回的是一个 HTTPResponse 对象,里面有状态码和响应内容。

有时候你会发现返回的内容是二进制格式(.data),记得要用 .decode() 转成字符串


如何添加请求头和参数?

很多时候我们不只是简单地访问一个网址,还需要带上 headers 或者查询参数。

添加 headers 的方式如下:

headers = {     'User-Agent': 'MyApp/1.0',     'Authorization': 'Bearer YOUR_TOKEN' } response = http.request('GET', 'https://httpbin.org/get', headers=headers)

常见用途包括身份验证、伪装浏览器访问等。

查询参数可以用 fields 参数传入:

response = http.request(     'GET',     'https://httpbin.org/get',     fields={'key1': 'value1', 'key2': 'value2'} )

这样会自动把参数拼接到 URL 上,变成类似 ?key1=value1&key2=value2 的形式。


POST 请求怎么处理?

POST 请求通常要传数据,urllib3 支持以 JSON 或表单形式发送。

发送 JSON 数据:

import json  data = {'username': 'test', 'password': '123456'} encoded_data = json.dumps(data).encode('utf-8')  response = http.request(     'POST',     'https://httpbin.org/post',     body=encoded_data,     headers={'Content-Type': 'application/json'} )

注意几点:

  • 需要把字典转成 JSON 字符串再编码成字节流。
  • 设置正确的 Content-Type,否则服务器可能识别不了。

表单提交可以这样写:

response = http.request(     'POST',     'https://httpbin.org/post',     fields={'username': 'test', 'password': '123456'} )

这时 urllib3 会自动设置 Content-Type: application/x-www-form-urlencoded,并把字段编码为表单格式。


错误处理怎么做?

网络请求难免出问题,比如超时、连接失败或者服务器返回错误状态码。

捕获异常的方法如下:

try:     response = http.request('GET', 'https://httpbin.org/status/500') except urllib3.exceptions.HTTPError as e:     print("发生网络错误:", e)

还可以检查响应的状态码来判断是否成功:

if response.status >= 400:     print("请求失败,状态码:", response.status)

常见的错误类型有:

  • 连接超时(Timeout)
  • DNS 解析失败
  • SSL 证书验证失败(可在测试环境加 cert_reqs=’CERT_NONE’ 忽略)

基本上就这些。urllib3 功能丰富但用起来不复杂,只要掌握基本的 GET 和 POST 请求、参数传递和错误处理,就能应对大多数实际需求了。

© 版权声明
THE END
喜欢就支持一下吧
点赞5 分享