python爬虫使用requests库发送请求、处理Cookie和Session、设置headers、处理异常及使用代理ip。1. 发送get请求用requests.get(url)获取网页内容；2. post请求通过requests.post(url, data=data)提交数据；3. 创建session对象自动管理cookie实现登录访问；4. 通过headers参数模拟浏览器标识防止被识别为爬虫；5. 使用timeout设置超时并结合try-except捕获异常；6. 利用proxies参数配置代理ip防止ip被封。
python爬虫，核心就是模拟浏览器行为，抓取网页上的数据。requests库，绝对是入门级的神器，用起来简单粗暴，效率还高。
利用requests库，我们可以轻松地向服务器发送http请求，拿到网页的html源代码，然后就可以用beautifulsoup或者XPath来解析提取数据了。
安装requests库很简单，直接pip install requests就搞定了。
立即学习“Python免费学习笔记（深入）”；
如何用requests发送GET和POST请求？
GET请求是最常用的，比如你想获取某个网页的内容：
import requests url = 'https://www.example.com' response = requests.get(url) if response.status_code == 200: print(response.text) else: print(f"请求失败，状态码：{response.status_code}")
POST请求一般用于提交数据，比如登录：
import requests url = 'https://www.example.com/login' data = {'username': 'your_username', 'password': 'your_password'} response = requests.post(url, data=data) if response.status_code == 200: print(response.text) else: print(f"请求失败，状态码：{response.status_code}")
注意，response.status_code是HTTP状态码，200表示请求成功。response.text是网页的HTML源代码。
如何处理requests中的Cookie和Session？
有些网站需要登录才能访问，这就涉及到Cookie和Session。requests库可以自动处理Cookie，你只需要创建一个Session对象：
import requests session = requests.Session() # 先登录 url_login = 'https://www.example.com/login' data_login = {'username': 'your_username', 'password': 'your_password'} response_login = session.post(url_login, data=data_login) # 登录后访问需要权限的页面 url_protected = 'https://www.example.com/protected' response_protected = session.get(url_protected) if response_protected.status_code == 200: print(response_protected.text) else: print(f"请求失败，状态码：{response_protected.status_code}")
Session对象会自动保存Cookie，下次请求会自动带上。
requests库如何设置请求头（Headers）？
有些网站会检查请求头，防止爬虫。我们可以通过设置Headers来模拟浏览器：
import requests url = 'https://www.example.com' headers = { 'User-Agent': 'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } response = requests.get(url, headers=headers) if response.status_code == 200: print(response.text) else: print(f"请求失败，状态码：{response.status_code}")
User-Agent是浏览器标识，可以从浏览器开发者工具中找到。
requests库如何处理超时和异常？
网络请求可能会超时或者出现其他异常，我们需要处理这些情况：
import requests url = 'https://www.example.com' try: response = requests.get(url, timeout=5) # 设置超时时间为5秒 response.raise_for_status() # 检查HTTP状态码，如果不是200，抛出异常 print(response.text) except requests.exceptions.RequestException as e: print(f"请求出错：{e}")
timeout参数设置超时时间。response.raise_for_status()会检查HTTP状态码，如果不是200，会抛出异常。
如何使用代理IP防止被封？
频繁的爬取可能会被网站封IP，使用代理IP可以解决这个问题：
import requests url = 'https://www.example.com' proxies = { 'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:1080', } try: response = requests.get(url, proxies=proxies, timeout=5) response.raise_for_status() print(response.text) except requests.exceptions.RequestException as e: print(f"请求出错：{e}")
你需要替换http://10.10.1.10:3128和http://10.10.1.10:1080为你的代理IP地址。
