Python requests库的用法与应用

Python 中的 requests 库是处理 HTTP 请求的利器，广泛应用于网络爬虫、API 调用、自动化测试等领域。本文将详细介绍 requests 库的基本用法及其在实际项目中的应用。

安装与导入

首先，你需要安装 requests 库。可以通过以下命令进行安装：

pip install requests

安装完成后，在你的 Python 脚本中导入 requests ：

import requests

基本用法

requests 库提供了多种 HTTP 方法，如 GET、POST、PUT、DELETE 等。以下是几个常见的用法：

GET 请求：
```
response = requests.get('https://api.example.com/data')
print(response.text)
```
这将发送一个 GET 请求到指定的 URL，并打印出响应的内容。

POST 请求：

payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://api.example.com/post', data=payload)
print(response.json())

这里我们发送一个 POST 请求，携带数据到服务器，并解析 JSON 格式的响应。

传递参数：

params = {'param1': 'value1', 'param2': 'value2'}
response = requests.get('https://api.example.com/get', params=params)
print(response.url)

通过 params 参数可以将字典形式的参数转换为 URL 的查询字符串。

设置头信息：

headers = {'User-Agent': 'My User Agent 1.0'}
response = requests.get('https://api.example.com/headers', headers=headers)
print(response.headers)

可以自定义请求头信息，以模拟不同的客户端行为。

高级用法

会话保持：

with requests.Session() as session:
    session.auth = ('user', 'pass')
    session.headers.update({'x-test': 'true'})
    response = session.get('https://httpbin.org/headers')
    print(response.text)

使用 Session 对象可以保持某些参数（如认证信息、头信息）在多个请求中保持不变。

超时设置：

try:
    response = requests.get('https://api.example.com/timeout', timeout=5)
    print(response.text)
except requests.Timeout:
    print("请求超时")

设置超时时间可以避免程序因网络问题而无限等待。

处理异常：

try:
    response = requests.get('https://api.example.com/error')
    response.raise_for_status()
except requests.exceptions.HTTPError as err:
    print(f"HTTP 错误发生: {err}")
except requests.exceptions.RequestException as e:
    print(f"请求异常: {e}")

通过异常处理，可以捕获并处理各种网络请求可能引发的错误。

实际应用

网络爬虫：使用 requests 库可以轻松获取网页内容，结合 BeautifulSoup 或 lxml 等解析库，可以实现复杂的网页抓取任务。
API 调用：许多现代 API 都支持 RESTful 风格，requests 库可以方便地发送和接收 JSON 数据，进行 API 交互。
自动化测试：在自动化测试中，requests 可以模拟用户的 HTTP 请求，测试服务器的响应是否符合预期。
数据采集：从各种数据源（如天气预报、股票行情等）获取实时数据，进行数据分析或展示。

总结

requests 库以其简洁的 API 和强大的功能，成为 Python 处理 HTTP 请求的首选工具。无论是简单的 GET 请求，还是复杂的会话管理和异常处理，requests 都能轻松应对。通过本文的介绍，希望大家能更好地理解和应用 requests 库，在实际项目中发挥其最大效用。同时，记得在使用过程中遵守相关网站的使用条款和法律法规，避免不必要的法律风险。