目录
安装 requests 模块
你可以使用 pip 来安装 requests。在终端或命令提示符中输入以下命令：
pip install requests
基本请求方法
requests 模块支持多种 HTTP 请求方法，以下是常用的几种：
GET 请求
用于从服务器获取数据。
import requests
response = requests.get('https://zbr/data')
print(response.status_code) # 状态码
print(response.json()) # 返回的 JSON 数据
POST 请求
用于向服务器发送数据。
import requests
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://zbr/data', json=data)
print(response.status_code)
print(response.json())
PUT 请求
用于更新资源。
import requests
data = {'key1': 'new_value'}
response = requests.put('https://zbr/data/1', json=data)
print(response.status_code)
DELETE 请求
用于删除资源。
import requests
response = requests.delete('https://zbr/data/1')
print(response.status_code)
添加请求头：
headers = {'Authorization': 'Bearer YOUR_TOKEN'}
response = requests.get('https://zbr/data', headers=headers)
处理查询参数：
params = {'param1': 'value1', 'param2': 'value2'}
response = requests.get('https://zbr/data', params=params)
文件上传：
files = {'file': open('test.txt', 'rb')}
response = requests.post('https:/zbr/upload', files=files)
常见响应状态码
-
200 OK
- 请求成功，服务器返回所请求的数据。
-
201 Created
- 请求成功，资源被创建，通常用于 POST 请求。
-
204 No Content
- 请求成功，但没有返回内容，常用于 DELETE 请求。
-
400 Bad Request
- 服务器无法理解请求，通常是因为请求参数错误。
-
401 Unauthorized
- 请求需要用户验证，通常是因为缺少或无效的认证凭据。
-
403 Forbidden
- 服务器拒绝请求，即使已验证用户，通常是权限问题。
-
404 Not Found
- 请求的资源在服务器上未找到，常见于无效的 URL。
-
500 Internal Server Error
- 服务器遇到意外情况，导致无法完成请求。
-
503 Service Unavailable
- 服务器当前无法处理请求，可能是由于过载或维护。
访问超时
在使用 requests 模块时，可以设置请求的超时时间，以防止请求因网络问题而长时间阻塞。可以通过 timeout 参数设置超时：
import requests
try:
response = requests.get('https://zbr/data', timeout=5) # 设置超时为5秒
response.raise_for_status() # 检查请求是否成功
except requests.exceptions.Timeout:
print('请求超时！')
except requests.exceptions.HTTPError as err:
print(f'HTTP错误：{err}')
except Exception as err:
print(f'其他错误：{err}')
cookie的查询和设置
查询 Cookies
在发送请求后，你可以通过 response.cookies 属性来访问服务器返回的 cookies：
import requests
# 发送请求
response = requests.get('https://httpbin.org/cookies/set?name=value')
# 查询 cookies
cookies = response.cookies
for cookie in cookies:
print(f'{cookie.name}: {cookie.value}')
设置 Cookies
在发送请求时，可以通过 cookies 参数来设置 cookies
import requests
# 创建一个字典，包含要设置的 cookies
cookies = {'name': 'value', 'session_id': 'abc123'}
# 发送请求并设置 cookies
response = requests.get('https://httpbin.org/cookies', cookies=cookies)
# 打印返回的 cookies
print(response.json())
设置爬虫代理
在使用 requests 模块进行网页爬虫时，设置代理可以帮助你隐藏真实 IP 地址，避免被网站封禁。
就是找到代理服务商 买一下资源 把信息填到proxies 里面去
import requests
# 设置代理
proxies = {
'http': 'http://your_http_proxy:port',
'https': 'http://your_https_proxy:port',
}
# 身份验证写法
proxies = {
'http': 'http://username:password@your_http_proxy:port',
'https': 'http://username:password@your_https_proxy:port',
}
# 要发送的数据
data = {'key': 'value'}
# 发送 POST 请求
response = requests.post('https://httpbin.org/post', data=data, proxies=proxies)
# 打印响应内容
print(response.json())
小试牛刀
import requests
# 目标 URL
url = 'https://www.baidu.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
}
try:
# 发送 GET 请求
response = requests.get(url, headers=headers)
# 检查请求是否成功
response.raise_for_status()
# 保存为 HTML 文件
with open('baidu.html', 'w', encoding='utf-8') as file:
file.write(response.text)
print('网页已成功保存为 baidu.html')
except requests.exceptions.RequestException as e:
print(f'请求出错: {e}')
至少 下载下来东西了