1、爬虫的工作原理
获取数据--解析数据--提取数据--存储数据
2、获取数据
本质就是通过URL去向服务器发出请求,服务器再把相关内容封装成一个Response对象返回给我们,这是通过requests.get()实现的。而我们获取到的Response对象下有四个常用的方法(status_code、content、text、encoding)。
3、requests.get()
import requests #引入requests模块
res = requests.get('url') # 向服务器请求数据,服务器返回的结果是个Response对象
print(type(res)) # 终端显示:<class 'requests.models.Response'>
这代表着res是一个对象,属于requests.models.Response类。
3、response.status_code
用法:print(变量.status_code),
用来检查请求是否正确响应,如果响应状态码为200ÿ