Python爬虫系列（一）——手把手教你写Python爬虫

1. 什么是爬虫？

根据百度百科的定义，网络爬虫，又称为网页蜘蛛，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

人们如今的生活，大都离不开网络，发一条微信，电子支付买一杯奶茶，刷一条微博，等等，都依赖于网络的便携性。但是，互联网茁壮成长的同时，海量的信息每天也会以指数级增长的方式充斥到网络环境中，那么如何快速高效地找到我们需要的信息，成为了很关键的功能，于是搜索引擎诞生了。搜索引擎替我们把很多网络信息做了筛选，当我们查询某项内容时，搜索引擎可以计算出一个排名，来展现查询相关的内容。那么面对海量的信息，搜索引擎就是利用爬虫对数据进行了整合和筛选操作，为人们在网络海洋中快速挖掘有用的信息提供了便利。

既然搜索引擎这么好用了，那么我们为什么还要写爬虫？是因为有时我们有更加个性化的搜索需求，比如我们希望获取猫眼电影中排名前一百名的电影的评论内容，并根据评论做情感分析。面对这个需求，搜索引擎的作用就比较局限了。那么要实现这个功能，第一步的获取出这些相关信息就需要我们动手写爬虫了。

很多语言都可以写爬虫，包括python，java、c++等。而Python本身是开源的，很多大佬为Python的功能扩展写了很多成熟的工具，也就是网络上常说的xx库，我们可以利用这些工具快速实现我们的需求，比较好入门。

另外，需要强调的是，网络上并不是什么东西都可以爬，针对这个问题，我国有着一套完备的法律。爬了不该爬的内容，比如大量个人信息，那可以快速实现“从入门到入狱”。

2. 了解网页

网页一般由三部分组成，分别是 HTML（超文本标记语言）、CSS（层叠样式表）和 JS（活动脚本语言）。

我们每次请求数据，服务器都会把由这三部分组成的内容发送过来，再经浏览器编译，就出现了我们看到的界面。实际上爬虫获取信息也是相似的流程，向服务器请求数据，请求到的数据存储到内存中，然后解析出我们想要的信息。

每个浏览器关于查看网页源码有着不同的操作，以谷歌浏览器为例，是在页面中点击鼠标右键，再选择“检查”，在出现的框中选择元素（Elements），我们使用爬虫查询的内容也就包含在这些元素中。

比如，我们可以找到百度首页内热搜的第一条数据信息。（鼠标指向某一行，相应的内容就会以“蓝框”的形式在界面中标记出来）

3. 爬取CSDN页面信息演示

比如我就要爬我在CSDN的主页信息（红框部分）

分析页面

第一步，分析页面，找到这些数据在哪。

打开元素，当鼠标停留在下图这一行时，界面上的这一部分内容被蓝框选中，表示数据就在这个div内

接着往下找，可以找到一个列表，包含了四个元素，分别对应了界面上的四条数据。

打开其中一个，我们就找到了这个数据。(其它数据同理)

导包

既然使用python，我们就要利用python成熟的工具，这个示例需要用到三个包。

requests
bs4
lxml

requests翻译为“请求”，这个库就是帮助我们向服务器中请求数据的工具；BeautifulSoup是解析工具，它可以解析网页数据，可以快速提取出所需要的信息，如今BeautifulSoup已经被包含在bs4库中，直接下载bs4库即可；lxml是python的一个解析库，和BeautifulSoup配合使用，能够快速解析出页面信息。

导入包（lxml不需要导入）

import requests
from bs4 import BeautifulSoup

设置url和身份标识

设置要访问的url

url = 'https://blog.csdn.net/cun_king'  # 待访问的url地址

设置user-agent，user-agent是身份标识，这里用来模拟是真人的请求操作。

那么为什么需要模拟真人操作呢？首先给出一个结论，网站是不喜欢爬虫的，所以一般网站都会设置一定的反爬机制。很多爬虫向服务器请求数据，或者爬虫要请求很多信息时，会给服务器造成很大压力，严重时可能导致服务器宕机，那么，针对爬虫就会产生对应的反爬机制，比如识别user-agent就是一个初级的反爬机制，当访问者没有携带user-agent时，网站就会默认访问者是爬虫，从而可以拒绝提供信息反馈。

怎么找user-agent？选择网络（如下图），然后刷新界面信息

随便选择一个文件，再选择“标头”，展示的内容是根据http协议用来请求数据所携带的头部，user-agent就包含在里面

user-agent在标头的最下方

将user-agent复制出来，在程序中写成一个字典的形式

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}

请求数据并解析

strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
soup = BeautifulSoup(strhtml.text, 'lxml')  # 将请求到的数据解析为lxml格式
info = soup.select()  # 筛选数据，这里需要加一个参数

注意！soup.select()包含了一个重要参数，这个参数就是筛选数据的条件。

回到“元素”，找到刚才“被访问量”对应的那条div，点击鼠标右键–>复制–>复制selector

这样会得到一个选择器，也就是select()的参数

info = = soup.select('#floor-user-profile_485 > div > div.user-profile-head > div.user-profile-head-info.user-profile-wrapper > div.user-profile-head-info-b > ul > li:nth-child(1) > div.user-profile-statistics-num')

筛选出来的info是一个迭代器，但是由于现在只获取到一条数据，因此可以直接输出看看

print("访问量：" + info[0].get_text())

可以发现已经获取到了目标信息，获取其它三条数据同理。

完整代码：

import requests 
from bs4 import BeautifulSoup

url = 'https://blog.csdn.net/cun_king'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}
strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
soup = BeautifulSoup(strhtml.text, 'lxml')
info = soup.select('#floor-user-profile_485 > div > div.user-profile-head > '
                    'div.user-profile-head-info.user-profile-wrapper > div.user-profile-head-info-b > ul > '
                    'li:nth-child(1) > div.user-profile-statistics-num')
print("访问量：" + info[0].get_text())

事实上，我们可以修改选择器，因为四条数据也是按列表形式排列的，所有我们可以一块获取，然后循环输出。

import requests  # 导入requests包
from bs4 import BeautifulSoup

url = 'https://blog.csdn.net/cun_king'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}
strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
# print(strhtml.text)
soup = BeautifulSoup(strhtml.text, 'lxml')

info = soup.select('#floor-user-profile_485 > div > div.user-profile-head > div.user-profile-head-info.user-profile-wrapper > div.user-profile-head-info-b > ul > li')

for item in info:
    print(item.get_text())