回复爬虫来获取本篇文章的源代码。
在上一篇文章中,我们学习了爬取一些简单的网页。当然,有爬虫就有反爬虫。像第一篇文章中,我们试图爬取百度主页就只得到了一点信息。今天我们来学习绕过一些简单的反爬虫机制。
首先我们了解一下你是怎么上网的。
首先,你会输入一个网址让浏览器访问。网址其实本身是没有任何意义的,只是为了让人们更好记忆,浏览器也并不对网址感兴趣,它只会根据IP地址来访问网页。
浏览器会在你访问过的网页中寻找网址对应的IP地址,如果没有找到,就是说你没有访问过这个网页的话,它就去询问DNS。DNS的全称是域名服务器,是专门用于管理网址对应的IP地址的。它类似于接线员,把浏览器接到IP地址对应的计算机。(服务器。其实服务器就是配置比普通计算机高的计算机)当然,如果你访问的界面根本就不存在,DNS就返回一个Http404错误,它在你访问不存在的网页时出现。接着,浏览器会给服务器发一个东西,叫做Http响应报文,用于请求你访问这个网页。这里面大概是这样的:
你可以在检查元素中的网络部分找到它。
如果服务器同意你访问,你就可以开始访问这个网页了。
当然,有时候也会这样: