开篇
做论文的时候,最多接触的就是标准的数据集,几乎不需要太多的结构化处理,下载下来就是可以直接加载使用的数据,课题是有关评论分析的,但是论文针对的都是英文数据,而国内电商平台其实积累了大量的评论数据,没有办法通过官方渠道获取,那么我们就写个爬虫自己爬吧,我没有系统地学过爬虫,所以挑了一个比较好爬的网站。
获取评论存储的地址
首先我们选择一个想要爬取的商品,打开它的网址,这边我选择的是iphone8的手机评论
这里最好使用谷歌浏览器,接下来就是需要我们去获取评论的存储网页啦,我们右击网页,点击检查,这时候会出现京东网页的代码。
点击network,将disable cache选上,我们主要要查找js网页,所以点上js,这时候你查找什么网页都没有,所以刷新一下网页
这时候嵌套的网页就全出来了,这时候你输入product