今天做一个爬虫小实验,爬取豆瓣网上书评数据。正好最近一直想看东野圭吾的《解忧杂货店》,那就从它下手吧。
这个项目分为两部分:
(1)爬取数据
(2)制作词云
项目过程:
首先,导入我们需要用的的python库from splinter.browser import Browser
from bs4 import BeautifulSoup
import pandas as pd
import time
from PIL import Image
import time
import snownlp
import jieba
import jieba.analyse
import numpy as np
from wordcloud import WordCloud,STOPWORDS,ImageColorGenerator
(1)爬取数据:采用的是splinter框架以及beautifulSoup解析库。在这里为了节省时间,我只爬取了400条数据。
代码如下:b = Browser()
url0 = "https://book.douban.com/subject/bookid/comments/hot?p="#bookid换成你自己想要爬取的书籍的评论数据
list_1 = []
list_2 = []
for i in range(1,20):
url = "https://book.douban.com/subject/25862578/comments/hot?p="+str(i)
<