Bootstrap

python如何爬取豆瓣全部评论_python爬取豆瓣数据评论数据并通过词云显示-Go语言中文社区...

今天做一个爬虫小实验,爬取豆瓣网上书评数据。正好最近一直想看东野圭吾的《解忧杂货店》,那就从它下手吧。

这个项目分为两部分:

(1)爬取数据

(2)制作词云

项目过程:

首先,导入我们需要用的的python库from splinter.browser import Browser

from bs4 import BeautifulSoup

import pandas as pd

import time

from PIL import Image

import time

import snownlp

import jieba

import jieba.analyse

import numpy as np

from wordcloud import WordCloud,STOPWORDS,ImageColorGenerator

(1)爬取数据:采用的是splinter框架以及beautifulSoup解析库。在这里为了节省时间,我只爬取了400条数据。

代码如下:b = Browser()

url0 = "https://book.douban.com/subject/bookid/comments/hot?p="#bookid换成你自己想要爬取的书籍的评论数据

list_1 = []

list_2 = []

for i in range(1,20):

url = "https://book.douban.com/subject/25862578/comments/hot?p="+str(i)

<
;