python-爬取中药信息

1.选一个自己感兴趣的主题或网站。(所有同学不能雷同)

源地址：http://www.18ladys.com/

2.用python 编写爬虫程序，从网络上爬取相关主题的数据。

3.对爬了的数据进行文本分析，生成词云。

图3-1 爬虫小程序的词云

4.对文本分析结果进行解释说明。

因为爬取的是各个中药的类别及名字，没有爬取更细节的数据，所以显示出来的多是一些中药名词

5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。

(1).写了两个文件，具体如下：

1).数据爬取并生成txt文件的py文件

2).利用python相关的包生成词云相关操作的py文件

(2).遇到的问题以及解决方案：

1).wordcloud包的安装配置出现很大的问题，本机系统装载了两个python版本导致装载出现很多额外的问题。

解决：在同学的帮助下安装了whl文件并删除了本机中的另一个python版本。

2).信息爬取过慢

解决：暂未解决。爬取的页面预计超过100p，所以有关方面可能需要依赖别的技术。

6.最后提交爬取的全部数据、爬虫及数据分析源代码。

(1).文档部分

1).用于数据爬取并生成txt文件的py文件：

import requests
from bs4 import BeautifulSoup

#获取——————————————————————————————————————————
def catchSoup(url):
    #url='http://www.18ladys.com/post/buchong/'
    res=requests.get(url)
    res.encoding='utf-8'
    soup=BeautifulSoup(res.text,'html.parser')
    return soup

#类型及其网页查找(首页查找)——————————————————————
def kindSearch(soup):
    herbKind=[]
    for new

python-爬取中药信息

悦读