【Python爬虫】Scrapy框架实战

scrapy startproject 项目名

在这里插入图片描述
生成每个文件的功能：

在items.py文件中进行建模

1.创建爬虫

scrapy genspider 爬虫名 允许的域

在这里插入图片描述

3.2 完成爬虫

修改start_urls
检查修改allowed domains
编写解析方法

在pipelines.py文件中定义对数据处理的管道在settings.py文件中注册启用管道

道可道，非常道；名可名，非常名。无名，天地之始，有名，万物之母。故常无欲，以观其妙，常有欲，以观其徼。此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。