Selenium驱动firefox爬取今日头条
前提:
1.安装selenium包:pip install selenium
2.安装MySQL数据库,并下载Navicat可视化工具
Navicat可视化工具链接:
https://pan.baidu.com/s/1xOzg2Rp9L4LVv15QmRkqbQ
提取码: 1ck5
3.下载Firefox驱动器
注意:
这里要保证Firefox、geckodriver、selenium三者的版本相互兼容,不然会出现错误或者驱动不了Firefox浏览器的情况。
这里提供一篇博客,讲述如何安装三者,保证相互兼容:
相互兼容问题
请先看源码,源码中有一些不明白的地方,在从这里查
说明资料
cursor.execute('use news')
# SQL语句的意思是建立一个序号自增,包含title\title_pic\author\times\article_pic\article的表格
sql = '''
create table {}(
id int(11) not null auto_increment primary key,
title varchar(100),
title_pic varchar(100),
author varchar(50),
times varchar(30),
article_pic varchar(100),
article text
)
'''.format(path)
try:
cursor.execute(sql)
except: