Bootstrap

Selenium驱动firefox爬取今日头条并存放在MySQL数据库中

Selenium驱动firefox爬取今日头条

前提:
1.安装selenium包:pip install selenium
2.安装MySQL数据库,并下载Navicat可视化工具
Navicat可视化工具链接:
https://pan.baidu.com/s/1xOzg2Rp9L4LVv15QmRkqbQ
提取码: 1ck5
3.下载Firefox驱动器
注意:
这里要保证Firefox、geckodriver、selenium三者的版本相互兼容,不然会出现错误或者驱动不了Firefox浏览器的情况。
这里提供一篇博客,讲述如何安装三者,保证相互兼容:
相互兼容问题

请先看源码,源码中有一些不明白的地方,在从这里查

说明资料
在这里插入图片描述在这里插入图片描述

cursor.execute('use news')

在这里插入图片描述

# SQL语句的意思是建立一个序号自增,包含title\title_pic\author\times\article_pic\article的表格
	
    sql = '''
        create table {}(
        id int(11) not null auto_increment primary key,
        title varchar(100),
        title_pic varchar(100),
        author varchar(50),
        times varchar(30),
        article_pic varchar(100),
        article text
        )
        
    '''.format(path)

    try:
        cursor.execute(sql)
    except:
        
;