1、批量写入数据的方法
在日常处理数据的过程中,我们都有批量写入数据库的需求,使用pythonpymysql
向mysql插入大量数据时,我们一般使用有两种方法:
- 1、for + cursor.execute(sql),最后提交(commit())
- 2、cursor.executemany(sql,list)
两种方法效率上和功能上有一定差异。20W条数据,使用第一种方法需要约1.5小时,使用第二种方法只需要10几秒,今天就记录一下使用executemany
批量写入的简单方法。
2、cursor.executemany函数介绍
- executemany()方法用于执行一条 SQL 语句,该 SQL 语句会执行多次,以实现一次操作多个数据,从而提高SQL的执行效率。
- 和execute()方法不同的是,executemany()方法要求传入的参数是元组嵌套的列表,列表中每个元组代表一组数据,而元组中的每个值则代表一个数据的字段值。
- 简而言之,就是executemany()方法实现了批量插入数据,可以使操作更加高效。
3、批量写入数据实现代码
import pymysql
# 连接数据库
conn = pymysql.connect(host='localhost', port=3306, user='root', password='123456', db='myDB')
# 创建游标对象
cursor = conn.cursor()
# 定义 SQL 语句
insert_sql = "INSERT INTO person VALUES (%s, %s, %s)"
# 定义数据
data = [
('1', '张三', 18),
('2', '李四', 19),
('3', '王五', 20)
]
# 批量插入数据
cursor.executemany(insert_sql, data)
# 提交
conn.commit()
# 关闭游标
cursor.close()
# 关闭连接
conn.close()
如上,批量插入数据,就是这么优雅而简单。
关键,还很高效!!!
4、注意事项
- 如果插入值,包含
null
,则不必把null写入元组,在定义的时候写好,如:
# 定义 SQL 语句
insert_sql = "INSERT INTO person VALUES (null,%s, %s, %s)"
- 批量删除
举一反三,用法一样:
# 定义 SQL 语句
delete_sql = "DELETE FROM WHERE id = %s"
# 定义数据
ids = [(1,), (2,), (3,)]
# 批量删除数据
cursor.executemany(delete_sql, ids)