Bootstrap

简单实现pymysql批量写入数据方法

1、批量写入数据的方法

在日常处理数据的过程中,我们都有批量写入数据库的需求,使用pythonpymysql向mysql插入大量数据时,我们一般使用有两种方法:

  • 1、for + cursor.execute(sql),最后提交(commit())
  • 2、cursor.executemany(sql,list)

两种方法效率上和功能上有一定差异。20W条数据,使用第一种方法需要约1.5小时,使用第二种方法只需要10几秒,今天就记录一下使用executemany批量写入的简单方法。

2、cursor.executemany函数介绍

  • executemany()方法用于执行一条 SQL 语句,该 SQL 语句会执行多次,以实现一次操作多个数据,从而提高SQL的执行效率。
  • 和execute()方法不同的是,executemany()方法要求传入的参数是元组嵌套的列表,列表中每个元组代表一组数据,而元组中的每个值则代表一个数据的字段值。
  • 简而言之,就是executemany()方法实现了批量插入数据,可以使操作更加高效。

3、批量写入数据实现代码

import pymysql
# 连接数据库
conn = pymysql.connect(host='localhost', port=3306, user='root', password='123456', db='myDB')
# 创建游标对象
cursor = conn.cursor()
# 定义 SQL 语句
insert_sql = "INSERT INTO person VALUES (%s, %s, %s)"

# 定义数据
data = [
    ('1', '张三', 18),
    ('2', '李四', 19),
    ('3', '王五', 20)
]
# 批量插入数据
cursor.executemany(insert_sql, data)
# 提交
conn.commit()
# 关闭游标
cursor.close()
# 关闭连接
conn.close()

如上,批量插入数据,就是这么优雅而简单。

关键,还很高效!!!

4、注意事项

  • 如果插入值,包含null,则不必把null写入元组,在定义的时候写好,如:
# 定义 SQL 语句
insert_sql = "INSERT INTO person VALUES (null,%s, %s, %s)"
  • 批量删除
    举一反三,用法一样:
# 定义 SQL 语句
delete_sql = "DELETE FROM  WHERE id = %s"
# 定义数据
ids = [(1,), (2,), (3,)]
# 批量删除数据
cursor.executemany(delete_sql, ids)
;