MySQL 在使用来自 python 的 LOAD DATA 从大型 csv 传输数据期间崩溃

Question

我有一个 3000 万行（1.6 gb）的大型 csv 文件，我正在使用 pymysql 将数据从 csv 加载到 mysql 表。我已经删除了表架构中的所有约束以加快加载速度，并将超时值设置为大值。def setTimeOutLimit(connection):try:    with connection.cursor() as cursor:        query = "SET GLOBAL innodb_lock_wait_timeout = 28800"        cursor.execute(query)        query2 = "SET innodb_lock_wait_timeout = 28800"        cursor.execute(query2)        query3 = "SET GLOBAL connect_timeout = 28800"        cursor.execute(query3)        query4 = "SET GLOBAL wait_timeout = 28800"        cursor.execute(query4)        query5 = "SET GLOBAL interactive_timeout = 28800"        cursor.execute(query5)        query6 = "SET GLOBAL max_allowed_packet = 1073741824"        cursor.execute(query6)except:    conn.close()    sys.exit(" Could not set timeout limit ")数据被插入到表中，但我需要将其中一个列作为主键，因此我正在创建另一个表，该表通过忽略重复值使该列成为主索引。(tableName_1 是旧表 tableName 是新表)def createNewTableFromOld(connection, tableName):try:    pprint( " Creating new table from old table  with constraints" )    with connection.cursor() as cursor:        query = (" CREATE TABLE " + tableName +                  " Like " + tableName + "_1")        cursor.execute(query)        query2 = (" ALTER TABLE " + tableName +                  " ADD PRIMARY KEY(TimeStamp) ")        cursor.execute(query2)        query3 = (" INSERT IGNORE INTO " + tableName +                   " SELECT * FROM " + tableName + "_1")        cursor.execute(query3)        query4 = ("DROP TABLE " + tableName + "_1")        cursor.execute(query4)        connection.commit()except:    conn.close()    sys.exit(" Could not create table with Primary Key ") 在此方法执行期间，在 5-6 分钟后的某个地方我收到此错误， pymysql.err.OperationalError: (2013, 'Lost connection to MySQL server during query ([WinError 10054] An existing connection was forcibly closed by the remote host)')而当我检查服务时，MYSQL80 自动崩溃并停止。我还在 my.ini 文件中将 max_allowed_packet_size 设置为 1 gb，并且所有超时都手动设置为 8 小时。可能是什么问题？

Answer 1

我最终通过将 my.ini 文件中的 innodb_buffer_pool_size 设置为 2GB（之前只有 4M）解决了这个问题。