使用pandas和GNU Parallel将数据并行导入MySQL

Question

我有几千个目录，我想从中将数据导入 MySQL。我创建了一个 python 脚本，它从单个目录中读取数据并将其放入数据库。这是将数据发送到数据库的部分：host = 'localhost'engine = create_engine('mysql://user:pass@%s/db?charset=utf8' % host)conn = engine.connect()trans = conn.begin()try:    conn.execute('delete from tests where ml="%s"' % ml)    tests.to_sql(con=conn, name='tests', if_exists='append', index=False)    data.to_sql(con=conn, name='data', if_exists='append', index=False)    trans.commit()    print(CGRE + ml + ': OK' + CEND)except:    trans.rollback()    print(CRED + ml + ': database error!' + CEND)    raiseconn.close()单线程执行效果很好，但速度太慢：parallel -j 1 "[[ -d {} ]] && (cd {} && data_to_db.py) || echo {} >> ~/Data/failed_db" ::: *现在我想启动几个进程：parallel -j 8 .........有时在执行过程中我会收到此错误：sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1213, '尝试获取锁时发现死锁；尝试重新启动事务')有没有办法增加事务的等待时间或以其他方式解决它，因为没有并行执行，导入所有数据的时间太长？