为了账号安全,请及时绑定邮箱和手机立即绑定

使用 map_partitions 和 pd.df.to_sql 从 dask

使用 map_partitions 和 pd.df.to_sql 从 dask

不负相思意 2021-10-19 15:28:29
Dask 没有像 Pandas 那样的 df.to_sql() ,所以我试图复制该功能并使用该map_partitions方法创建一个 sql 表。这是我的代码:import dask.dataframe as ddimport pandas as pdimport sqlalchemy_utils as sqla_utilsdb_url = 'my_db_url_connection'conn = sqla.create_engine(db_url)ddf = dd.read_csv('data/prod.csv')meta=dict(ddf.dtypes)ddf.map_partitions(lambda df: df.to_sql('table_name', db_url, if_exists='append',index=True), ddf, meta=meta)这将返回我的 dask 数据框对象,但是当我查看我的 psql 服务器时,没有新表......这里出了什么问题?
查看完整描述

2 回答

  • 2 回答
  • 0 关注
  • 180 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信