为了账号安全,请及时绑定邮箱和手机立即绑定

在块中加载数据时 Pandas None 类型

在块中加载数据时 Pandas None 类型

慕雪6442864 2021-06-15 15:46:10
我编写了这个函数来分块加载我的数据,它工作正常,它为我提供了我的数据的形状,但是当我尝试将它分配给一个变量以便我能够清理我的数据并对其进行处理时,它显示它是一种无类型def show(df):start = time()c=0for chuck in pd.read_csv('../input/{}.csv'.format(df), chunksize=50000):    if c==0:        df=chuck        c+=1    else:        df=df.append(chuck, ignore_index=True)        c+=1print (c)print('used {:.2f} s'.format(time()-start))print(df.shape)df.head()我的数据最初有 307511 行和 212 列。还有其他数据集我仍然需要加载数百万行。我的 RAM 无法处理这么多数据,因此我请求对此提供帮助我也尝试过这种加载数据的方式,但我无法获取所有数据,只能获取其中的一部分。我想在合并和拟合数据时使用我的所有数据df = pd.read_csv('../input/application_train.csv', iterator=True, chunksize=10**6, engine='python')这有效,但我没有从中获取所有数据df = df.get_chunk(300000)
查看完整描述

2 回答

  • 2 回答
  • 0 关注
  • 158 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信