如何将 Pandas 数据框附加到 CSV 文件 COLUMN-WISE？

Question

我正在预处理一个包含 840.000 个样本和 400 多个特征的大型数据集。我需要将数据帧存储在单个 csv 文件中以减少内存。因此，我应该避免 pd.concat 因为它需要大量内存我有不同的数据框，具体取决于变量的性质。如何按列附加 CSV 文件？看起来：df_1.to_csv('file.csv', index=False)df_2.to_csv('file.csv', mode='a', index=False)df_3.to_csv('file.csv', mode='a', index=False)创建文件 file.csv，然后将 df_2 和 df_3 附加到彼此的正下方。如何按列而不是按行附加它？例子：DF1row1:    variable_a variable_brow2:       0            1row3:       1            1row839999:  0            1DF2：row1:    variable_c variable_drow2:       0            1row3:       1            1row839999:  0            1最终DFrow1:    variable_a variable_b variable_c variable_drow2:       0            1         0        1row3:       1            1         1        1 row839999:  0            1         0        1

Answer 1

我的解决方案是转换变量的类型。首先，变量是 int32，我转换为 int8。然后没有花那么多时间。