python将多个excel中的所有工作表附加到pandas数据框中的有效方法

Question

我有大约 20++ xlsx 文件，每个 xlsx 文件中可能包含不同数量的工作表。但谢天谢地，所有列都是所有工作表和所有 xlsx 文件中的一部分。通过参考这里“，我有了一些想法。我一直在尝试几种方法将所有 excel 文件（所有工作表）导入并附加到单个数据框（大约 400 万行记录）中。注意：我也在这里检查过“，但它只包括文件级别、我的构成文件和工作表级别。我试过下面的代码# import all necessary packageimport pandas as pdfrom pathlib import Pathimport globimport sys# set source pathsource_dataset_path = "C:/Users/aaa/Desktop/Sample_dataset/"source_dataset_list = glob.iglob(source_dataset_path + "Sales transaction *")for file in source_dataset_list:#xls = pd.ExcelFile(source_dataset_list[i])    sys.stdout.write(str(file))    sys.stdout.flush()    xls = pd.ExcelFile(file)    out_df = pd.DataFrame() ## create empty output dataframe    for sheet in xls.sheet_names:        sys.stdout.write(str(sheet))        sys.stdout.flush() ## # View the excel files sheet names        #df = pd.read_excel(source_dataset_list[i], sheet_name=sheet)        df = pd.read_excel(file, sheetname=sheet)        out_df = out_df.append(df)  ## This will append rows of one dataframe to another(just like your expected output)问题：我的方法就像首先读取每个 excel 文件并在其中获取工作表列表，然后加载工作表并附加所有工作表。循环似乎不是很有效，特别是当每个追加的数据大小都增加时。有没有其他有效的方法可以从多个 excel 文件中导入和附加所有工作表？

Answer 1

使用sheet_name=None在read_excel从所有sheetnames创建DataFrames的回报orderdict，然后联合起来concat，并最后DataFrame.append到最后DataFrame：

out_df = pd.DataFrame()

for f in source_dataset_list:

    df = pd.read_excel(f, sheet_name=None)

    cdf = pd.concat(df.values())

    out_df = out_df.append(cdf,ignore_index=True)

另一种解决方案：

cdf = [pd.read_excel(excel_names, sheet_name=None).values() 

            for excel_names in source_dataset_list]

out_df = pd.concat([pd.concat(x) for x in cdf], ignore_index=True)

Answer 2

如果我正确理解了您的问题，那么设置sheet_name=None就pd.read_excel可以了。

import os

import pandas as pd

path = "C:/Users/aaa/Desktop/Sample_dataset/"

dfs = [

    pd.concat(pd.read_excel(path + x, sheet_name=None))

    for x in os.listdir(path)

    if x.endswith(".xlsx") or x.endswith(".xls")

]

df = pd.concat(dfs)

Answer 3

如果您想阅读所有表格，我有一个非常直接的解决方案。

import pandas as pd

df = pd.concat(pd.read_excel(path+file_name, sheet_name=None), 

               ignore_index=True)