Python，循环遍历某个目录下的文件，统计词频，输出结果到txt

Question

我拼凑了一些打开文本文件的工作 python，将其转换为小写，消除停用词，并输出文件中最常用词的列表：from collections import Counterfrom nltk.corpus import stopwordsfrom nltk.tokenize import word_tokenizestop_words = set(stopwords.words('english'))file1 = open("ocr.txt")line = file1.read()words =  line.split()words = [word.lower() for word in words]for r in words:    if not r in stop_words:        appendFile = open('cleaned_output.txt','a')        appendFile.write(" "+r)        appendFile.close()with open("cleaned_output.txt") as input_file:    count = Counter(word for line in input_file                         for word in line.split())print(count.most_common(10), file=open('test.txt','a'))我想修改它以对目录中的所有文件执行相同的操作，并将结果输出到唯一的文本文件或作为 csv 中的行。我知道这os.path可能可以在这里使用，但我不确定如何使用。我真的很感激一些帮助。先感谢您！

Answer 1

我将您的代码片段转换为一个函数，该函数将包含输入文件的文件夹的路径作为参数。以下代码获取指定文件夹中的所有文件，并为该文件夹中的每个文件生成 cleaned_output.txt 和 test.txt 到新创建的输出目录。输出文件在末尾附加了它们生成的输入文件的名称，以便更容易区分它们，但您可以更改它以满足您的需要。

from collections import Counter

from nltk.corpus import stopwords

from nltk.tokenize import word_tokenize

import os

path = 'input/'

def clean_text(path):

  try:

    os.mkdir('output')

  except:

    pass

  

  out_path = 'output/'

  files = [f for f in os.listdir(path) if os.path.isfile(path+f)]

  file_paths = [path+f for f in files]

  file_names = [f.strip('.txt') for f in files]

  

  for idx, f in enumerate(file_paths):

    stop_words = set(stopwords.words('english'))

    file1 = open(f)

    line = file1.read()

    words =  line.split()

    words = [word.lower() for word in words]

    print(words)

    for r in words:

        if not r in stop_words:

            appendFile = open(out_path + 'cleaned_output_{}.txt'.format(file_names[idx]),'a')

            appendFile.write(" "+r)

            appendFile.close()

    with open(out_path + 'cleaned_output_{}.txt'.format(file_names[idx])) as input_file:

        count = Counter(word for line in input_file

                            for word in line.split())

    print(count.most_common(10), file=open(out_path + 'test_{}.txt'.format(file_names[idx]),'a'))

clean_text(path)

这是你要找的吗？

Answer 2

您可以使用os.listdir获取目录中的所有文件。这将返回一个目录中所有项目的路径列表作为您可以迭代的字符串。