通过没有足够的内存来防止 python3 进程被“杀死”

Question

我正在尝试连接两个大型数字矩阵，第一个：features是np.arrayshape 1238,72，另一个是从.json文件中加载的，如下面的第二行所示，它是 shape 1238, 768。我需要加载、连接、重新索引、拆分为折叠并将每个折叠保存在自己的文件夹中。问题是我Killed迈出了第一步（将.json内容读入bert）with open(bert_dir+"/output4layers.json", "r+") as f:    bert = [json.loads(l)['features'][0]['layers'][0]['values'] for l in f.readlines()]    bert_post_data = np.concatenate((features,bert), axis=1)    del bert    bert_post_data = [bert_post_data[i] for i in index_shuf]    bert_folds = np.array_split(bert_post_data, num_folds)    for i in range(num_folds):        print("saving bert fold ",str(i), bert_folds[i].shape)        fold_dir = data_dir+"/folds/"+str(i)        save_p(fold_dir+"/bert", bert_folds[i])有没有办法可以有效地做到这一点？我的意思是，必须有更好的方法......熊猫，json lib？感谢您的时间和关注

Answer 1

尝试：

bert = [json.loads(line)['features'][0]['layers'][0]['values'] for line in f]

这样，您至少不会一次读取内存中的整个文件-也就是说，如果文件很大，您必须进一步处理存储的内容bert

Answer 2

我在搜索类似问题时找到了这个解决方案。它不是在特定问题中投票最多的，但在我看来，它比任何东西都好。

这个想法很简单：不是保存一个字符串列表（文档中的每一行一个），而是保存一个引用每一行的文件索引位置列表，然后当你想访问它的内容时，你只需要seek到这个记忆位置。为此，一个类LineSeekableFile就派上用场了。

唯一的问题是您需要在整个过程中保持文件对象（而不是整个文件！）打开。

class LineSeekableFile:

    def __init__(self, seekable):

        self.fin = seekable

        self.line_map = list() # Map from line index -> file position.

        self.line_map.append(0)

        while seekable.readline():

            self.line_map.append(seekable.tell())

    def __getitem__(self, index):

        # NOTE: This assumes that you're not reading the file sequentially.

        # For that, just use 'for line in file'.

        self.fin.seek(self.line_map[index])

        return self.fin.readline()

然后访问它：

b_file = bert_dir+"/output4layers.json"

fin = open(b_file, "rt")

BertSeekFile = LineSeekableFile(fin)

b_line = BertSeekFile[idx] #uses the __getitem__ method

fin.close()