我是否缺少 spaCy 词形还原中的预处理功能？

Question

我正在尝试使用 spacy 获取文档中所有标记的引理（即 token.lemma_）。代码：sentence = 'I'm looking for all of the lemmas. Please help me find them!' nlp = spacy.load('en', disable=['parser', 'NER]) doc = nlp(sentence) tokens = [tokens.lemma_ for token in doc]预期结果：['look', 'lemma', 'help', 'find']实际结果：[-PRON-, 'be', 'look', 'all', 'of', 'the', 'lemma', '.', 'please', 'help', '-PRON-', 'find', '-PRON', '!']我是否缺少 spacy 中的某种预处理功能，或者我是否必须单独进行预处理？我希望在词形还原之前删除所有标点符号和停用词。

Answer 1

您可以使用

>>> [token.lemma_ for token in doc if not token.is_stop and not token.is_punct]
['look', 'lemma', 'help', 'find']

添加了以下部分：

• if not token.is_stop- 如果标记是停用词

• and- 和

• not token.is_punct - 如果标记是标点符号，则省略它们。