如何将斯坦福NLP 工具（POSTagger 和 Parser）与已标记化的文件一起使用？

Question

我有一个标记化文件，我想使用斯坦福自然语言处理（StanfordNLP）用 POS 和依赖解析标签来注释它。我正在使用具有以下配置的 Python 脚本：config = {'processors': 'pos,lemma,depparse','lang': 'de','pos_model_path': './de_gsd_models/de_gsd_tagger.pt','pos_pretrain_path': './de_gsd_models/de_gsd.pretrain.pt','lemma_model_path': './de_gsd_models/de_gsd_lemmatizer.pt','depparse_model_path': './de_gsd_models/de_gsd_parser.pt','depparse_pretrain_path': './de_gsd_models/de_gsd.pretrain.pt}'nlp = stanfordnlp.Pipeline(**config)doc = nlp(text)但是，我收到以下消息：缺失：{'tokenize'} 为此管道提供的处理器列表无效。请确保每个处理器都满足所有先决条件。是否可以使用 Python 脚本跳过标记化步骤？提前致谢！

Answer 1

您需要包含处理器并包含设置为 的tokenize属性。这将假设文本在空格上被标记，并且句子被换行符分割。您还可以传递字符串列表的列表，每个列表代表一个句子，条目是标记。tokenize_pretokenizedTrue