标点符号删除之前/之后的POS标记？

Question

关于 NLP 最佳实践的一个可能非常基本的问题。标点符号会影响 NLTK 的词性标注器的行为吗？或者在将句子传递给 POS 标记器之前从句子中删除标点符号是否可以？

Answer 1

通常，标点符号在 POS 标记之前与单词标记分开。标点符号有其自己的正字法作用，与周围的词标记不同。

例如，标记这个句子：名词动词。

For       PREP

example   N

,         ,

tokenize  V

this      PRON

sentence  N

:         :

Noun      N

verbs     V

.         .

是否在这个阶段保留标点符号取决于您的最终目标。对于语法标记，标点符号确实具有语法作用，删除它通常会降低分析的质量。对于情感分析，标点符号通常不会产生任何极性（尽管大量的刘海可能会传达出强调或强烈的极性！！！！！！！）