用于测量语法文本质量的模型

Question

我通过变压器模型生成文本，并且正在寻找一种测量语法文本质量的方法。就像文字："Today is a good day. I slept well and got up good in the morning." 应该评级高于："Yesterday I went into bed and. got Breakfast son."是否有任何模型可以完成我之前没有找到的这项工作，或者是否有其他方法来衡量文本语法输出的质量？我发现，spacy可以选择显示文本是否有语法错误，但我更感兴趣的是包含文本长度和错误数量的分数。我还研究了 NLTK 的可读性，但这旨在于文本的理解程度，这不仅仅取决于语法。谢谢你！

Answer 1

所以我找到了我想要的东西：在这篇论文中，研究人员测试了不同的衡量标准，以衡量他们在没有参考文献的情况下检查文本语法错误的能力（GLEU-Score 的用途）。他们还测试了python-language-tool，该工具也用于开放式办公室中的拼写检查。该工具能够测量文本中语法错误的数量。出于我的目的，我将错误量除以文本中的字数，这给了我一个错误度量。

也许这对有同样问题的人有帮助。这里是基于 pypi 的示例代码：

import language_tool_python

tool = language_tool_python.LanguageTool('en-US')

text = "this is a test tsentence, to check if all erors are found"

matches = tool.check(text)

len(matches)

>>>3