为什么我们需要在文本生成应用程序中按小写序列制作句子？或者说有必要吗？

Question

显然我正在做一个与文本生成相关的项目。根据tensorflow.org的代码示例，加载文本文件时，它们不会降低数据中的字母。然而，在其他来源中，例如 Deeplearningai 在序列模型课程中的 Dinosaurus_Island 作业。我不知道降低文本中字母的效果，或者根本没有效果吗？

Answer 1

这是为了简化需要表示的元素数量。当您有大写字母时，您需要分配至少 26 个额外空格 [AZ]，如果有大写字母的组合，则需要分配更多空格。对于文本分类，我认为没有必要保留大写字母，因为这不会影响文本的阅读方式，但如果您试图生成序列中的下一个单词或下一个字母，那么它就变得很重要。

Answer 2

您可能想要小写文本的原因之一是数据集很小。想象一下“amazing”和“Amazing”一词出现在您的数据集中。对于神经网络来说，这两个是不同的词。如果您有一个大数据集，并且这些词在不同情况下多次出现，它可能能够了解到“amazing”和“Amazing”是同一件事。但是，假设“amazing”这个词在您的训练集中出现了十次，而“Amazing”只出现了一次。模型很可能无法找出两者之间的关系，这可能会影响网络的性能。

小写也可以帮助处理 OOV 单词。想象一下，如果“Amazing”从未出现在训练数据集中，但网络在测试样本中遇到它。如果你将输入小写，它会工作得很好，但如果你不这样做，你就会遇到问题。