在深度学习生成模型中创建掩蔽层

Question

我创建了一个生成模型，它在长度为 129 的填充序列上进行训练。我尝试添加一个遮罩层，但收到以下错误消息：input_length" is 129, but received input has shape (None, 129, 7905).vocab_size = 7905seq_length_sent = 129这是模型：model = Sequential() model.add(Masking(mask_value=0, input_shape=(seq_length_sent, vocab_size)))model.add(Embedding(vocab_size, 50, input_length=seq_length_sent)) model.add(LSTM(100, return_sequences=True)) model.add(LSTM(100))model.add(Dense(100, activation='relu')) model.add(Dense(vocab_size, activation='softmax')) print(model.summary())输入是填充序列，已被标记化，因此每个单词都由一个整数表示。输出词是通过以下代码进行one-hot编码的：X, y = sequences_sent[:,:-1], sequences_sent[:,-1] y = to_categorical(y, num_classes=vocab_size)这是我第一次制作这样的模型，所以我不确定这种方法是否正确。

Answer 1

问题在于您定义输入形状的位置。我假设您模型的输入是标记化的填充序列。因此，输入不应该是 的形状seq_length_sent*vocab_size，而应该是形状seq_length_sent

因此，要解决您的问题，只需更换：

model.add(Masking(mask_value=0, input_shape=(seq_length_sent, vocab_size)))

和

model.add(Masking(mask_value=0, input_shape=(seq_length_sent,)))

Answer 2

输入是填充序列，已被标记化，因此每个单词都由一个整数表示。输出词是通过以下代码进行one-hot编码的：

X, y = sequences_sent[:,:-1], sequences_sent[:,-1] 
y = to_categorical(y, num_classes=vocab_size)

这是我第一次制作这样的模型，所以我不确定这种方法是否正确。

Answer 3

错误来自您定义遮罩层的方式。如果您的输入是填充的单词序列，并且每个单词都是一个热编码，那么您已经正确定义了掩码层。但是，如果您的输入是没有一个热编码的填充词序列，那么您必须将掩码层定义为

model.add(Masking(mask_value=0, input_shape=(seq_length_sent,)))

代替

model.add(Masking(mask_value=0, input_shape=(seq_length_sent,vocab_size))