用于序列数据的 LSTM 自动编码器

Question

我对 LSTM 领域完全陌生。是否有任何提示可以优化我的自动编码器以重建 len = 300 序列的任务瓶颈层应该有 10-15 个神经元model = Sequential()model.add(LSTM(128, activation='relu', input_shape=(timesteps,1), return_sequences=True))model.add(LSTM(64, activation='relu', return_sequences=False))model.add(RepeatVector(timesteps))model.add(LSTM(64, activation='relu', return_sequences=True))model.add(LSTM(128, activation='relu', return_sequences=True))model.add(TimeDistributed(Dense(1)))model.compile(optimizer='adam', loss='mae')代码复制自：https ://towardsdatascience.com/step-by-step-understanding-lstm-autoencoder-layers-ffab055b6352目前结果只是 nan 的序列：[nan, nan, nan ... nan, nan]序列看起来类似于下图：

Answer 1

我相信您在这里使用的激活函数即“relu”可能会破坏梯度。尝试使用适合您数据的其他激活函数，例如“tanh”。