在 keras 中创建自定义的“不可微分”激活函数

Question

是否可以创建表单的自定义激活函数：def newactivation(x):    if x <= -1:        return -1    elif x > -1 and x <= 1        return x    else :        return 1所以基本上它是 tanh(x) 的线性化版本。优化过程中是否存在问题，该函数在 -1 和 1 处有两个不可微的位置？我怎么能实现这个？

Answer 1

使用clip函数很容易实现：

import keras.backend as K

def activation(x):

    return K.clip(x, -1.0, 1.0)

由于梯度永远不会爆炸，这应该不是问题，这个函数的形状类似于 ReLU。