请问关于softmax function是一个怎样的函数？

Question

softmax function是一个怎样的函数

Answer 1

（1）对于深度神经网络，中间的隐层的输出必须有一个激活函数。否则多个隐层的作用和没有隐层相同。这个激活函数不一定是sigmoid，常见的有sigmoid、tanh、relu等。
（2）对于二分类问题，输出层是sigmoid函数。这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间。函数值恰好可以解释为属于正类的概率（概率的取值范围是0~1）。另外，sigmoid函数单调递增，连续可导，导数形式非常简单，是一个比较合适的函数
（3）对于多分类问题，输出层就必须是softmax函数了。softmax函数是sigmoid函数的推广

Answer 2

1.新建一个m文件，把function函数复制进去；然后保存（名称应该是自动生成的，即为sinh.m，不过最好不要用和系统中的文件一样的名称，可以先help查看一下matlab是否有和sinh重复的名称，若有的话，得把function函数改个名称），保存的地址为当前工作目录。

2.在命令窗口调用function函数：

sinh(5)

Answer 3

The tanh activation usually works better than sigmoid activation function for hidden units because the mean of its output is closer to zero, and so it centers the data better for the next layer.
tanh函数的输出更利于下一层神经元的处理，尤其是数据的集中化；
不过在一些二分类的场景，还是sigmod更适合作为输出层