机器学习第四周学习笔记

新词

• Neuron: 神经元

• Dendrite: 树突

• Axon: 轴突

• Neural Network: 神经网络

• Mesh: 网孔；网状物；罗网

• Grayscale: 灰度的

• Intensity: 强度

感想

• 终于接触到了机器学习领域的"真正的技术" -- 神经网络。

• 一个神经网络有一个input layer, 一个output layer，中间可能有多层hidden layer.

• 在神经网络里面我们使用的还是sigmoid函数，但是在神经网络这个场景里面它经常被叫做activation function, 而sigmoid里面的theta在神经网络里面经常被叫做weights(权重)，而不是parameter。

• Bias Unit，相当于Linear Regression里面的theta0，它始终返回1。

• 神经网络看起来是一群组合起来的Logistic Regression, 他们都使用Sigmoid Function，从这个角度看是不是可以看成: Clustered Logistic Regression？

• 从另外一个角度看，神经网络会“自创”新的Feature，它利用原始的Feature计算出新的其他的Feature，来更好的拟合输入输出(而不用我们自己手动去造polynomial feature)。

• 利用逻辑回归无法做一些复杂的模型，因为它本身是线性的classifier，我们可以添加更多的feature(比如polynomial feature), 但是这样的性能会比较低。

• 在OneVsAll里面，对于一个具体的case来说，针对所有label计算出来的classifier值加起来不一定等于1，因为这些值并不是概念(probability), 更准确的叫法应该是置信因数(confidence factor)，对所有labe的置信因子加起来当然不是1。

• 哥也算是写过神经网络代码(实现过cost function, 实现过hypothesis function)的人了啊。

作者：xumingmingv
链接：https://www.jianshu.com/p/63c697799529