梯度下降法中导数的求解

梯度下降法中关键一步是对导数的求解，通常的做法是先用链式求导法则求出某点的导数，再用两点间斜率公式不断逼近该点的切线斜率的方法，去验证其正确性。

关于逼近步长epsilon：epsilon越小越接近导数的真实值，但也有特例，对于二次函数来说，由于epsilon可以在两点间斜率公式中被消去，所以二次函数中的epsilon，理论上是可取任意值的。下面进行一个简单的验证，以求得到一个感性的认知。

总结一下，求导的方法有两种：

1链式求导法则

2从导数的几何意义出发：求曲线上该点的切线的斜率，而求切线斜率，又有两种，两点间斜率公式，单点斜率公式。但本质都是逼近切点求极限的思想。