故:可以看出,這裡控制(每個特徵方向)步長的,有兩個東西:原來的一階梯度和對應的Hessian矩陣特徵值...
當我們的初始點距離最優點較遠時,二階展開對原函式的近似不再足夠逼近最優點附近的原函式,可能導致步長過大,此時應用其他方法計算較優的步長,並實際進行迭代,其中為步長區域性二階收斂性的證明,此處區域性指的是初始點在最優解的鄰域內:延伸閱讀:Ne...
牛頓法是迭代演算法,每一步需要求解目標函式的 Hessian 矩陣的逆矩陣,計算過程複雜...
數學是機器學習的基礎,參考《機器學習及應用》等,現對在機器學習中的的數學知識做個彙總,數學知識包括梯度,雅克比矩陣,Hessian 矩陣,泰勒展開式,二次型 ,特徵值和特徵向量,奇異值分解,協方差,最大似然估計,梯度法,牛頓法,拉格朗日乘數...