本文主要介紹一些機器學習的基礎概念和推導過程,並基於這些基礎概念,快速地瞭解當下最熱技術AI的核心基礎-神經網路。

主要分為三大部分:線性迴歸,邏輯迴歸,神經網路。

首先看下機器學習的定義及常用的分類:

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

我們從一元線性迴歸這個基礎領域切入

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

這樣一元線性迴歸的問題到此結束,我們延伸到多元的場景下繼續

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

之前提到了多項式迴歸基本可以擬合任何複雜的曲線,這樣理論上我們已經解決了大部分預測問題。

然而現實中我們面臨更多的分類問題,對給定樣本,推斷其類別,那麼用線性迴歸顯然不適合的。

由此引出邏輯迴歸,從統計學和機率論給出答案。

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

我們解決了to be or not to be這個二元的分類問題,那麼如果面臨的是多元分類問題,我們該如何解決呢?

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

以下是神經網路部分,主要講解了當下最火的深度學習的理論基石,神經網路這種古老的技術是如何在當下發揮重要作用的。

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

因此我們說神經網路有自學習的功能,可以學習出來我們無法直接表述的隱性特徵,而這些特徵正是機器可以模擬人類來認知世界的方式。

我們再回過頭來看之前用邏輯迴歸解決多元分類的問題,神經網路給出了更優雅的答案。

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

以上主要講述了機器學習中監督學習理論中的主要枝幹部分。

無監督學習也可以為我們提供很多解決問題的方案。

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路

機器學習簡介之基礎理論- 線性迴歸、邏輯迴歸、神經網路