這個人什麼時候才能拿圖靈獎？
十三 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
Jürgen Schmidhuber配不上一個圖靈獎？
△LSTM之父，Jürgen Schmidhuber
圖靈獎進入“提名期”，一個被多年爭論的話題再次被丟擲。
Jürgen Schmidhuber，LSTM之父，同樣對如今AI復興和發展意義深遠。甚至最新論文引用數已經超過了——反向傳播。
沒錯，就是去年斬獲圖靈獎的深度學習三巨頭——Yoshua Bengio、Geoffrey Hinton、Yann LeCun——的核心理論成果。
ACM主席Cherri M。 Pancake還評價說：
人工智慧的發展很大程度上歸功於這三人奠定基礎的深度學習的新進展。
其實就在當時，就有人質疑，為啥LSTM之父Jürgen Schmidhuber沒有得到同樣嘉獎？
為什麼圖靈獎沒有頒給
LSTM之父Jürgen Schmidhuber
？
而再過3個月，即將迎來一年一度的圖靈獎頒獎時刻。
今天，這一話題又被炒了起來。
Reddit網友發帖稱，建議今年的圖靈獎頒給Jürgen Schmidhuber。
話題一出，便引起了網友們的熱烈討論。
有人持贊同觀點，有人卻覺得不配。
那麼，到底是怎麼一回事呢？
Jürgen Schmidhuber配得上圖靈獎？
正方觀點
許多人認為圖靈獎委員會在去年犯了一個錯誤——沒有提名Jürgen Schmidhuber。
即使在有關“三巨頭獲得圖靈獎”最火的Reddit帖子裡，評論最多的還是與Jürgen相關的內容。
https：//www。
reddit。com/r/MachineLea
rning/comments/b63l98/n_hinton_lecun_bengio_receive_acm_turing_award/
為此，“忿不平”的網友為了給他加油打氣，寫了一首
LSTM之歌
。
網友斷定，2020年的圖靈獎會讓他更加興奮。
2019年沒有獲得圖靈獎，有可能是因為沒有足夠好的人脈，也有人說他是局外人。我們應該做些草根運動，呼籲那些“社會公認的成員”為他提名。
還列舉了Jürgen不少該拿獎的“證據”。
1、Jürgen Schmidhuber在1990年真的創造了GAN，但當時他將其稱之為curiosity。這其實是一個非常著名的研究，GAN只是其中的一個簡單應用。而Yoshua因為一個Jürgen早他幾十年發明的理論而獲得了圖靈獎，這真是可笑又悲哀。
2、Jürgen Schmidhuber團隊的DanNet在 AlexNet之前贏得了4次影象識別挑戰，以及還贏得了 ICDAR 2011中文手寫、IJCNN 2011交通標誌、ISBI 2012大腦分割、ICPR 2012癌症檢測等挑戰。DanNet 可以說是2011年的“超人 CNN”。
3、Geoff Hinton 主要的5篇深度學習論文沒有引用Jürgen Schmidhuber早期的類似工作。
反方觀點
當然，帖子下方評論中持反對觀點的網友也有不少。
他確實值得擁有一個獎項。但不能因為同一個貢獻而再拿圖靈獎。
還有拿這件事開玩笑的網友。
老實說，在這個節骨眼上，我們應該開設一個Schmidhuber獎。我是半開玩笑的。讀了這位老兄的論文和筆記，我覺得他不是一個有遠見的人。
想象一下，Hinton、Bengio和LeCun獲得了第一個Schmidhuber獎。
開創Schmidhuber獎，獎勵那些在自己領域做出開創性貢獻，但從未獲獎或被他人搶走獎項的人。
“是我的開創性工作”
其實，Jürgen Schmidhuber本人也是有些憤憤不平。
近些年，他常常因為“
自己的開創性工作沒得到足夠的尊重
”這類激烈的表達，引起世界的矚目。
所以，這裡先描述一下，LSTM是怎樣一項開創性的工作。
就像歌裡唱的那樣，LSTM是
長短期記憶
的簡稱，和人腦的記憶有些類似。
它是一種特殊的迴圈神經網路 （RNN） ，最初在1997年發表。那麼，特殊在哪裡呢？
普通RNN是能把先前學到的資訊，用到現下的任務裡；但距離越遠的資訊，就越難關聯起來。引用Christopher Colah部落格裡的例子：
預測“the clouds are in the
sky
”裡最後一個詞“
sky
”的話，不太需要聯絡上下文；
如果要預測“I grew up in
France
… I speak fluent
French
”裡的“
French
”，普通RNN知道該填一種語言，但不太容易聯絡到“
France
”這個遙遠資訊了。
而LSTM就是為了解決這個問題而生的。它和普通RNN的區別是：
普通RNN的迴圈部分只有一層 （tanh） ，只依狀態h的改變而改變，所以對短期的輸入敏感：
△普通RNN，來自Colah部落格
而LSTM的迴圈部分，又加入了c狀態，儲存長期狀態。於是，迴圈部分變成了4層，來決定短期狀態到底對長期劇情產生多大的影響。
△LSTM，來自Colah部落格
這樣，LSTM就可以學習更長的序列了。一個長期困擾學界的問題，便是這樣解決的。
1997年發表的那篇論文，作者是Schmidhuber和他的學生Hochreiter 。
後來，LSTM被多方發揚光大，如今已是機器學習領域不可缺少的方法了。
可這門技術越是重要，Schmidhuber越是覺得，自己沒有得到足夠的重視。
畢竟，機器學習三巨頭早已名滿天下，而他的名號遠不及這幾位的響亮。
遠離宇宙中心的他，在瑞士南部提契諾州盧加諾區曼諾的達勒·莫爾AI研究所 （IDSIA） ，擔任聯合主任。
2015年，為了紀念人工智慧60週年，三巨頭合寫了一篇
深度學習綜述
，發表在Nature上。
正當大家仔細品讀的時候，這篇文章收到了來自Schmidhuber的反對：
他列出了九條問題，批評三巨頭的綜述沒有足夠尊重前人的成果。
比如，沒有提到Alexey Ivakhnenko，他和小夥伴們在1965年發表了世界上
第一個有效的深度學習網路
。
比如，寫到
反向傳播 (BP)
的時候，只引用他們自己的論文，和少數幾篇其他論文，忽略了60年代早期Bryson等人的論文，後來的BP就是從那時的成果發展來的。
比如，沒有提及Schmidhuber本人在
RNN
上面的工作。
很快，三巨頭中的LeCun回懟了遠在歐洲的同行。主要理由是，比起那些給出想法的人，更大的功勳應該屬於
把想法用到機器學習
上的人：
1986年以前，有很多人早就用過鏈式法則了，也有很多人發現，multi-step function裡可以把雅可比矩陣反向乘在一起。
但能不能說高斯、萊布尼茨、牛頓、拉格朗日都發明瞭反向傳播？
不！他們並沒有把這個想法用到機器學習上，沒有實現。
LeCun說，很多人也想過用鏈式法則訓練一臺機器，但反向傳播直到80年代才真正發明出來。
他還說：
Juergen太想得到認可了，把各種東西都說成是他的功勞，好多並不是他該得的。
這就導致每場talk之後他都要站出來，把別人剛剛展示的東西說成他自己的，提出的方式還常常不太禮貌。
LSTM之父與三巨頭的對立面，就形成了。
當三巨頭一起拿下圖靈獎，吃瓜的眾人又想起了這場有趣的戰鬥，蓋起了一座樓，又一座樓。
LSTM登頂20世紀AI論文高引No。1
然而，就在前不久，一件有趣的事情發生了——
經典被經典超越
。
20世紀深度學習研究中，引用最多的論文不再是反向傳播。
而正是Hochreiter和Schmidhuber發表的
LSTM
。
而反向傳播，相關的論文雖然不少，但都不再比LSTM高：
如果只算一年，比如剛剛結束的2019年，根據Google Scholar的結果，DE Rumelhart、GE Hinton、RJ Williams三人組的兩篇反向傳播論文，去年一整年的引用量加起來足足有3085次。
但新寵LSTM被引用了6750次。
超過前者的兩倍。
那麼問題來了。
你覺得LSTM之父——Jürgen Schmidhuber，今年有望獲得圖靈獎嗎？
One More Thing
Jürgen Schmidhuber徒子徒孫眾多，其中較為出名的還是與其合作LSTM的Sepp Hochreiter。
△Sepp Hochreiter
Sepp Hochreiter，原名Josef Hochreiter，是一位德國計算機科學家。2006年至2018年領導奧地利林茨大學 生物資訊學研究所，之後又領導了機器學習研究所。
2017年，他成為林茨理工學院人工智慧實驗室的負責人，該實驗室致力於推進人工智慧的研究。此前，他曾在柏林工業大學、科羅拉多大學博爾德分校和慕尼黑工業大學工作。
他和Jürgen Schmidhuber共同完成的LSTM被認為是機器學習中的一個里程碑。
傳送門
Reddit討論：
參考連結
Colah的部落格：
維基百科
— 完 —
量子位 · QbitAI
վ‘ᴗ’ ի 追蹤AI技術和產品新動態
戳右上角「+關注」獲取最新資訊↗↗
如果喜歡，請分享or點贊吧~比心❤