掃碼加入金融交流群

原文地址：http://www.aiportal.net/rnn-lstm/rnn%E7%B3%BB%E5%88%97%E6%95%99%E7%A8%8B-1-%E5%89%8D%E9%A6%88%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C-ffnn

近幾年，華爾街裁員不斷，高盛在2000年頂峰時期，雇傭了600名交易員，為其機構客戶進行股票買賣。但時至今日，卻僅剩下2名交易員“看守”柜臺。

不僅高盛，瑞銀、摩根士丹利等金融公司，目前都已采用機器學習算法替代普通交易員，來進行交易。

那，什么樣的算法如此厲害？

它能夠預測股價走勢，

不僅如此，

它還能搭建聊天機器人、可以翻譯外文、可以寫新聞稿、寫小說 ……

這個看起來無所不能的算法，就是：循環(huán)神經(jīng)網(wǎng)絡，簡稱RNN。

本系列教程將以RNN為主線，總共分為3個部分：

• RNN算法之預備知識：前饋神經(jīng)網(wǎng)絡（FFNN）

  初識RNN算法

  RNN算法之變體：長短期記憶（LSTM）

  
  

今天是系列教程的第1部分：

RNN算法之預備知識：前饋神經(jīng)網(wǎng)絡（FFNN）

在講RNN之前，首先引入前饋神經(jīng)網(wǎng)絡的部分內(nèi)容，是因為了解了FFNN，再學習RNN會更加容易，遇到的阻力更小。

如果你已經(jīng)對前饋神經(jīng)網(wǎng)絡很熟悉，直接跳過此部分內(nèi)容。

好啦，話不多說，下面開始我們今天的內(nèi)容。

先來看這樣一組數(shù)據(jù)：

http://www.aiportal.net/wp-content/uploads/2018/01/12-%E6%B0%B4%E5%8D%B0.pnghttp://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==

這只是我們隨機編寫的一些數(shù)字，它很簡單，不使用任何模型算法，你也能輕而易舉地找到x-y之間的規(guī)律：

http://www.aiportal.net/wp-content/uploads/2018/01/13-%E6%B0%B4%E5%8D%B0.pnghttp://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==

但是如果，

我們一定要用神經(jīng)網(wǎng)絡來計算的話，

那么，這個神經(jīng)網(wǎng)絡可以簡單地搭建為：

http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==http://www.aiportal.net/wp-content/uploads/2018/01/14-%E6%B0%B4%E5%8D%B0.png

先別暈，我們舉個例子，你就明白上面的邏輯了。

以第1條數(shù)據(jù)為例：

http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==http://www.aiportal.net/wp-content/uploads/2018/01/15-%E6%B0%B4%E5%8D%B0.png

• 輸入層，讓模型讀入第1條數(shù)據(jù)“4”
• 輸出層，告訴模型其結果為“36”
• 隱藏層，就像連接“輸入”和“輸出”之間的橋梁
  

這個模型的核心：就是努力找到x與y之間的聯(lián)系。

比如，

http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==http://www.aiportal.net/wp-content/uploads/2018/01/16-%E6%B0%B4%E5%8D%B0.png

圖中的 “1” 和 “9”，就是模型找到的其中一種連接方法。

更一般的，

如果你擁有數(shù)據(jù)（X,Y），神經(jīng)網(wǎng)絡算法就會去尋找最佳的參數(shù)W：

http://www.aiportal.net/wp-content/uploads/2018/01/17-%E6%B0%B4%E5%8D%B0.png

求解W，就是這條神經(jīng)網(wǎng)絡會替我們努力完成的工作。

上面的圖，寫成公式為：

http://www.aiportal.net/wp-content/uploads/2018/01/19-%E6%B0%B4%E5%8D%B0.png

（注：兩個公式中的w，數(shù)值可能不相同）

這就是一條最簡單的神經(jīng)網(wǎng)絡。

當然，更多的時候，你在教材上看到的是這樣的：

http://www.aiportal.net/wp-content/uploads/2018/01/110-%E6%B0%B4%E5%8D%B0.png

如果我們將參數(shù)b暫時遮擋住：

http://www.aiportal.net/wp-content/uploads/2018/01/111.png

“公式二”與“公式一”之間，僅僅多出一個f()函數(shù)。

這個f()函數(shù)，在學術上被稱為“激活函數(shù)”，通常是一個非線性的函數(shù)。

例如，

http://www.aiportal.net/wp-content/uploads/2018/01/112-%E6%B0%B4%E5%8D%B0.png

像上面這些，均可以作為激活函數(shù)來使用。

你會問：

“為什么我們要使用激活函數(shù)？”

這是因為，

(w*X) 和 (w*h) 僅僅是線性運算：

http://www.aiportal.net/wp-content/uploads/2018/01/113-%E6%B0%B4%E5%8D%B0.png

而我們在現(xiàn)實中遇到的問題，更多都是非線性的。

這就好比，

家到學校，理論上是兩點一線的距離；

但現(xiàn)實中，你要曲曲彎彎走很多路，才能抵達終點：

http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==http://www.aiportal.net/wp-content/uploads/2018/01/%E5%9C%B0%E5%9B%BE2.gif

因而，在w*X的外面，包裹上一層激活函數(shù)

f(w*X)

可以將線性問題轉(zhuǎn)化為非線性問題，這樣更接近真實的世界，也能使我們模型預測的準確度，得到大幅提升。

好了，前面我們一直討論的是一條數(shù)據(jù)的情形，即

http://www.aiportal.net/wp-content/uploads/2018/01/114.png

現(xiàn)在，如果我們把t+1條數(shù)據(jù)，全部考慮進來：

http://www.aiportal.net/wp-content/uploads/2018/01/115-%E6%B0%B4%E5%8D%B0.png

那么此時，

神經(jīng)網(wǎng)絡的形態(tài)變?yōu)椋?/p>

http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==http://www.aiportal.net/wp-content/uploads/2018/01/116-%E6%B0%B4%E5%8D%B0.png

由圖可以看出，

它是t+1條數(shù)據(jù)的“堆疊”。

你會發(fā)現(xiàn)，像這樣的神經(jīng)網(wǎng)絡，它只有橫向箭頭http://www.aiportal.net/wp-content/uploads/2018/01/117.png http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==

并沒有縱向箭頭

http://data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==http://www.aiportal.net/wp-content/uploads/2018/01/118.png

即“第t條數(shù)據(jù)，并不受之前數(shù)據(jù)的影響”。

你可以視它為一條“一直向前，永不回望”的神經(jīng)網(wǎng)絡，

也因此而得名“前饋神經(jīng)網(wǎng)絡”。

我們單拎出第t條數(shù)據(jù)：

http://www.aiportal.net/wp-content/uploads/2018/01/119.png

此時，ht僅受Xt的影響。

在實際工作中，它適用于“上一條數(shù)據(jù)與下一條數(shù)據(jù)，彼此之間沒有任何關聯(lián)”的情形。

舉幾個例子：

圖像分類

http://www.aiportal.net/wp-content/uploads/2018/01/120.png

第1張圖與第2張圖之間，并無關聯(lián)。

薪水等的預測

http://www.aiportal.net/wp-content/uploads/2018/01/121-%E6%B0%B4%E5%8D%B0.png

第1條職位所提供的薪水，并不決定第2條職位薪水的高低。

電影推薦

http://www.aiportal.net/wp-content/uploads/2018/01/122-%E6%B0%B4%E5%8D%B0.png

第1部電影的好壞，并不影響第2部電影是否受觀眾的歡迎。

上面這些例子，都可以借助前饋神經(jīng)網(wǎng)絡來解決。但有些例子則不然。

下一期，我們進一步來了解“會回望的”神經(jīng)網(wǎng)絡——循環(huán)神經(jīng)網(wǎng)絡（RNN）。

「經(jīng)管之家」APP：經(jīng)管人學習、答疑、交友，就上經(jīng)管之家！
免流量費下載資料----在經(jīng)管之家app可以下載論壇上的所有資源，并且不額外收取下載高峰期的論壇幣。
涵蓋所有經(jīng)管領域的優(yōu)秀內(nèi)容----覆蓋經(jīng)濟、管理、金融投資、計量統(tǒng)計、數(shù)據(jù)分析、國貿(mào)、財會等專業(yè)的學習寶庫，各類資料應有盡有。
來自五湖四海的經(jīng)管達人----已經(jīng)有上千萬的經(jīng)管人來到這里，你可以找到任何學科方向、有共同話題的朋友。
經(jīng)管之家（原人大經(jīng)濟論壇），跨越高校的圍墻，帶你走進經(jīng)管知識的新世界。
掃描下方二維碼下載并注冊APP