是什么推動了NLP和GPT-3的創(chuàng)新？

是 否 +2 論壇幣

k人 參與回答

經(jīng)管之家送您一份

應屆畢業(yè)生專屬福利!

求職就業(yè)群

趙安豆老師微信：zhaoandou666

經(jīng)管之家聯(lián)合CDA

送您一個全額獎學金名額~ !

立即領取

感謝您參與論壇問題回答

經(jīng)管之家送您兩個論壇幣！

+2 論壇幣

是什么推動了NLP和GPT-3的創(chuàng)新？
NLP在2019年和2020年取得了長足發(fā)展
是什么推動了NLP的飛速發(fā)展，這種趨勢會繼續(xù)嗎？
這是解釋NLP興起的簡單方法
今天，GPT-3展示了一些驚人的結果。有人稱它為AGI（人工通用情報）。GPT由OpenAI創(chuàng)建，并獲得了Microsoft的大量投資，它代表了Generative Pretrained Transformer。
這三個詞為NLP的成功和未來發(fā)展提供了線索
讓我們從“變形金剛”開始。Transformer于2017年推出，是專為NLP設計的深度學習模型。像遞歸神經(jīng)網(wǎng)絡（RNN）一樣，變形金剛可以處理順序數(shù)據(jù)。但是，與RNN不同，由于具有關注機制，因此Transformer不需要按順序處理數(shù)據(jù)。與RNN相比，這允許在Transformers中進行更多的并行化。反過來，訓練期間的并行化允許在更大的數(shù)據(jù)集上進行訓練。
這又導致了變壓器的第二個好處，即可以進行預訓練的  模型。這類似于CNN中的轉(zhuǎn)移學習，它使您可以在現(xiàn)有模型的基礎上構建更復雜的模型。最早的示例是BERT（來自變壓器的雙向編碼器表示）。BERT本身導致了在特定領域中受過訓練的其他模型，例如BioBERT：針對...的預訓練生物醫(yī)學語言表示模型
最后，模型是Generative。GPT-3是最好的例子。GPT-3是基于變壓器的模型，使用45TB文本數(shù)據(jù)和1
結論
變壓器機制是推動NLP的主要創(chuàng)新。變壓器使新模型可以在其他模型的基礎上構建（例如，CNN的“轉(zhuǎn)移學習”方法）。隨著在更大的語料庫上進行訓練的能力的增強，像GPT這樣基于變壓器的模型將變得更加“神奇”。  

關注 CDA人工智能學院 ，回復“錄播”獲取更多人工智能精選直播視頻！

掃碼加我 拉你入群

請注明：姓名-公司-職位

以便審核進群資格，未注明則拒絕

分享0 收藏0 回帖

關鍵詞：NLP Transformers Generative transform Microsoft