精通Transformer：從零開始構(gòu)建最先進(jìn)的NLP模型

　　AI領(lǐng)域的基石王者，那些還沉迷于CNN，RNN的工程師被警告：放棄戰(zhàn)斗吧，向Transformer投降！在過(guò)去的二十年中，自然語(yǔ)言處理研究領(lǐng)域發(fā)生了翻天覆地的變化。在這段時(shí)間里，自然語(yǔ) 言處理經(jīng)歷了不同的處理范式，并終進(jìn)入了一個(gè)由神奇的Transformer體系結(jié)構(gòu)主導(dǎo)的新時(shí)代。 Transformer深度學(xué)習(xí)架構(gòu)是通過(guò)繼承許多方法而產(chǎn)生的，其中包括上下文詞嵌入、多頭注意力機(jī)制、位置編碼、并行體系結(jié)構(gòu)、模型壓縮、遷移學(xué)習(xí)、跨語(yǔ)言模型等。在各種基于神經(jīng)的自然語(yǔ)言處理方法中， Transformer架構(gòu)逐漸演變?yōu)榛谧⒁饬Φ?ldquo;編碼器-解碼器”體系結(jié)構(gòu)，并持續(xù)發(fā)展到今天?，F(xiàn)在，我們?cè)谖墨I(xiàn)中看到了這種體系結(jié)構(gòu)的新的成功變體。目前研究已經(jīng)發(fā)現(xiàn)了只使用 Transformer 架構(gòu)中編碼器部分的出色模型，如 BERT（Bidirectional Encoder Representations from Transformers，Transformers雙向編碼表示）;或者只使用Transformer架構(gòu) 中解碼器部分的出色模型，如 GPT（Generated Pre -trained Transformer，生成式的預(yù)訓(xùn)練Transformer）。本書涵蓋了這些自然語(yǔ)言處理方法。基于 Hugging Face社區(qū)的Transformer庫(kù)，我們能夠輕 松地使用Transformer。 本書將循序漸進(jìn)地提供各種自然語(yǔ)言處理問(wèn)題的解決方案：從文檔摘要到問(wèn) 題回答系統(tǒng)。我們將看到，基于Transformer， 可以取得的成果。

　　本書由Savas Yldmnm專業(yè)人士編寫薩瓦斯 ·伊爾蒂利姆 （Savas Yldmnm） 畢業(yè)于伊斯坦布爾技術(shù)大學(xué)計(jì)算機(jī)工程系，擁有自然 語(yǔ)言處理 （NaturalLanguageProcessing，NLP）專業(yè)的博士學(xué)位。目前，他是土耳其伊斯坦布爾比爾基大學(xué)的副教授，也是加拿大瑞爾森大學(xué)的訪問(wèn)研究員。他是一位積極熱情的講師和研究員， 具有20多年教授機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和自然語(yǔ)言處理等課程的豐富經(jīng)驗(yàn)。他開發(fā)了大量的開源軟件和資源，為土耳其自然語(yǔ)言理解社區(qū)做出了重大貢獻(xiàn)。他還為人工智能公司的研究開發(fā)項(xiàng)目提供全面的咨詢服務(wù)。