Transformers资料汇总，从概要到原理到应用

网络营销 2023-4-26 19:26 10366人围观资料

转载自：AI公园

作者：Elvis

编译：ronghuaiyang

导读

从浅入深进修Transformer的材料汇总。

Transformers材料汇总，从提要到道理到利用

Transformers 加速了自然说话处置(NLP)使命的新技术和模子的成长。虽然它首要用于NLP使命，但现在它被大量利用于处置计较机视觉使命。这使它成为一个很是重要的技术。

我晓得很多机械进修和NLP的门生和从业者都很是热衷于进修Transformers 。是以，我保存了一份资本和进修材料的配方，帮助门生领会Transformers的天下。

首先，在这篇文章中，我预备了一些材料链接，用于更好地重新起头了解和实现transformer模子。

写这篇文章的缘由是这样我便可以有一个简单的方式来继续更新进修材料。

高条理先容

首先，关于Transformers的很是高条理的先容。一些值得一看的参考材料:

https://theaisummer.com/transformer/

https://hannes-stark.com/assets/transformer_survey.pdf

Transformer 图解

Jay Alammar)的诠释很出格。一旦你对Transformer有了高条理的了解，你便可以跳到下面这个风行的关于Transformer的图讲解明：

http://jalammar.github.io/illustrated-transformer/

Transformers材料汇总，从提要到道理到利用

技术汇总

此时，你能够正在寻觅Transformers的技术摘要和概述。Lilian Weng的博文是一个宝藏，供给了简洁的技术诠释/总结：

https://lilianweng.github.io/lil-log/2020/04/07/the-transformer-family.html

Transformers材料汇总，从提要到道理到利用

‍ 实现

理论以后，检验常识是很重要的。我凡是喜好更具体地了解事物，所以我更喜好重新起头实现算法。对于实现Transformers，我首要依靠于这个教程:

https://nlp.seas.harvard.edu/2018/04/03/attention.html

Transformers材料汇总，从提要到道理到利用

Attention Is All You Need

本文由Vaswani等人先容了Transformer 的结构。在你有一个高条理的了解和想要进入细节后再读它。为了深入研讨，请留意论文中的其他参考文献。

https://arxiv.org/pdf/1706.03762v5.pdf

Transformers材料汇总，从提要到道理到利用

‍ 利用 Transformers

在进修和了解Transformers背后的理论一段时候后，你能够会有爱好将它们利用到分歧的NLP项目或研讨中。现在，你最好的挑选是HuggingFace的Transformers库。

https://github.com/huggingface/transformers

Transformers材料汇总，从提要到道理到利用