transformer-让你从底层知原理

第6章: BERT Pre-training模型源码完整实现、测试、调试及可视化分析

1，词典Vocabulary库构建多层级源码实现及测试

2，Dataset加载及数据处理源码完整实现及测试和调试

3，Next Sentence Prediction机制源码完整实现及测试

4，Masked Language Model机制中80%词汇Masking源码实现

5，Masked Language Model机制中10%词汇随机替换和10%词汇保持不变源码实现

6，Masked Language Model机制下的Output Label操作源码实现

7，加入CLS、SEP 等Tokens

8，Segment Embeddings源码实现

9，Padding源码实现及测试

10，使用DataLoader实现Batch加载

11，BERT的初始化init及forward方法源码实现

12，PositionalEmbeddings源码实现详解

13，TokenEmbeddings源码

14，SegmentEmbeddings源码

15，BERTEmbeddings层源码实现及调试

16，基于Embeddings之多Linear Transformation操作

17，Queries、Keys、Values操作源码

18，Attention机制源码实现

19，Multi-head Attention源码实现

20，Layer Normalization数学原理及源码实现

21，Sublayer Connection源码实现

22，Position-wise Feedforward层源码实现

23，Dropout数学机制及源码实现

24，基于Embeddings之上的Linear Transformation及其不同源码实现方式

25，TransformerBlock源码完整实现及测试

26，BERT模型训练时候多二分类和多分类别任务数学原理和实现机制

26，BERT Training Task之MLM源码完整实现及测试

27，BERT Training Task之NSP源码完整实现及测试

28，Negative Sampling数学原理及实现源码

29，MLM和NSP的Loss计算源码实现

30，BERT模型的训练源码实现及测试

31，使用小文本训练BERT模型源码、测试和调试

32，使用特定领域的(例如医疗、金融等)来对BERT进行Pre-training最佳实践

33，BERT加速训练技巧：动态调整Attention的Token能够Attending的长度

34，BERT可视化分析

第7章: BERT Fine-tuning源码完整实现、调试及案例实战

1，数据预处理训练集、测试集源码

2，文本中的Token、Mask、Padding的预处理源码

3，数据的Batch处理实现源码及测试

4，加载Pre-training模型的BertModel及BertTokenizer

5，模型Config配置

6，Model源码实现、测试、调试

7，BERT Model微调的数学原理及工程实践

8，BERT Model参数Frozen数学原理及工程实践

9，BertAdam数学原理及源码剖析

10，训练train方法源码详解

11，fully-connected neural network层源码详解及调试

12，采用Cross-Entropy Loss Function数学原理及代码实现

13，Evaluation 指标解析及源码实现

14，Classification任务下的Token设置及计算技巧

15，适配特定任务的Tokenization解析

16，BERT + ESIM(Enhanced Sequential Inference Model)强化BERT模型

17，使用BERT + LSTM整合强化BERT 模型

18，基于Movie数据的BERT Fine-tuning案例完整代码实现、测试及调试

第8章: 轻量级ALBERT模型剖析及BERT变种中常见模型优化方式详解

1，从数学原理和工程实践的角度阐述BERT中应该设置Hidden Layer的维度高于(甚至是高几个数量级)Word Embeddings的维度背后的原因

2，从数学的角度剖析Neural Networks参数共享的内幕机制及物理意义

3，从数学的角度剖析Neural Networks进行Factorization的机制及物理意义

4，使用Inter-sentence coherence任务进行模型训练的的数学原理剖析

5，上下文相关的Hidden Layer Embeddings

6，上下午无关或不完全相关的Word Embeddings

7，ALBERT中的Factorized embedding parameterization剖析

8，ALBERT中的Cross-Layer parameter sharing机制：只共享Attention参数

9，ALBERT中的Cross-Layer parameter sharing机制：只共享FFN参数

10，ALBERT中的Cross-Layer parameter sharing机制：共享所有的参数

11，ALBERT不同Layers的Input和Output相似度分析

12，训练Task的复杂度：分离主题预测和连贯性预测的数学原因及工程实践

13，ALBERT中的不同于BERT的 Sentence Negative Sampling

14，句子关系预测的有效行分析及问题的底层根源

15，ALBERT的SOP(Sentence Order Prediction)实现分析及工程实践

16，ALBERT采用比BERT更长的注意力长度进行实际的训练

17，N-gram Masking LM数学原理和ALERT对其实现分析

18，采用Quantization优化技术的Q8BERT模型架构解析

19，采用Truncation优化技术的“Are Sixteen Heads Really Better than One?”模型架构解析

20，采用Knowledge Distillation优化技术的distillBERT模型架构解析

21，采用多层Loss计算+知识蒸馏技术的TinyBERT模型架构解析

22，由轻量级BERT带来的关于Transformer网络架构及实现的7点启示

第9章: ALBERT Pre-training模型及Fine-tuning源码完整实现、案例及调试

1，Corpus数据分析

2，Pre-training参数设置分析

3，BasicTokenizer源码实现

4，WordpieceTokenizer源码实现

5，ALBERT的Tokenization完整实现源码

6，加入特殊Tokens CLS和SEP

7，采用N-gram的Masking机制源码完整实现及测试

8，Padding操作源码

9，Sentence-Pair数据预处理源码实现

10，动态Token Length实现源码

11，SOP正负样本源码实现

12，采用了Factorization的Embeddings源码实现

13，共享参数Attention源码实现

14，共享参数Multi-head Attention源码实现

15，LayerNorm源码实现

16，共享参数Position-wise FFN源码实现

17，采用GELU作为激活函数分析

18，Transformer源码完整实现

19，Output端Classification和N-gram Masking机制的Loss计算源码

20，使用Adam进行优化源码实现

21，训练器Trainer完整源码实现及调试

22，Fine-tuning参数设置、模型加载

23，基于IMDB影视数据的预处理源码

24，Fine-tuning阶段Input Embeddings实现源码

25，ALBERT Sequence Classification参数结构总结

26，Fine-tuning 训练代码完整实现及调试

27，Evaluation代码实现

28，对Movie数据的分类测试及调试

 

第10章: 明星级轻量级高效Transformer模型ELECTRA: 采用Generator-Discriminator的Text Encoders解析及ELECTRA模型源码完整实现

1，GAN：Generative Model和Discriminative Model架构解析

2，为什么说ELECTRA是NLP领域轻量级训练模型明星级别的Model？

3，使用replaced token detection机制规避BERT中的MLM的众多问题解析

4，以Generator-Discriminator实现的ELECTRA预训练架构解析

5，ELECTRTA和GAN的在数据处理、梯度传播等五大区别

6，ELECTRA数据训练全生命周期数据流

7，以Discriminator实现Fine-tuning架构解析

8，ELECTRA的Generator数学机制及内部实现详解

9，Generator的Loss数学机制及实现详解

10，Discriminator的Loss数学机制及实现详解

11，Generator和Discriminator共享Embeddings数据原理解析

12，Discriminator网络要大于Generator网络数学原理及工程架构

13，Two-Stage Training和GAN-style Training实验及效果比较

14，ELECTRA数据预处理源码实现及测试

15，Tokenization源码完整实现及测试

16，Embeddings源码实现

17，Attention源码实现

18，借助Bert Model实现Transformer通用部分源码完整实现

19，ELECTRA Generator源码实现

20，ELECTRA Discriminator源码实现

21，Generator和Discriminator相结合源码实现及测试

22，pre-training训练过程源码完整实现

23，pre-training数据全流程调试分析

24，聚集于Discriminator的ELECTRA的fine-tuning源码完整实现

25，fine-tuning数据流调试解析

26，ELECTRA引发Streaming Computations在Transformer中的应用思考

第11章: 挑战BERT地位的Autoregressive语言模型XLNet剖析及源码完整实现

1，作为Autoregressive语言模型的XLNet何以能够在发布时在20个语言任务上都能够正面挑战作为Autoencoding与训练领域霸主地位的BERT？

2，XLNet背后Permutation LM及Two-stream self-attention数学原理解析

3，Autoregressive LM和Autoencoding LM数学原理及架构对比

4，Denoising autoencoding机制的数学原理及架构设计

5，对Permutation进行Sampling来高性价比的提供双向信息数学原理

6，XLNet的Permutation实现架构和运行流程：content stream、query stream

7，XLNet中的缓存Memory记录前面Segment的信息

8，XLNet中content stream attention计算

9，XLNet中query stream attention计算

10，使用Mask Matrices来实现Two-stream Self-attention

11，借助Transformer-XL 来编码relative positional 信息

12，XLNet源码实现之数据分析及预处理

13，XLNet源码实现之参数设定

14，Embeddings源码实现

15，使用Mask实现causal attention

16，Relative shift数学原理剖析及源码实现

17，XLNet Relative attention源码完整实现

18，content stream源码完整实现

19，queery stream源码完整实现

20，Masked Two-stream attention源码完整实现

21，处理长文件的Fixed Segment with No Grad和New Segment

22，使用einsum进行矩阵操作

23，XLNetLayer源码实现

24，Cached Memory设置

25，Head masking源码

26，Relative-position encoding源码实现

27，Permutation实现完整源码

28，XLNet FFN源码完整实现

29，XLNet源码实现之Loss操作详解

30，XLNet源码实现之training过程详解

31，从特定的checkpoint对XLNet进行re-training操作

32，Fine-tuning源码完整实现

33，Training Evaluation分析

34，使用XLNet进行Movies情感分类案例源码、测试及调试

第12章：NLP比赛的明星模型RoBERTa架构剖析及完整源码实现

1，为什么说BERT模型本身的训练是不充分甚至是不科学的？

2，RoBERTa去掉NSP任务的数学原理分析

3，抛弃了token_type_ids的RoBERTa

4，更大的mini-batches在面对海量的数据训练时是有效的数学原理解析

5，为何更大的Learning rates在大规模数据上会更有效？

6，由RoBERTa对hyperparameters调优的数学依据

7，RoBERTa下的byte-level BPE数学原理及工程实践

6，RobertaTokenizer源码完整实现详解

7，RoBERTa的Embeddings源码完整实现

8，RoBERTa的Attention源码完整实现

9，RoBERTa的Self-Attention源码完整实现

10，RoBERTa的Intermediate源码完整实现

11，RobertLayer源码完整实现

12，RobertEncoder源码完整实现

13，RoBERTa的Pooling机制源码完整实现

14，RoBERTa的Output层源码完整实现

15，RoBERTa Pre-trained model源码完整实现

16，RobertaModel源码完整实现详解

17，实现Causal LM完整源码讲解

18，RoBERTa中实现Masked LM完整源码详解

19，RobertLMHead源码完整实现

20，RoBERTa实现Sequence Classification完整源码详解

21，RoBERTa实现Token Classification完整源码详解

22，RoBERTa实现Multiple Choice完整源码详解

23，RoBERTa实现Question Answering完整源码详解

第13章：DistilBERT：smaller, faster, cheaper and lighter的轻量级BERT架构剖析及完整源码实现

1，基于pretraining阶段的Knowledge distillation

2，Distillation loss数学原理详解

3，综合使用MLM loss、distillation loss、cosine embedding loss

4，BERT Student architecture解析及工程实践

5，抛弃了BERT的token_type_ids的DistilBERT

6，Embeddings源码完整实现

7，Multi-head Self Attention源码完整实现

8，Feedforward Networks源码完整实现

9，TransformerBlock源码完整实现

10，Transformer源码完整实现

11，继承PreTrainedModel的DistilBertPreTrainedModel源码完整实现

13，DistilBERT Model源码完整实现

14，DistilBertForMaskedLM源码完整实现

15，DistilBert对Sequence Classification源码完整实现

第14章: Transformers动手案例系列

1，动手案例之使用Transformers实现情感分析案例代码、测试及调试

2，动手案例之使用Transformers实现NER代码、测试及调试

3，动手案例之使用Transformers实现闲聊系统代码、测试及调试

4，动手案例之使用Transformers实现Summarization代码、测试及调试

5，动手案例之使用Transformers实现Answer Span Extraction代码、测试及调试

6，动手案例之使用Transformers实现Toxic Language Detection Multi-label Classification代码、测试及调试

7，动手案例之使用Transformers实现Zero-shot learning代码、测试及调试

8，动手案例之使用Transformers实现Text Clustering代码、测试及调试

9，动手案例之使用Transformers实现semantics search代码、测试及调试

10，动手案例之使用Transformers实现IMDB分析代码、测试及调试

11，动手案例之使用Transformers实现cross-lingual text similarity代码、测试及调试