#每日一书#

9.26 自然语言处理—基于预训练模型的方法

自然语言处理—基于预训练模型的方法

这本书拿到手上2021年7月，应该算第一批读者。这本书的重点就是现在最火的预训练。

书中主要介绍三部分： 基础知识、预训练词向量和预训练模型。

1.基础知识部分介绍自然语言处理和深度学习的基础知识和基本工具。
2.预训练词向量部分介绍静态词向量和动态词向量的预训练方法及应用。
3.预训练模型部分介绍几种典型的预训练语言模型及应用，以及预训练模型的最新进展。

第一部分，主要是介绍基础知识和常见数据集，介绍词向量相关的，介绍NLP的三大任务：语言模型，基础任务和应用任务，然后就是介绍三类问题：文本分类，结构预测和序列到序列，最后是介绍多层感知器模型、卷积神经网络、循环神经网络，以及以Transformer为代表的自注意力模型。

第二部分，主要是预训练静态词向量，然后是BiLSTM的动态词向量。这部分也提供了对应的代码实现。

第三部分，这部分是重点，介绍几种典型的预训练语言模型和应用。包括GPT和BERT的预训练模型，还包括怎么应用这些预训练模型来处理典型的NLP任务。

我的感觉，这本书还是太浅了，多数都是类似于综述。感觉适合入门的人了解了解。不建议读过这些论文的人来读这本书。