自然语言理解 教学大纲.docx

《自然语言理解 教学大纲.docx》由会员分享，可在线阅读，更多相关《自然语言理解 教学大纲.docx（7页珍藏版）》请在第一文库网上搜索。

1、自然语言理解教学大纲教材：自然语言理解赵海清华大学出版社第1章：自然语言处理概要1 .概念和术语包括什么是自然语言、自然语言处理和自然语言理解的关系、以及计算语言学。2 .自然语言处理技术的挑战自然语言处理被迫需要承担两类知识一一常识知识与语言学知识的处理和解析任务。后者属于自然语言处理这一领域独一无二的需求。3 .机器翻译4 .语言处理层次形态分析、句法分析、语义分析、语用分析、篇章分析、世界知识分析5 .应用型自然语言处理人机对话系统6 .自然语言处理的学术出版体系国际计算语言学会(AC1)等第2章：n元语言模型1 .概率论基础首先回顾概率论的基本知识，如联合概率、条件概率、贝叶斯等。2

2、.语言模型用于语言生成语言生成的过程称为解码。n元语言模型给出的是n元组出现的概率，因此合理或正确的语言现象必然有更大的概率或似然，这一观察是语言模型能在预测性解码任务之中发挥作用的关键。3 .n元语言模型的工作方式n元机制、马尔可夫假设4 .评价指标困惑度5 .n元语言模型的平滑方法1aP1aCe平滑、Good-TUring平滑、Je1inek-MerCer平滑、KatZ平滑、KneSer-Ney平滑、Pitman-YOr平滑6 .非n元机制的平滑方法缓存、跳词、聚类7 .平滑方法的经验结果对比几种平滑技巧的组合效果，以及对比它们在困惑度和语音识别的单词准确率上的差异。8 .n元语言模型的建

3、模工具介绍了一些常用的平滑工具包第3章：语言编码表示1 .独热表示用独热码表示语言符号2 .特征函数一个文本对象样本基于词一级的独热表示就是展示n元组本身，因此这个部分也称之为n元组特征，它也是自然语言最直接、最基本的特征。3 .通用特征模板在实际机器学习模型建立过程中，会用到成千上万维的特征向量，故而涉及成千上万个特征函数，如果这些函数要一个个定义，建模过程将会变得烦琐不堪。因此，实际上，特征函数可以按照定义属性进行分组，这样统一定义的一组特征函数（对应于特征向量维度上的一个片段）称之为特征模板。4 .加权的独热表示TF-IDF第4章：非监督的结构化学习1 .自然语言处理的方法构成对于一个一

4、般的自然语言处理任务来说，其方法都可以大致分解为结构化学习（结构分解和重组）与概率分布估计两部分。2 .简单任务：词/子词切分以形式上最简单的结构化学习一一词/子词切分为例，介绍自然语言处理中的非监督的结构化学习。3 .切分算法通用切分框架、Viterbi解码、贪心解码4 .优度度量频率、邻接多样性、分支燧、描述长度增益、点互信息、学生t测试5 .非监督分词数据集、评估指标、词典预处理技巧、性能6 .推广的字节对编码切分算法第5章：结构化学习1 .机器学习的粒度和语言单元自然语言是多粒度的、有结构的处理对象，可供选取的处理单元可以是字符、词、句子，甚至是整篇文档。2 .结构化学习的必要性3 .

5、自然语言处理中的结构化学习任务序列标注、序列到序列、树/图结构标注4 .退化为分类任务将复杂的结构化学习转化为更简单的分类任务5 .结构分解从计算机信息处理系统实现角度看，所有自然语言处理中的结构化学习任务都可以被归结为从一个图向另一个图的转化。因此，分解结构化学习到最终分类任务的形式，需要有效地对学习样本的图结构进行分解，以降低学习的难度。6 .共时结构分解：图模型7 .历时结构分解：转移模型8 .两类结构化分解方式的优劣9 .结构化学习的简化情形自然语言处理里面大量常见任务属于仅边或仅节点类型的结构化学习任务，这使得建模不是那么困难，也能找到直接的简化方法把各类任务轻易转化为分类任务。第6

6、章：结构上的标注任务1 .从结构标注到序列标注结构上的标注任务可以由一大类广泛的机器学习模型有效解决。2 .局部马尔可夫模型3 .全局马尔可夫模型和条件随机场全局马尔可夫模型、马尔可夫随机场、条件随机场4 .隐马尔可夫模型5 .自然语言处理中的结构标注任务讨论自然语言处理中的序列标注的建模问题。第7章：机器学习模型1 .机器学习模型的要素配置形式化地定义机器学习模型：损失函数、模型类型、学习算法2 .损失函数算术启发的损失、信息论启发的损失、组合优化下的距离3 .k近邻方法距离度量、投票策略、优缺点4 .感知机平均感知机、神经元5 .钱链损失与支持向量机最大化间隔、惩罚项导出的软边界、映射到高

7、维空间、核函数、训练算法、多类支持向量机、工具包、优缺点总结6 .交叉端损失与最大端模型对数-线性模型或称最大牖模型，它支持丰富的特征集成，同比相比于支持向量机，其训练算法更为高效。7 .从神经元到神经网络第8章：深度学习模型1 .表示学习传统上，机器学习模型使用对于输入表示保持无偏的输入数据流独热编码。对于特征向量意义上的输入来说，它是一个高度冗余的向量，导致模型复杂度提升以及计算代价高昂。传统机器学习方法采取的补救措施就是引入一个单独的降维过程作为后续机器学习过程的预处理阶段。2 .词嵌入或词向量共现矩阵及词向量降维、WOrd2vec和g1ove、评估词向量3 .神经网络的结构配置如果视神

8、经网络的层为基本的线性单元，则在深度学习模型中出于不同的动机也允许非线性的连接方式，而不再严格遵守这样的线性层堆积方式。两个主要的非线性连接方式分别是注意力机制和高速连接。激活函数：双曲正切、Re1UPRe1UE1U、SwishSOftP1us、softmax4 .深度学习模型的训练训练目标、误差反向传播算法、训练管理器5 .编码器.解码器建模6 .编码器结构：循环神经网络7 .编码器结构：卷积神经网络8 .编码器结构：Transformer9 .编码器比较10 .符号主义对战联结主义人工智能自从诞生以来形成了3个思想流派:符号主义、联结主义和行为主义。不同的思想流派支持以相应的哲学思考为主导

9、的人工智能实现的最佳路线。11 .深度学习工具包第9章：语训练语言模型1 .从表示学习到自监督学习表示学习带来的一大便利是学习结果的可复用性大大增强。为了得到这样一个有用的表示，很值得构造一个专门用来获得这个表示的机器学习任务。现在，习惯上把这样的任务叫作自监督学习任务。2 .从n元语言模型到语训练语言模型作为预训练语言模型任务基础的自监督学习，其思想来源可以追溯到n元语言模型，实际上后者就是最早的自监督学习模型。3 .输入单元管理尽管深度学习模型支持对于任何单元的嵌入表示学习，但是受制于硬件，模型不可能同时支持所有这些单元（典型而常用的语言单元就是词）的表示学习。字符级、子词级4 .语训练语

10、言模型的自回归解释5 .以编辑操作定义自监督学习预训练语言模型需要对完整的句子表示建模，同时还需兼顾句子内的词序。因此,方便的也是实际的做法是始终按照原语序输入整个句子，但是改变个别输入词的嵌入内容，预测目标默认情况下这样改变动作的类型。当然也可以是正负类判别式的，即判断这样的改变是否正确。删除、添加、替换、调序6 .采样与预训练目标的单元选择为了实现有效的负采样的目标，继续从语言的符号书写形式上着手考虑。既然负样本来自加噪操作对相应符号对象的改变，就可以对这样的符号对象采取有选择的处理,抛弃其中大量无意义的形式,这必然有助于降低自监督学习的预测难度,从而提升训练效果。7 .编码器架构RNNT

11、ransformerTransformer-X18 .语训练语言模型方法的普适化最开始提出的自监督学习的训练目标是为了习得“普适的文本表示，而不是为了任何具体的任务，因此更不可能为特定任务执行优化。9 .语训练语言模型的强化策略知识增强、多模态语训练、模型优化10 .典型的语训练语言模型E1MO、BERT、X1-NetA1BERT、E1ECTRAGPT第10章：句法分析1 .句法分析概要句法分析任务的直观概念2 .成分/短语句法分析乔姆斯基文法层次体系、上下文无关文法、3 .依存句法带中心词标注的成分句法、依存结构、成分/短语结构到依存结构的转换4 .句法标注语料：树库5 .成分/短语句法分析

12、算法CYK算法、Ear1ey算法6 .依存句法分析算法基于图模型、基于转移模型、非投影型依存分析7 .句法分析的深度学习方法改进8 .依存句法的序列到序列建模9 .从容易优先分析到全局贪心分析容易优先(easy-first)模式的句法分析提供了转移模型和图模型之外的第三种结构化建模方案。它可以理解为融合了前两者的特性的新模型，也可以理解为一种特殊的转移模型。10 .句法分析的经验结果展示了依存句法分析近年来代表性工作的经验性结果，包括英文数据集和中文数据集第11章：语义角色标注1 .从语义分析到语义角色标注当要求将句子语义解析为谓词逻辑形式的时候，就定义了语义角色标注(SemanticRo1e

13、1abe1ing,SR1)任务。这是21世纪以来众多数据驱动的语义分析任务中最为活跃的分支。2 .句法分析树上的语义图句法分析树主要有两种形式:依存句法分析树和成分句法分析树。语义角色标注的语义图也可以定义在这两大类句法分析树结构上，并导致相应的依存标注或片段标注的(谓词-论元结构)语义图。3 .语义角色标注的规范和语料4 .语义角色标注的建模方式词对、序列、树、图5 .句法特征集成：传统机器学习模型6 .句法编码器：深度学习模型7 .句法裁剪在使用词对建模语义分析任务的时候，大量的谓词论元候选对被证明是无效的负例样本，即其实它们之间不存在语义关系，在词对样本生成时，这些样本会分配标签None

14、,但仅这一类就超过了全部样本的50%,导致分类器工作低效，并受样本类别分布不平衡问题的严重影响。8 .统一建模成分和依存语义角色标注9 .语义角色标注的句法角色变迁将深度学习引入语义角色标注带来的最大变化是句法支持角色的根本性改变。10 .语义角色标注的经验结果基于成分和依存形式的语义角色标注的相关工作的时间线第12章：机器阅读理解1 .机器阅读理解任务的类型和评价指标2 .机器阅读理解的深度学习建模编码器-解码器3 .对话理解对话问答、对话响应、通用建模思想4 .面向推理的阅读理解多跳推理、逻辑推理5 .常识问答常识问答区别于一般的阅读理解或问答任务，模型无法从给定的有限上下文直接获取问题对

15、应的答案，而是需要从额外的知识源中提取相关的常识知识作为补充信息，才能推测出正确答案。常识获取、常识注入6 .开放域问答相比于传统机器阅读理解，开放域问答对每个给出的问题不再提供单独的篇章段落或文档，而是需要模型在一个大规模文档集合或者整个互联网上寻找答案。第13章：大语言模型及其前沿应用1 .脑计划与语训练语言模型以复制人脑机制方式实现强人工智能有两个基本途径可选:其一是电生理方法，研究人脑实时工作机制，这以各国在21世纪第二个十年开始的脑计划(braininitiative)而著名;其二是计算机软件模拟的方法，也就是今天人工智能研究的主流思路。2 .从语训练语言模型到大语言模型超大规模的语言模型不仅能在少样本乃至零样本任务上表现远超以前的模型，更能展现出令人惊讶的理解和推理能力，因此逐渐形成了大语言模型(1arge1anguageMode1,11M)的概念。3 .从提示学习到思维链推理从微调学习到提示学习的范式变化、提示学习、思维链