中发源于凹非寺
量子位编辑|公众号QbitAI NLP近年来非常受欢迎，尤其是发展迅速。 BERT、GPT-3、图形神经网络、知识地图等技术应运而生。
我们正处在信息爆炸的时代，每天都面临着铺天盖地的网络资源和论文。 在很多情况下，我们面临的问题并不是资源短缺，而是找准资源并高效学习但是，在很多情况下花了很多时间在零散的内容上，最后却发现效率非常低，浪费了宝贵的时间。 为了满足大家学习的需要，贪婪科技此次推出了 《自然语言处理终身升级版》
课程涵盖经典的3358www.Sina.com/，机器学习，文本处理技术，序列模型，http://www.Sina
深度学习:课程不断更新，包括新的有趣论文将发布在arxiv上，一个月内提供技术说明和实战。 我相信这个课程会成为你在NLP领域的冷艳宝马。
01课程大纲第一部分：机器学习基础篇预训练模型
自然语言处理的现状和未来
自然语言处理APP应用
自然语言处理的经典任务
知识图谱
时间的复杂性，空间的复杂性
动态规划
贪婪算法
各种排序算法
图神经网络
逻辑回归
最大似然估计
优化和梯度下降法
随机梯度下降法
重点
理解过拟合，防止过拟合
L1和L2正则
交叉验证
正规和MAP的估计
第2部分：文本处理篇第一章：自然语言处理概述
分词算法
单词标准化
拼写检查，禁用单词
单独热码显示
tf-idf和相似度
方差表示和单词向量
单词向量可视化与评价
第二章：数据结构与算法基础
单热码的优缺点
分散显示的优点
静态词向量和动态词向量
SkipGram和CBOW
快照详细信息
无符号抽样
第三章：分类与逻辑回归
语言模型的作用
马尔可夫假设
UniGram，BiGram，NGram模型
语言模型的评价
语言模型平滑技术
第三部分：系列型号篇第四章：模型泛化与调参
HMM的应用
HMM信息
维特比算法
前向、后向算法
HMM的参数估计详细信息
第五章：文本预处理与表示
有向图和有向图
模型和判别模型的生成
从HMM和MEMM
MEMM中的标签偏移
Log-Linear模型介绍
从Log-Linear到LinearCRF
线性CRF的参数估计
第四部分：深度学习&； 预训篇第六章：词向量技术
理解神经网络
各种常见激活函数
反向传播算法
浅层模型与深度模型的比较
深度学习中的分层显示
深度学习中的过拟合
第七章：语言模型
从HMM到RNN模型
RNN中的梯度问题
梯度消失和LSTM
从LTM到GRU
双向LSTM
双向深度LSTM
第八章：隐马尔科夫模型
Seq2Seq模型
绿色解码
Beam Search
长期依赖的问题
注意力机制的实现
第九章：线性条件随机场
基于上下文的单词向量技术
图像识别中的层次表示
在文本区域中分层显示
ELMo模型
预训练和测试ELMo
p>ELMo的优缺点第十四章：自注意力机制与Transformer
LSTM模型的缺点
Transformer概述
理解自注意力机制
位置信息的编码
理解Encoder和Decoder区别
理解Transformer的训练与预测
Transformer的缺点
第十五章：BERT与ALBERT
自编码介绍
Transformer Encoder
Masked语言模型
BERT模型
BERT的不同训练方式
ALBERT
第十六章：BERT的其他变种
RoBERTa模型
SpanBERT模型
FinBERT模型
引入先验知识
K-BERT
KG-BERT
第十七章：GPT与XLNet
Transformer Encoder回顾
GPT-1, GPT-2, GPT-3
ELMo的缺点
语言模型下同时考虑上下文
Permutation LM
双流自注意力机制
第五部分：信息抽取与知识图谱篇第十八章：命名识别与实体消歧
信息抽取的应用和关键技术
命名实体识别
NER识别常用技术
实体统一技术
实体消歧技术
指代消解
第十九章：关系抽取
关系抽取的应用
基于规则的方法
基于监督学习的方法
Bootstrap方法
Distant Supervision方法
第二十章：句法分析
句法分析的应用
CFG介绍
从CFG到PCFG
评估语法树
寻找最好的语法树
CKY算法
第二十一章：依存文法分析
从语法分析到依存文法分析
依存文法分析的应用
基于图算法的依存文法分析
基于Transition-based的依存文法分析
依存文法的应用案例
第二十二章：知识图谱
知识图谱的重要性
知识图谱中的实体与关系
非结构化数据与构造知识图谱
知识图谱设计
图算法的应用
第六部分：模型压缩与图神经网络篇第二十三章：模型的压缩
模型压缩重要性
常见的模型压缩总览
基于矩阵分解的压缩技术
基于蒸馏的压缩技术
基于贝叶斯模型的压缩技术
模型的量化
第二十四章：基于图的学习
图的表示
图与知识图谱
关于图的常见算法
Deepwalk和Node2vec
TransE图嵌入算法
DSNE图嵌入算法
第二十五章：图神经网络
卷积神经网络回顾
在图中设计卷积操作
图中的信息传递
图卷积神经网络
图卷积神经网络的经典应用
第二十六章：GraphSage与GAT
从GCN到GraphSAge
注意力机制回归
GAT模型详解
GAT与GCN比较
对于异构数据的处理
第二十七章：图神经网络的其他应用
Node Classification
Graph Classification
Link Prediction
社区挖掘
推荐系统
图神经网络的未来发展
课程其他的细节可以联系课程顾问来获取
添加课程顾问微信
报名、课程咨询
????????????
02 课程中的部分案例1. 实现一个拼写纠错器
2. 从零实现Word2Vec词向量 3. 利用SkipGram做推荐 4. 从零实现HMM模型 5. 基于Linear-CRF的词性分类器实现 6. 从零实现深度学习反向传播算法 7. 实现AI程序帮助写程序 8. 实现AI程序帮助写文章9. 基于Transformer的机器翻译
10. 基于KG-BERT的知识图谱学习 11. 基于知识图谱的风控系统 12. 基于知识图谱的个性化教学 13. 利用蒸馏算法压缩Transformer 14. 利用GCN实现社交推荐 15. 基于GAT的虚假新闻检测 （剩下20+个案例被折叠，完整请咨询...） 03 课程中的部分项目作业1. 豆瓣电影评分预测
涉及到的知识点：
中文分词技术
独热编码、tf-idf
分布式表示与Word2Vec
BERT向量、句子向量
2. 智能客服问答系统
涉及到的知识点：
问答系统搭建流程
文本的向量化表示
FastText
倒排表
问答系统中的召回、排序
3. 基于Linear-CRF的医疗实体识别
涉及到的知识点：
命名实体识别
特征工程
评估标准
过拟合
4. 基于闲聊的对话系统搭建
涉及到的知识点：
常见的对话系统技术
闲聊型对话系统框架
数据的处理技术
BERT的使用
Transformer的使用
5. 搭建基于医疗知识图谱的问答系统
涉及到的知识点：
医疗专业词汇的使用
获取问句的意图
问句的解释、提取关键实体
转化为查询语句
6. 搭建基于医疗知识图谱的问答系统
涉及到的知识点：
文本摘要生成介绍
关键词提取技术
图神经网络的摘要生成
基于生成式的摘要提取技术
文本摘要质量的评估
04 课程中带读的部分论文 主题论文名称
机器学习
XGBoost: A Scalable Tree Boosting System机器学习
Regularization and Variable Selection via the Elastic Net词向量Evaluation methods for unsupervised word embeddings词向量Evaluation methods for unsupervised word embeddings词向量GloVe: Global Vectors for Word Representation词向量Deep Contexualized Word Representations
词向量
Attention is All You Need
词向量
BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding词向量XLNet: Generalized Autoregressive Pretraining for Language Understanding
词向量
KG-BERT: BERT for Knowledge Graph Completion
词向量
Language Models are Few-shot Learners
图学习Semi-supervised Classification with Graph Convolutional Networks图学习Graph Attention Networks
图学习GraphSAGE: Inductive Representation Learning on Large Graphs
图学习Node2Vec: Scalable Feature Learning for Networks
被折叠
其他数十篇文章......
05 课程适合谁？
大学生
理工科相关专业的本科/硕士/博士生，毕业后想从事NLP工作的人
希望能够深入AI领域，为科研或者出国做准备
希望系统性学习NLP领域的知识
在职人士
目前从事IT相关的工作，今后想做跟NLP相关的项目
目前从事AI相关的工作，希望与时俱进，加深对技术的理解
希望能够及时掌握前沿技术
06 报名须知1、本课程为收费教学。
2、本期仅招收剩余名额有限。
3、品质保障！正式开课后7天内，无条件全额退款。
4、学习本课程需要具备一定的机器学习基础。