首页 > 编程知识 正文

bert训练词向量,词向量一定要预先训练吗

时间:2023-05-04 10:35:37 阅读:33175 作者:39

BERT生成的动态词向量和word2vec的词向量的区别:

Bert的动态词向量是指对文本进行Bert处理后形成的表现。

word2vec的词向量是调查事先训练的词表现矩阵中的词的表现向量。

区别在于,计算前者时需要检索一次模型,后者只需直接检索(look up )参数表即可获得,无需检索模型。 细说起来,各模型必须为所有单词建立一定的向量表示,并在训练时对其进行优化。 静态意义在这里,每个单词的显示都是固定的。 因为Bert也有这样的矩阵,所以也可以通过检索方式得到Bert的静态词向量。 动态词向量是模型根据单词语境计算的表达,根据语境变化。

3359 www.zhi Hu.com/question/417617174/answer/1436607

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。