Word2vec

Word2vec是一群用来产生词矢量的相关模型。这些模型为浅层双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。

机器学习与
范式
问题
聚类分析
降维
结构预测
异常检测
人工神经网络
强化学习
与人类学习
  • 主动学习
  • 众包
  • Human-in-the-loop
模型诊断
  • 学习曲线
数学基础
大会与出版物
相关条目
  • 人工智能术语
  • 机器学习研究数据集列表
  • 机器学习概要

训练完成之后，word2vec模型可以把每个词映射到一个矢量，来表示词与词之间的关系。该矢量为神经网络的隐藏层[1]。

Word2vec依赖skip-grams或连续词袋（CBOW）来创建神经词嵌入。Word2vec为托马斯·米科洛夫（Tomas Mikolov）在Google带领的研究团队创造。该算法渐渐被其他人所分析和解释[2][3]。

Skip-grams和CBOW

CBOW把一个词从词窗剔除。在CBOW下给定n词围绕着词w，word2vec预测一个句子中其中一个缺漏的词c，即以几率来表示。相反地，Skip-gram给定词窗中的文本，预测当前的词。

延伸

Word2vec用来建构整份文档（而分独立的词）的延伸应用已被提出[4]， 该延伸称为paragraph2vec或doc2vec，并且用C、Python[5][6]和 Java/Scala[7]实做成工具（参考下方）。Java和Python也支持推断文档嵌入于未观测的文档。

分析

对word2vec框架为何做词嵌入如此成功知之甚少，约阿夫·哥德堡（Yoav Goldberg）和欧莫·列维（Omer Levy）指出word2vec的功能导致相似文本拥有相似的嵌入（用余弦相似性计算）并且和约翰·鲁伯特·弗斯的分布假说有关。

实作

参见

参考文献
  1. Mikolov, Tomas; et al. (PDF). [2015-08-14]. （原始内容 (PDF)存档于2022-05-09）.
  2. Goldberg, Yoav; Levy, Omar. (PDF). [2015-08-14]. （原始内容 (PDF)存档于2022-01-22）.
  3. Řehůřek, Radim. (Youtube video). [2015-08-14]. （原始内容存档于2020-05-22）.
  4. Le, Quoc; et al. (PDF). [2016-02-18]. （原始内容 (PDF)存档于2021-11-23）.
  5. . [2015-08-02]. （原始内容存档于2021-01-23）.
  6. . [2016-02-18]. （原始内容存档于2020-01-07）.
  7. . [2016-01-13]. （原始内容存档于2015-12-31）.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.