word2vec原理及源码分析

^{其他的一些tricks(转载)}

对于分层softmax，并没有wordnet进行编码，而是根据词频用huffman编码。我们提到过，使用分层softmax，要求分类是有一定意义的，如果说用人类的先验知识如wordnet或者某些无监督学习的方法去做分层，倒还有道理，但是huffman编码只用到了词频特征去分层，这样的分层为什么有效呢？作者说：

Ok，实践是检验真理的唯一标准。