Word2Vecの仕組み

高速化の手法

• Negative Sampling

  • window変数（デフォルト：5単語） の範囲内にある単語については関連性の確率を高く、それ以外からランダムに選ばれた単語については確率を低くするように学習していく手法

• 階層的ソフトマックス

  • 全ての単語毎に計算した場合、膨大な計算量になるため、階層的なグループに分けて、各グループごとに学習する