4記事にわたり、複数の古典的ngram言語モデルについて試しに実装してきました。 torchtextのデータセットを使ってきたので、pytorchで簡単な言語モデルを作ってみます。 元となる論文があるわけではないですが、ネット上に多数実装が多数あるので、それらを参考にしました。 実装コードは gist を参照してください。一番下に埋め込んでます。 参考資料について軽くまとめます。 アーキテクチャ NgramModel( (embedding): Embedding(28782, 100) (linear1): Linear(in_features=200, out_features=128, …