Hatena Blog Tags
はてなブログ トップ
自然言語処理
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

自然言語処理

(コンピュータ)
【しぜんげんごしょり】

コンピュータに自然言語*1を処理させること。


主な処理技術

  • 形態素解析
  • 構文解析
  • 意味解析

*1:人間の扱う言語。日本語、英語など

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
地平線まで行ってくる。•1日前

qwen3:32bとqwen3:30b-a3bをollamaとColabで試してみる。

Qwen3が発表されました。公開されたモデルもありますのでColab L4環境で試してみます。VRAMの占有率は、Qwen3:32b: 20055MiB / 23034MiB、Qwen3:30b-a3b: 19209MiB / 23034MiBでした。 qwenlm.github.io 結果 推論ありモードでは、ざっくりQwen3:32bに対してMoEであるQwen3:30b-a3bでは半分ほどの時間で回答が得られています。Qwen2.5の時点でも日本語でも実用的な回答が得られていましたが、日本語を意識してない量子化モデルでも日本語自体は自然さが増している気がします。しかしながら、推論で英語を…

#自然言語処理#LLM#Qwen3

ネットで話題

もっと見る
1020ブックマークPython による日本語自然言語処理はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明　訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivativ...nltk.googlecode.com
919ブックマーク258億語の日本語コーパスをウェブで公開～国立国語研究所　言語研究や自然言語処理技術開発での基礎資料internet.watch.impress.co.jp
775ブックマーク自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！antibayesian.hateblo.jp
714ブックマーク入門 自然言語処理を禁書にすべき10の理由 | TRIVIAL TECHNOLOGIES on CLOUDみんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 「入門 自然言語処理」はヤバい書籍なので禁書にすべきだ。 タイトルは釣りじゃない。その理由を10個挙げる。 自然言語処理のかなり...coreblog.org
682ブックマーク東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理speakerdeck.com
621ブックマーク自然言語処理における前処理の種類とその威力 - Qiitaqiita.com
587ブックマークPython自然言語処理テクニック集【基礎編】自分がよく使用する日本語自然言語処理のテンプレをまとめたものです。 主に自分でコピペして使う用にまとめたものですが、みなさんのお役に立てれば幸いです。 環境はPython3系、Google Colaboratory（Ubuntu）で動作確認しています。 Pythonの標準機能とpipで容易にインストールできるライブラリに限定しています。 機...www.mojirca.com
545ブックマークPython による日本語自然言語処理はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明　訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivativ...www.nltk.org
462ブックマーク自然言語処理技術を用いたはてなブックマークの新機能「トピック」をベータリリースしました - はてなブックマーク開発ブログbookmark.hatenastaff.com

関連ブログ

地平線まで行ってくる。•3日前

ruri-v3-pt-310m/ruri-v3-310mでNERをやってみる

NER（固有名詞抽出）に再び挑戦します。ruri-v3-pt-310m/ruri-v3-310mをStockmark作WikipediaのNER向けdatasetを使って学習させてみます。このモデルでは分かち書きが不要です。しかしながら、学習済みSentencePieceのtokenizerによるトークンとNERの文字単位ラベルとずれると精度が少し落ちてしまいます。SentencePieceの利用は、NERのタスクに向かないのでしょうけれども、私ではこのサイズ感の事前学習モデルを構築するのは厳しい。それであきらめても面白くないので、拙い工夫をチャレンジしてみます。 まずは、NERの文字ラベルと…

#自然言語処理#RuriV3
地平線まで行ってくる。•4日前

CodeSearch-ModernBERT-Crow-PlusをColabで試してみる。

多言語コード検索タスクのSentence Transformerモデルである、CodeSearch-ModernBERT-Crow-Plusを試してみます。 huggingface.co 類似コードのデータセットを使ってテストしました。 dataset = [ { "code": """def add(a, b): return a + b""", "comment": "2つの数値を加算して結果を返す関数です。" }, { "code": """def factorial(n): if n == 0: return 1 else: return n * factorial(n - 1)"""…

#自然言語処理#CodeSearch
地平線まで行ってくる。•4日前

llm-jp-modernbert-baseとruri-v3-pt, ModernBERT-jaでNERの比較をColabでしてみる

LLM-jpよりllm-jp-modernbertが公開されてました。NERで試してみます。ModernBERT-jaと同じようにstockmarks社のwikipedia_nerデータを利用します。厳密な比較ではありませんが、ModernBERT-ja-310m, ruri-v3-pt-310mがF1スコアで0.2少しよい結果（傾向）がありました。 結果です。 予測の例 元の文章: ▁小 前 亮 は、 日本 の歴史 学者 、 小説家 。予測結果: ['B-人名', 'I-人名', 'I-人名', 'O', 'O', 'O', 'O', 'O', 'O', 'O']正解ラベル: B-人名 I-…

#自然言語処理#LLM
地平線まで行ってくる。•10日前

日曜プログラム的Vibe Codingらしきものを試してみる。

これまでClineやCopilotなどを使って、LLMを使ったコーディングを試していました。そこで、日曜プログラム的立場で試してみようと、streamlitを使ったアプリケーションを作ってみたので、メモします。かかった時間は、動画見ながら４時間くらい。Debugや試行錯誤としっかり向き合ったのは２時間もありません。 出来たもの： github.com 動画に翻訳キャプションをつけるStreamlitアプリです。テスト的なものなので、Whisperの予測モデルはsmall, 動作はcpu。文字おこしの精度はモデルなりです。 良かったところ： 粘土細工感覚でコーディングが可能。 debugが楽。検…

#自然言語処理
地平線まで行ってくる。•11日前

gemma3:27b-it-qatをollamaとcolabで試してみる。

ollama公式モデルにgemma3:27b-it-qatが加わりました。gemma3は、日本語も強いので早速試します。Colab L4環境で試します。VRAMの占有率は18507MiB / 23034MiBでした。このモデルは「Quantization aware trained models (QAT)The quantization aware trained Gemma 3 models preserves similar quality as half precision models (BF16) while maintaining a lower memory footprint…

#自然言語処理#LLM
地平線まで行ってくる。•12日前

mmnga/ABEJA-QwQ32b-Reasoning-Japanese-v1.0-ggufをollamaとColabとでためしてみる。

GPT-4oを上回る性能という「ABEJA-QwQ32b-Reasoning-Japanese-v1.0」のGGUF版を試してみます。GUFFはmmngaさん作成のものを利用します。ColabはL4環境でVRAM占有率は21591MiB / 23034MiB でした。「強制的に思考過程を経るために <think>\n の後から出力を開始してください。」ということでしたが、含めず強行しました。それを割り引いて結果を見る必要はあると思います。 もともとQwQ-32Bは高い性能を有しています。日本語でどの程度の実力になるのか、興味深いです。生成された言葉を見ると、日本語は流暢ですが、プロンプトが悪い…

#自然言語処理#LLM
地平線まで行ってくる。•13日前

microsoft/bitnet-b1.58-2B-4TをColabでためしてみる。

Microsoftは、BitNetを続けていたんだとびっくりしました。モデルが公開されていましたので、ColabのNo GPU環境で挑戦しました。懐かしい感じもする生成状況でした。そもそも2Bなので過大な期待はできませんが、日本語も学習しているようでした。実用になるのでは・・・と期待が持てます。 huggingface.co 生成例： You are a helpful AI assistant.Assistant Response: はい、日本語を話せます。でも、your request is about a language, not a translation. If you need …

#自然言語処理#LLM
地平線まで行ってくる。•14日前

mmnga/EZO2.5-gemma-3-12b-it-Preview-gguf

AXCXEPTさんがのEZOモデルは感じよく性能がアップしています。今回はGemma3-12bベースのモデルを公開されたものを、mmngaさんがGGUF化されたモデルをお試しします。ColabのL4環境で試しました。VRAM占有率は9301MiB / 23034MiBでした。T4環境でも十分テストできそうです。 12Bとしては、生成テキストに不自然さもなく、要約や計算もそつなくこなしています。Langchainのデフォルトのプロンプトでは日本語の文章の要約を英語で答えています。日本語のプロンプトもしくは回答言語をしっかり指示することになりそうです。 指示追従性も良さそうで、日本語もいい感じです…

#自然言語処理#LLM
地平線まで行ってくる。•16日前

ruri-v3-310mをColabで試してみる。

Ruriで8k tokensを処理できるRuri-v3が出たので、楽しみに基本的なところを試します。とりあえず、Colab T4環境で、素振りをやってみました。さくっと利用できそうな感触です。明日から本格的に使ってみます。 huggingface.co まずは、基本的なベクトル計算を実施し、ベクトル表示。類似度を計算してみます。類似度は以下のような感じです。langchainから呼び出せるかもついでに確認。 --- 明日は雨が降るでしょう。 ---- 明後日は嵐になります (類似度: 0.9334)- 雪が降りました。 (類似度: 0.8786)- 今日は良い天気です。 (類似度: 0.870…

#自然言語処理#ruri-v3#modernBERT