Hatena Blog Tags
はてなブログ トップ
自然言語処理
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

自然言語処理

(コンピュータ)
【しぜんげんごしょり】

コンピュータに自然言語*1を処理させること。


主な処理技術

  • 形態素解析
  • 構文解析
  • 意味解析

*1:人間の扱う言語。日本語、英語など

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
辞書検索の実験ノート•7日前

形態論に基づく日本語辞書アプリのインデックス設計

外文题目： 形態論に基づく日本語辞書アプリのインデックス設計 要旨 辞書アプリは、紙の辞書に比べてより柔軟な検索方法を提供している。これらの便利な検索機能は、主にコンピュータによるデータベース検索の特徴を活かし、紙の辞書の索引を基に、辞書アプリのインデックスを修正・補強したものである。 本論文では、まず日本語辞書アプリでよく使われる検索方法をまとめ、特に近年登場した「修正検索」機能に焦点を当てて分析した。この検索方法は、ユーザーが入力した内容を事前処理し、語形変化や接辞を自動認識・除去して、対象語の原形または標準形に戻す。現在、多くの日本語辞書アプリでは、形態論理論に基づき、研究・分析・抽象化…

#形態素解析#辞書#自然言語処理#検索エンジン

ネットで話題

もっと見る
1020ブックマークPython による日本語自然言語処理はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明　訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivativ...nltk.googlecode.com
918ブックマーク258億語の日本語コーパスをウェブで公開～国立国語研究所　言語研究や自然言語処理技術開発での基礎資料internet.watch.impress.co.jp
775ブックマーク自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！antibayesian.hateblo.jp
714ブックマーク入門 自然言語処理を禁書にすべき10の理由 | TRIVIAL TECHNOLOGIES on CLOUDみんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 「入門 自然言語処理」はヤバい書籍なので禁書にすべきだ。 タイトルは釣りじゃない。その理由を10個挙げる。 自然言語処理のかなり...coreblog.org
682ブックマーク東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理speakerdeck.com
621ブックマーク自然言語処理における前処理の種類とその威力 - Qiitaqiita.com
587ブックマークPython自然言語処理テクニック集【基礎編】自分がよく使用する日本語自然言語処理のテンプレをまとめたものです。 主に自分でコピペして使う用にまとめたものですが、みなさんのお役に立てれば幸いです。 環境はPython3系、Google Colaboratory（Ubuntu）で動作確認しています。 Pythonの標準機能とpipで容易にインストールできるライブラリに限定しています。 機...www.mojirca.com
545ブックマークPython による日本語自然言語処理はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明　訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivativ...www.nltk.org
462ブックマーク自然言語処理技術を用いたはてなブックマークの新機能「トピック」をベータリリースしました - はてなブックマーク開発ブログbookmark.hatenastaff.com

関連ブログ

地平線まで行ってくる。•14日前

ibm-granite/granite-3.3-8b-instruct-GGUFをollamaとColabで試してみる。

軽量モデルのgranite3.3が公開されてました。本家IBMから提供されているGGUFをColabとollamaの組み合わせでお試ししてみます。Colab L4環境でお試しします。VRAM占有率は 6931MiB / 23034MiB(Q4_K_M)でした。やはり小さい・・・。日本語もサポートされたということだったので、日本語で挑戦しました。ただし、このモデルでは推論もサポートされていますが、本家モデルでのollamaからの呼び出し方が分からなかったので、推論なしだけの結果です。ollamaに上がっているモデルの説明では制御できるとあるので後でお試ししてみます。 知識はさすがに少ないようです…

#自然言語処理#LLM
地平線まで行ってくる。•18日前

phi4-reasoning:plusをollamaとColabで試してみる。

phi4-reasoning:plusをColab L4環境で試してみました。生成させてみると、とにかく、推論が長い。読むだけでも一苦労です。収納されている知識が中途半端であっても、なんとか答えを正解に近い方に出してきます。長い推論を読んでいると、どういう情報を与えたら上手に利用できるのか、というヒントにもなりそうです。ですが、推論が長いだけに答えが出てくるまでに時間はかかります・・・。入力文を日本語を行っても、推論は英語または日本語で出力されています。英語で推論を進めていても日本語が混じっています。固有名詞が日本語のままだったりすることで、英語を媒介することによる不自然な推論が多少避けられて…

#自然言語処理#LLM
地平線まで行ってくる。•20日前

mmnga/ELYZA-Thinking-1.0-Qwen-32B-ggufをOllamaとColabで試してみる。

ELYZA-Thinking-1.0-Qwen-32B-ggufは、ELYZA社によって訓練された推論モデルです。このモデルは Qwen/Qwen2.5-32B-Instruct がベースですので、能力は期待できます。こちらをmmngaさんによってGGUF化したものを利用します。Colab L4環境でVRAM占有率は 21591MiB / 23034MiBでした。 試した感想は、日本語はより自然な印象です。推論パート<think>では結構な長さで推論をします。といっても、phi4-reasoning:plusよりも短めなんですけど・・・。推論パート分余計に生成時間はかかります。日本語のプロンプ…

#自然言語処理#LLM
地平線まで行ってくる。•23日前

qwen3:32bとqwen3:30b-a3bをollamaとColabで試してみる。

Qwen3が発表されました。公開されたモデルもありますのでColab L4環境で試してみます。VRAMの占有率は、Qwen3:32b: 20055MiB / 23034MiB、Qwen3:30b-a3b: 19209MiB / 23034MiBでした。 qwenlm.github.io 結果 推論ありモードでは、ざっくりQwen3:32bに対してMoEであるQwen3:30b-a3bでは半分ほどの時間で回答が得られています。Qwen2.5の時点でも日本語でも実用的な回答が得られていましたが、日本語を意識してない量子化モデルでも日本語自体は自然さが増している気がします。しかしながら、推論で英語を…

#自然言語処理#LLM#Qwen3
地平線まで行ってくる。•25日前

ruri-v3-pt-310m/ruri-v3-310mでNERをやってみる

NER（固有名詞抽出）に再び挑戦します。ruri-v3-pt-310m/ruri-v3-310mをStockmark作WikipediaのNER向けdatasetを使って学習させてみます。このモデルでは分かち書きが不要です。しかしながら、学習済みSentencePieceのtokenizerによるトークンとNERの文字単位ラベルとずれると精度が少し落ちてしまいます。SentencePieceの利用は、NERのタスクに向かないのでしょうけれども、私ではこのサイズ感の事前学習モデルを構築するのは厳しい。それであきらめても面白くないので、拙い工夫をチャレンジしてみます。 まずは、NERの文字ラベルと…

#自然言語処理#RuriV3
地平線まで行ってくる。•1ヶ月前

llm-jp-modernbert-baseとruri-v3-pt, ModernBERT-jaでNERの比較をColabでしてみる

LLM-jpよりllm-jp-modernbertが公開されてました。NERで試してみます。ModernBERT-jaと同じようにstockmarks社のwikipedia_nerデータを利用します。厳密な比較ではありませんが、ModernBERT-ja-310m, ruri-v3-pt-310mがF1スコアで0.2少しよい結果（傾向）がありました。 結果です。 予測の例 元の文章: ▁小 前 亮 は、 日本 の歴史 学者 、 小説家 。予測結果: ['B-人名', 'I-人名', 'I-人名', 'O', 'O', 'O', 'O', 'O', 'O', 'O']正解ラベル: B-人名 I-…

#自然言語処理#LLM
地平線まで行ってくる。•1ヶ月前

日曜プログラム的Vibe Codingらしきものを試してみる。

これまでClineやCopilotなどを使って、LLMを使ったコーディングを試していました。そこで、日曜プログラム的立場で試してみようと、streamlitを使ったアプリケーションを作ってみたので、メモします。かかった時間は、動画見ながら４時間くらい。Debugや試行錯誤としっかり向き合ったのは２時間もありません。 出来たもの： github.com 動画に翻訳キャプションをつけるStreamlitアプリです。テスト的なものなので、Whisperの予測モデルはsmall, 動作はcpu。文字おこしの精度はモデルなりです。 良かったところ： 粘土細工感覚でコーディングが可能。 debugが楽。検…

#自然言語処理
地平線まで行ってくる。•1ヶ月前

gemma3:27b-it-qatをollamaとcolabで試してみる。

ollama公式モデルにgemma3:27b-it-qatが加わりました。gemma3は、日本語も強いので早速試します。Colab L4環境で試します。VRAMの占有率は18507MiB / 23034MiBでした。このモデルは「Quantization aware trained models (QAT)The quantization aware trained Gemma 3 models preserves similar quality as half precision models (BF16) while maintaining a lower memory footprint…

#自然言語処理#LLM