Hatena Blog Tags
はてなブログ トップ
自然言語処理
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

自然言語処理

(コンピュータ)
【しぜんげんごしょり】

コンピュータに自然言語*1を処理させること。


主な処理技術

  • 形態素解析
  • 構文解析
  • 意味解析

*1:人間の扱う言語。日本語、英語など

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
地平線まで行ってくる。•2日前

日曜プログラム的Vibe Codingらしきものを試してみる。

これまでClineやCopilotなどを使って、LLMを使ったコーディングを試していました。そこで、日曜プログラム的立場で試してみようと、streamlitを使ったアプリケーションを作ってみたので、メモします。かかった時間は、動画見ながら４時間くらい。Debugや試行錯誤としっかり向き合ったのは２時間もありません。 出来たもの： github.com 動画に翻訳キャプションをつけるStreamlitアプリです。テスト的なものなので、Whisperの予測モデルはsmall, 動作はcpu。文字おこしの精度はモデルなりです。 良かったところ： 粘土細工感覚でコーディングが可能。 debugが楽。検…

#自然言語処理

ネットで話題

もっと見る
1020ブックマークPython による日本語自然言語処理はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明　訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivativ...nltk.googlecode.com
919ブックマーク258億語の日本語コーパスをウェブで公開～国立国語研究所　言語研究や自然言語処理技術開発での基礎資料internet.watch.impress.co.jp
775ブックマーク自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！antibayesian.hateblo.jp
714ブックマーク入門 自然言語処理を禁書にすべき10の理由 | TRIVIAL TECHNOLOGIES on CLOUDみんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 「入門 自然言語処理」はヤバい書籍なので禁書にすべきだ。 タイトルは釣りじゃない。その理由を10個挙げる。 自然言語処理のかなり...coreblog.org
682ブックマーク東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理speakerdeck.com
621ブックマーク自然言語処理における前処理の種類とその威力 - Qiitaqiita.com
587ブックマークPython自然言語処理テクニック集【基礎編】自分がよく使用する日本語自然言語処理のテンプレをまとめたものです。 主に自分でコピペして使う用にまとめたものですが、みなさんのお役に立てれば幸いです。 環境はPython3系、Google Colaboratory（Ubuntu）で動作確認しています。 Pythonの標準機能とpipで容易にインストールできるライブラリに限定しています。 機...www.mojirca.com
545ブックマークPython による日本語自然言語処理はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明　訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivativ...www.nltk.org
462ブックマーク自然言語処理技術を用いたはてなブックマークの新機能「トピック」をベータリリースしました - はてなブックマーク開発ブログbookmark.hatenastaff.com

関連ブログ

地平線まで行ってくる。•4日前

mmnga/ABEJA-QwQ32b-Reasoning-Japanese-v1.0-ggufをollamaとColabとでためしてみる。

GPT-4oを上回る性能という「ABEJA-QwQ32b-Reasoning-Japanese-v1.0」のGGUF版を試してみます。GUFFはmmngaさん作成のものを利用します。ColabはL4環境でVRAM占有率は21591MiB / 23034MiB でした。「強制的に思考過程を経るために <think>\n の後から出力を開始してください。」ということでしたが、含めず強行しました。それを割り引いて結果を見る必要はあると思います。 もともとQwQ-32Bは高い性能を有しています。日本語でどの程度の実力になるのか、興味深いです。生成された言葉を見ると、日本語は流暢ですが、プロンプトが悪い…

#自然言語処理#LLM
地平線まで行ってくる。•5日前

microsoft/bitnet-b1.58-2B-4TをColabでためしてみる。

Microsoftは、BitNetを続けていたんだとびっくりしました。モデルが公開されていましたので、ColabのNo GPU環境で挑戦しました。懐かしい感じもする生成状況でした。そもそも2Bなので過大な期待はできませんが、日本語も学習しているようでした。実用になるのでは・・・と期待が持てます。 huggingface.co 生成例： You are a helpful AI assistant.Assistant Response: はい、日本語を話せます。でも、your request is about a language, not a translation. If you need …

#自然言語処理#LLM
地平線まで行ってくる。•6日前

mmnga/EZO2.5-gemma-3-12b-it-Preview-gguf

AXCXEPTさんがのEZOモデルは感じよく性能がアップしています。今回はGemma3-12bベースのモデルを公開されたものを、mmngaさんがGGUF化されたモデルをお試しします。ColabのL4環境で試しました。VRAM占有率は9301MiB / 23034MiBでした。T4環境でも十分テストできそうです。 12Bとしては、生成テキストに不自然さもなく、要約や計算もそつなくこなしています。Langchainのデフォルトのプロンプトでは日本語の文章の要約を英語で答えています。日本語のプロンプトもしくは回答言語をしっかり指示することになりそうです。 指示追従性も良さそうで、日本語もいい感じです…

#自然言語処理#LLM
地平線まで行ってくる。•8日前

ruri-v3-310mをColabで試してみる。

Ruriで8k tokensを処理できるRuri-v3が出たので、楽しみに基本的なところを試します。とりあえず、Colab T4環境で、素振りをやってみました。さくっと利用できそうな感触です。明日から本格的に使ってみます。 huggingface.co まずは、基本的なベクトル計算を実施し、ベクトル表示。類似度を計算してみます。類似度は以下のような感じです。langchainから呼び出せるかもついでに確認。 --- 明日は雨が降るでしょう。 ---- 明後日は嵐になります (類似度: 0.9334)- 雪が降りました。 (類似度: 0.8786)- 今日は良い天気です。 (類似度: 0.870…

#自然言語処理#ruri-v3#modernBERT
地平線まで行ってくる。•13日前

mmnga/cogito-v1-preview-qwen-32B-ggufをollamaとColabで試してみる。

独自の「ハイブリッド推論」と「Iterated Distillation and Amplification (IDA)」で構築したcogito-v1-preview-qwen-32Bをmmngaさんによりgguf化したモデル（K_M)をColab L4環境で試してみます。標準モードと推論モードがあり、切り替えて使えるモデルです。VRAM占有率は21589MiB / 23034MiB でした。Qwen-32Bベースですから、期待しつつ。 Together AI | Cogito V1 Preview Qwen 32B API Deep Cogito、新AI「Cogito v1」発表 - 独自推…

#自然言語処理#LLM
地平線まで行ってくる。•24日前

mradermacher/ArrowNeo-AME-3x4B-v0.1-MoE-GGUFをollamaとColabで試してみる。

AItuberの魂を狙ったモデルである、ArrowNeo-AME-3x4B-v0.1-MoE(GGUF K_M)を試してみます。sarashinaベースでもあり軽さと日本語に期待しつつ試してみます。ColabのL4環境で試しました。VRAM占有率は 5773MiB / 23034MiBでした。 生成されたテキストは自然さですし、基本的な計算もできます。ストーリ作成では英語交じりの日本語になったのはご愛敬でしょうか。langchainを使った要約ではデフォルトのプロンプトでは要約した回答は得られませんでしたが、日本語のプロンプトにしてみたところ問題なく要約した生成が出来ました。気軽に使えるモデル…

#自然言語処理#LLM
地平線まで行ってくる。•1ヶ月前

メモ：表交じりのPDFからMarkdownに変換してみる。

表形式が混在したPDFをMarkdown形式へと変換にトライしたのでメモです。前提としてはすでにPDFにテキストが埋め込まれているものを対象とします。拾い物のPDFでお試ししたので変換後の結果は割愛しています。問題のないPDFで試したら追記したいと思います。Microsoftが公開しているMarkItDownとPyMuPDFとPyMuPDF4LLM、markdropで試してみました。 結果としては、PyMuPDF4LLMがお手軽で有料モデルを利用しなくとも表交じりも頑張って抽出します。さらにmarkdropではmicrosoftのtable-transformerを利用している効果もあって、表…

#自然言語処理#LLM#PDF