自然言語処理

このタグでブログを書く

言葉の解説

ネットで話題

自然言語処理

(コンピュータ)

【しぜんげんごしょり】

コンピュータに自然言語*1を処理させること。

主な処理技術

形態素解析
構文解析
意味解析

*1:人間の扱う言語。日本語、英語など

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

誰かの技術置き場•7日前

チャットベースでさらにMCPサーバを試す回【LangChain MCP Adapters】

お疲れ様です。前回langchain-mcp-adaptersを使ってチャットボットでMCPサーバを利用した返答を出力させる実装をしました。 fallpoke-tech.hatenadiary.jp その際にMCPサーバを使った返答生成の部分だけを単体で実行できるコードを作っていたので、今回はそれを使ってみようと思います。ソースコード使用したソースコードの全体はこちらのGitHubを参照ください。 github.com メインで実行するコードは以下になります。コマンドライン引数でMCPサーバのconfigファイルを指定して実行、実行時に質問文を標準入力する形です。実行コマンド例 py…

#Python#MCP Server#自然言語処理

ネットで話題

1020ブックマーク Python による日本語自然言語処理はじめにこの文書は、 Steven Bird, Ewan Klein, Edward Loper 著萩原正人、中山敬広、水野貴明　訳『入門自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivativ...

nltk.googlecode.com

918ブックマーク 258億語の日本語コーパスをウェブで公開～国立国語研究所　言語研究や自然言語処理技術開発での基礎資料

internet.watch.impress.co.jp

antibayesian.hateblo.jp

714ブックマーク入門自然言語処理を禁書にすべき10の理由 | TRIVIAL TECHNOLOGIES on CLOUD みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。免責事項プライバシーポリシー「入門自然言語処理」はヤバい書籍なので禁書にすべきだ。タイトルは釣りじゃない。その理由を10個挙げる。自然言語処理のかなり...

coreblog.org

682ブックマーク東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理

speakerdeck.com

621ブックマーク自然言語処理における前処理の種類とその威力 - Qiita

qiita.com

587ブックマーク Python自然言語処理テクニック集【基礎編】自分がよく使用する日本語自然言語処理のテンプレをまとめたものです。主に自分でコピペして使う用にまとめたものですが、みなさんのお役に立てれば幸いです。環境はPython3系、Google Colaboratory（Ubuntu）で動作確認しています。 Pythonの標準機能とpipで容易にインストールできるライブラリに限定しています。機...

www.mojirca.com

546ブックマーク Python による日本語自然言語処理はじめにこの文書は、 Steven Bird, Ewan Klein, Edward Loper 著萩原正人、中山敬広、水野貴明　訳『入門自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivativ...

www.nltk.org

463ブックマーク自然言語処理技術を用いたはてなブックマークの新機能「トピック」をベータリリースしました - はてなブックマーク開発ブログ

bookmark.hatenastaff.com

関連ブログ

地平線まで行ってくる。•7日前

bartowski/mistralai_Magistral-Small-2506-GGUFをollamaとColabでためしてみる。

Mistral AIの小型モデルをollamaで試してみます。ColabのL4環境で試します。VRAM占有率は15525MiB / 23034MiBでした。日本語の出力もしっかりです。英語が混じりになることもわずかにありますが、GUFFファイル作成時に日本語チューニングがしっかりすれば減るんじゃないか。また、参照文章を与えて回答させると情報を付け加えはしましたが、それなりに整合はしていました。総じて癖は多い方と感じました。推論プロセスを積極的に試せてないという前提で、同サイズのモデルより性能が突出している印象はありません。Mistral AI初の推論モデルとのことで、推論の積極的お試しは後日…

#自然言語処理#LLM

地平線まで行ってくる。•10日前

mmnga/Qwen3-EZO-8B-beta-ggufをColabとollamaでためしてみる。

Qwen3ベースのEZO-8Bベータ版を試してみます。mmngaさんがGGUFに変換したモデルを利用してcolab L4環境で動作させました。 VRAM占有率は6545MiB / 23034MiBでした。これまでもEZOモデルはいい感じでベースモデルから性能を上げています。今回は、8Bでも高い性能ということで期待しながら試してみます。 huggingface.co chat-ui-seven-sigma.vercel.app さすがに8Bのモデルなので知識を求めるのは厳しいとは思いますが、ここまで答えられるといろいろ実用が見えてきていると感じます。もちろん、量子モデルだということは割り引くと可…

#自然言語処理#LLM

地平線まで行ってくる。•11日前

メモ：JulesでDeep Researchみたいなものをお試しで作ってみる

GoogleのAIコーディングアシスタントJulesを試してみます。題材はDeep Researchもどきです。OpenAIなりのAPIを使わずにローカルのgemma3:4b-it-qatを利用してテストします。UIはstreamlitを使って実装します。それなりに利用できるようなものを目指します。ざっくり言うと・・・。 0. 自動モードで検索→吟味→検索・・・と所定の回数loopして調査を行います。 1. PDFを読み込んで参照します。 2. ナレッジグラフで可視化機能を盛り込みます。 3. Follow upの質問が出来るようにします。まず、Deep ReasarchのOSS版はきっと…

#自然言語処理#Jules

業務自動化で脱・手作業！一人事務のDX活用術 | RPA・自動化ツール•17日前

Power Automate Desktop × ChatGPTで自然文を自動処理！事務作業の次世代フローを構築する方法

「〇〇さんにメールを送っておいて」「××さんへ請求書を5万円で送っておいて」こうした自然な日本語の指示だけで、AIが内容を理解し、自動で処理してくれたら、日々の事務作業がどれほど楽になるでしょうか。本記事では、OpenAIのChatGPT APIとPower Automate Desktop（以下PAD）を連携させて、人間が入力した自然文から処理内容を解析・分岐し、実行する自動化フローを構築する方法をご紹介します。実際の処理の流れ ①Power Automate Desktopを実行し、指示をダイアログで入力 ②ChatGPTから返答を受け取る ③返答の内容に応じた処理を実行（この場合は…

#PowerAutomateDesktop#ChatGPTAPI#業務効率化#業務自動化#自然言語処理

地平線まで行ってくる。•19日前

ABEJA-Qwen2.5-32b-Japanese-v1.0をollamaとColabで試す。

v1.0となったABEJA-Qwen2.5-32b-Japanese。v0.1の頃もいい感じだったので、期待してお試しします。mmngaさんの手によってGGUFとしたモデルを利用し、Colab L4環境でお試しします。21673MiB / 23034MiBのVRAM占有率でした。 32Bの量子化モデルであれば、実用的なレベルの回答が得られるようになってきています。ABEJAのモデルはバランスも良くQwn2.5ベースのモデルの中では、使いやすいのではと思います。Qwen3ベースの小型モデルも優秀なので、もっと小さいサイズが待ち遠しいです。 huggingface.co 生成例：まどか☆マギカで…

#自然言語処理#LLM

からっぽのしょこ•23日前

6.2：パチンコ配分モデルの生成モデルの導出【青トピックモデルのノート】

はじめに『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。本の補助として読んでください。この記事では、パチンコ配分モデルで登場する数式の行間を埋めます。【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の内容】はじめに 6.2 パチンコ配分モデルの生成モデルの導出生成過程の設定記号一覧尤度関数の導出生成モデルの導出グラフィカルモデル参考書籍おわりに 6.2 パチンコ配分モデルの生成モデルの導出パチンコ配分…

#トピックモデル#自然言語処理

地平線まで行ってくる。•25日前

メモ：RAGを実装してみる。理解、分解、再構築。

これまで、論文をヒントに幾つかのRAGを作成しました。折角なので、それらの機能を分解し、それぞれの機能を組み合わせてみます。今回もローカルLLMで挑戦です。ollamaで動作させたgemma3:4b-it-qatを利用します。4Bクラスとしては高い性能を有していますが、さらに性能の高いAPIを利用したら精度が確保できるという期待も込めて遊びます。コストもかかりません(笑) まずは、機能を分解します。それぞれのRAGの特徴的な機能を分解して、それぞれの機能を実装して揃えます。その結果以下のような状況になりました。色んなパターンが準備できました。 - query_decomposition: Br…

#自然言語処理#LLM#RAG

tykojiの記事•1ヶ月前

ついに来た！OpenAIの「Codex」が開発の常識を覆す日

#OpenAI#AIコーディング#ソフトウェア開発#自然言語処理#開発効率化#クラウドエージェント#自動化ツール#プログラミング支援#生成AI

辞書検索の実験ノート•1ヶ月前

形態論に基づく日本語辞書アプリのインデックス設計

外文题目：形態論に基づく日本語辞書アプリのインデックス設計要旨辞書アプリは、紙の辞書に比べてより柔軟な検索方法を提供している。これらの便利な検索機能は、主にコンピュータによるデータベース検索の特徴を活かし、紙の辞書の索引を基に、辞書アプリのインデックスを修正・補強したものである。本論文では、まず日本語辞書アプリでよく使われる検索方法をまとめ、特に近年登場した「修正検索」機能に焦点を当てて分析した。この検索方法は、ユーザーが入力した内容を事前処理し、語形変化や接辞を自動認識・除去して、対象語の原形または標準形に戻す。現在、多くの日本語辞書アプリでは、形態論理論に基づき、研究・分析・抽象化…

#形態素解析#辞書#自然言語処理#検索エンジン