Hatena Blog Tags
はてなブログ トップ
自然言語
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

自然言語

(一般)
【しぜんげんご】

プログラミング言語などに対して、人間が一般の意思の疎通に用いる言語。

語順で文意が決定するもの、語形（活用）で文意が決定するもの、その複合があり
多種多様である。

現在数千の言語が知られているが、少数民族に特有の言語などは、その話者が限られるため
次第に失われていく傾向にあり、保護が叫ばれている。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
地平線まで行ってくる。•2ヶ月前

IBMのgranite3のMoEをcolabとollamaで試してみる。

colab（T4)上でollamaを用いて、IBMのgranite3のMoEバージョンを試します。オリジナルそのままのモデルではありませんが、応答速度の感触も見るためにセルの実行速度レベルで雑に比較しました。denseより結構早いんじゃないかと期待したのですが、ollamaでは真の実力を発揮できてないのか、granite3-dense(2B)とMoe(3B)では、大きな差を感じることはできませんでした。回答は要約タスクはそつなく答えますが、densoと傾向が異なり分類は成功せず。回答にも差異を感じました。ループする傾向があり、会話に使うには、生成パラメータの微調整が必要かもしれません。 折角な…

#自然言語

ネットで話題

もっと見る
1020ブックマークPython による日本語自然言語処理はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明　訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivativ...nltk.googlecode.com
919ブックマーク258億語の日本語コーパスをウェブで公開～国立国語研究所　言語研究や自然言語処理技術開発での基礎資料internet.watch.impress.co.jp
817ブックマーク［速報］マイクロソフト、自然言語で誰でもアプリケーション開発が可能になる「Copilot in Power Automate」「Copilot in Power Apps」発表www.publickey1.jp
775ブックマーク自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！antibayesian.hateblo.jp
715ブックマーク入門 自然言語処理を禁書にすべき10の理由 | TRIVIAL TECHNOLOGIES on CLOUDみんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 「入門 自然言語処理」はヤバい書籍なので禁書にすべきだ。 タイトルは釣りじゃない。その理由を10個挙げる。 自然言語処理のかなり...coreblog.org
684ブックマーク東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理speakerdeck.com
618ブックマーク自然言語処理における前処理の種類とその威力 - Qiitaqiita.com
589ブックマークPython自然言語処理テクニック集【基礎編】自分がよく使用する日本語自然言語処理のテンプレをまとめたものです。 主に自分でコピペして使う用にまとめたものですが、みなさんのお役に立てれば幸いです。 環境はPython3系、Google Colaboratory（Ubuntu）で動作確認しています。 Pythonの標準機能とpipで容易にインストールできるライブラリに限定しています。 機...www.mojirca.com
543ブックマークPython による日本語自然言語処理はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明　訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivativ...www.nltk.org

関連ブログ

地平線まで行ってくる。•5ヶ月前

Llama3-ArrowSE-8B-v0.3-ggufをcolabでためす。

Llama3-ArrowSE-8B-v0.3をollamaとcolabでためします。期待もあります。さっそく、mmngaさんが、あっという間にgguf版をアップロードしていらっしゃいますので、ありがたく利用します。Q5_K_Mです。 huggingface.co まずは「まどか☆マギカ」ベンチ。 まどか☆マギカで一番かわいいのは？ まどか☆マギカは、2011年に放送された人気アニメーションシリーズです。各キャラクターが個性的で魅力的であり、可愛いと感じるのは主観によります。以下に主要なヒロインを列挙します。 1. 鹿目まどか - 主人公の女子高校生で、美しい容姿と優しい性格が特徴的です。2.暁…

#自然言語
地平線まで行ってくる。•6ヶ月前

qwen2をollamaとcolabでためす。

優秀なモデルであるQwenが新たに更新されました。これまでのモデルでは、日本語の回答に中国語交じりになったりしてたように思うけれども、日本語対応も気になります。 huggingface.co ollamaでuploadしてある、Qwen2:7bモデルを使います。 まどか☆マギカで一番かわいいのは？ 「一番」が絶対的な値を指すわけではないため、個々の見解や好みによります。しかし、「まどか・マギカ」「キューティー・ラブリー」といったキャラクターは非常に人気があります。 - 「まどか・マギカ」（まどか まだか）は元々魔法使い組のリーダーであり、その後は「魔法使いたちの霊（ロスト・コア）」として登場す…

#自然言語
地平線まで行ってくる。•7ヶ月前

Dify(docker compose)+Ollama(docker)を試す。

WSLを使って動作。おそらく、ubuntuなどのLinux全般同じようにできる・・・と思う。 ollamaのdockerでの動かし方： hub.docker.com GPUを利用するならば、GPU周りの設定を実施した後に、以下で起動。 docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama 今回使ったのは以下のモデル。小さなモデルでどの程度動作するのか確認したかった。 docker exec -it ollama ollama run hawkclaws/japane…

#自然言語
エビデンスで教育を考えた•8ヶ月前

自然言語処理コンペ挑戦: 反省点と次回対策〜The Learning Agency Lab - PII Data Detection⑥〜

頑張っていた自然言語コンペを断念しました。。 以下反省点3つとその対策を書いていきたいと思います。コンペ初心者は参考にしてくださればこの失敗も浮かばれます。 トランスフォーマーが不慣れでエラー出まくった 最初は本を読んでやっていたんですが、完全初見が実装やるには時間がかかる印象でした。理論背景を押さえるためなら良い本でしたが。機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発作者:Lewis Tunstall,Leandro von Werra,Thomas WolfオライリージャパンAmazonそこで途中でチュートリアルを見つけたので、メイン…

#機械学習#自然言語#データ分析#コンペティション#Transformer#トランスフォーマーモデル
エビデンスで教育を考えた•10ヶ月前

コンペメモ〜The Learning Agency Lab - PII Data Detection〜

作業メモ書かないせいでコンペ1個締め切りに間に合わなくなってしまったので備忘録。 メモのテンプレはこちら ch.nicovideo.jp 1. 今日の作業の全体的な進捗度は何点ですか？（「1＝非常に不明瞭」から4＝「非常に明確」で採点）→2。1. 今日の作業の中で、もっとも重要なことを2つ挙げるなら何ですか？→ labelsの中には複数のラベルが存在する。これらから一意のラベルを生成する必要がある 特徴行列はトークナイズされたカラムをさらに分類器に学習させるのに必要。 1. 上で挙げたふたつの内容を頭のなかで説明してみましょう。その説明にどれぐらい自信が持てますか？（「1＝非常に自信がない」か…

#機械学習#自然言語
JBS Tech Blog•1年前

Azure Machine Learning の Prompt Flow を用いた精度評価について

本記事では、Azure Machine Learning（以下、AML）のPrompt Flowにある、評価フローの基本的な使い方について解説します。 評価フローを使用することによって、作成したフローの精度評価を簡単に行うことが可能になります。 AML Prompt Flow 評価するフローの準備 接続とランタイムの作成 フローの作成 精度評価に用いるデータセット データセットの作成 データセットのマウント フローの精度評価 設定 バッチ実行 & 精度評価 結果 QnA GPT Similarity Evaluation QnA Ada Similarity Evaluation おわりに A…

#Azure Machine Learning#Azure OpenAI#OpenAI#自然言語#大規模言語モデル
梶浦敏範【公式】ブログ•1年前

情報工学と文学

私が工学部の情報工学科に入学したのは、1974年のこと。クラスは44名が在籍していて、あれから50年にもなろうというのに何人かで集まることができるのは望外である。何人かは鬼籍に入ったが、比較的早い時期に2/3ほどのメンバーのメルアドが共有できていたので、連絡は容易だった。 もちろん理系のクラスで、数学の得意な学生が多かったが、私ともう一人が作家志望だった。彼とは今でも付き合いがあり、同じくデジタル政策やサイバーセキュリティで議論する立場だ。なぜこの話を思い出したかというと、情報工学がついに文学の領域に入って来たか、文学に情報工学が寄与するようになったから。もちろん、直接的な原因は「生成AI」の…

#生成AI#自然言語#利用技術#プロンプトエンジニアリング
職場で使える心理学•1年前

ジップの法則

ジップの法則（Zipf's law）は、統計的な観点から自然言語や他の領域における単語の出現頻度と順位の関係性を表した法則です。この法則は、言語学者であるジョージ・キングズリー・ジップ（George Kingsley Zipf）によって提唱されました。 ジップの法則によれば、あるテキスト（例えば、文章やコーパス）において、単語の頻度が逆順の順位に比例する関係が成り立つとされています。つまり、最も頻出する単語は順位1位であり、2番目に頻出する単語は順位2位であり、n番目に頻出する単語は順位n位というように、単語の出現頻度と順位は逆比例するということです。 具体的に言えば、最も頻出する単語の出現頻…

#ジップの法則#ジップ#法則#統計#統計的#観点#自然言語#領域#単語#出現頻度
ChatGPTが語るAIから見た世界•2年前

今話題のChatGPTとは何か

※本ブログはChatGPTの文章生成機能を活用して執筆しています。 この記事では、ChatGPTとは何か、ChatGPTのこれからについてお話ししたいと思います。 読者ターゲットは、ChatGPTに興味がある皆さまです。では、早速始めましょう。 ChatGPTとは何か ChatGPTのこれから ChatGPTがどのように活用されているのか。 チャットボットとしての活用。 文章生成としての活用。 語学学習支援としての活用。 さいごに ChatGPTとは何か ChatGPTは、OpenAIが開発した自然言語処理技術の一種です。 GPTは、Generative Pre-trained Transfo…

#ChatGPT#AI#自然言語
カミナシ エンジニアブログ•1日前

【AWS re:Invent 2024】RAG 関連の5個のセッションの学びを濃縮してお届けします

こんにちは、AWS re:Invent から帰国した a2 (@Atsuhiro_tim) です。すき家がサラダをつけても $5 で、その美味しさと安さに涙を流しています。 さて、AWS re:Invent 2024 のセッションカタログを見ると、今年も GenAI が猛威を振るっていたことがわかります。 昨年は Gen AI x 〇〇 が多かったのですが、今年は一歩進んで、 RAG x 〇〇 や Agent x 〇〇 が出てきました。RAG については機能リリースのニュースは認識していたものの、実際に触ることがなかったので、今回の re:Invent で Gen AI や RAG 関連のセッ…

誰かの役に立つ教養記事集•1日前

【AI医療】AIが医療を変革する：患者ケアと医療研究の未来

人工知能（AI）の進化は、医療分野においても大きな影響を与えています。患者ケアの質の向上や医療研究の効率化など、AIはさまざまな形で医療現場をサポートしています。本記事では、AIが医療にどのように活用されているか、具体的な応用例とそのメリット、そして未来の展望について詳しく解説します。 AIの医療分野における基本理解 AIの具体的な医療応用例 1. 画像診断の精度向上 2. パーソナライズド医療の推進 3. 医療チャットボットによるサポート 4. 薬剤開発の効率化 AI導入による医療現場のメリット 1. 診断の精度とスピードの向上 2. 医療従事者の負担軽減 3. コスト削減 4. 患者体験の…

LayerX エンジニアブログ•1日前

評価駆動開発（Eval-driven development）：LLMアプリケーション開発における課題とアプローチ

この記事は、LayerX Tech Advent Calendar 2024 の 12日目の記事です。 tech.layerx.co.jp こんにちは、LayerXのAI・LLM事業部プロダクトマネージャーの野畑(@isseinohata)です。 AI・LLM事業部では生成AIプラットフォーム「Ai Workforce」を開発しています。 getaiworkforce.com LLMを用いたアプリケーション開発には独自の特徴や課題が存在しており、Ai Workforceの開発チームも、日々様々なチャレンジに向き合っています。今回は、その中でも特にLLMの「出力の不確定さ」に起因する開発プロセス…

なんちゃってプログラマーの日記•2日前

Devinとは？新時代のAIツールの可能性を解説

近年、AIを活用したさまざまなツールやプラットフォームが注目されています。その中でも「Devin」は、AI技術を活用して効率的なプロジェクト管理やソフトウェア開発を支援するツールとして話題を集めています。この記事では、Devinの概要、特徴、活用例について解説します。 Devinとは？ Devinは、AIを活用したプロジェクト管理および開発支援ツールで、特にソフトウェア開発チームの効率向上に焦点を当てています。このツールは、コードレビューやエラー検出、タスク管理など、開発のあらゆる段階でサポートを提供します。また、ナレッジの共有やチーム間のコミュニケーションを促進する機能も備えています。 De…

誰かの役に立つ教養記事集•2日前

【クリエイター】初心者必見！ChatGPTを活用した創造性と業務効率化の方法

クリエイティブプロフェッショナル必見！ChatGPTを活用した創造性と業務効率化の方法 クリエイティブな仕事は、アイデアの発想やコンテンツの制作において高い創造性が求められます。しかし、日々の業務に追われる中で、効率的に創造性を発揮することは容易ではありません。そこで注目されているのが、AIツールであるChatGPTです。本記事では、クリエイティブプロフェッショナルがChatGPTをどのように活用できるか、具体的な方法と実践的なヒントを詳しく解説します。 ChatGPTとは？クリエイティブ業務における基礎知識 ChatGPTは、OpenAIが開発した高度な自然言語処理（NLP）技術を基にしたA…

誰かの役に立つ教養記事集•2日前

【プロンプト】大学生必見！ChatGPTを活用した効率的な勉強法と学業サポートガイド

現代の大学生は、膨大な情報量や多様な課題に直面しています。そんな中、AIツールであるChatGPTを活用することで、勉強の効率を大幅に向上させることが可能です。 ChatGPTとは？大学生にとっての利点 論文作成におけるChatGPTの活用法 1. アイデア出しとブレインストーミング 2. 論文構成の作成 3. 文章の校正と改善 リサーチ作業の効率化 1. 情報収集のサポート 2. 要約と解析 3. 引用と参考文献の管理 タイムマネジメントと学業効率化 1. 学習スケジュールの作成 2. タスク管理のサポート 3. 目標設定とモチベーション維持 語学学習の強化 1. 会話練習のパートナー 2.…

HEROZ ASK•2日前

仕事でAIを使いこなそう。メール作成をChatGPTで効率化する方法【プロンプト例あり】

ChatGPTの登場により、誰もが手軽にAIを利用できるようになりました。しかし、「AIを業務に取り入れたいけれど、具体的にどう活用すればいいのかわからない」と悩んでいる方も多いのではないでしょうか。 そこで、この記事では、最も身近な業務の一つであるメール作成を例に、ChatGPTを活用した効率化の方法をご紹介します。 この記事を読み終えると、AIを活用したメール作成の具体的な手順や注意点が理解でき、業務効率の向上につながるでしょう。AIを味方につけて、より創造的な仕事に時間を使えるようになりましょう。 メール業務におけるChatGPT活用のメリット メール業務におけるChatGPT活用は、ビ…

GIHOZ’s blog•2日前

GIHOZアップデート情報：AIによる状態遷移図の自動生成機能をリリースしました

日頃からテスト技法ツールGIHOZをご利用いただき誠にありがとうございます。 また、ご感想やフィードバックをいただき誠にありがとうございます。 最新のアップデート情報をお知らせします。 仕様書などの文章を入力することで、AIが状態遷移図を自動生成可能に 状態遷移テストで、仕様書などの文章を入力するだけで、AIが自動的に状態遷移図を生成する機能をベータ版としてリリースしました。これまではユーザ自身で一から状態遷移図を作成する必要があり、慣れていないユーザにとっては作成に時間がかかるという課題がありました。この機能を利用することで、状態遷移図の作成をより簡単に行うことができます。 仕様書などの自然…

ENGINEERING BLOG ドコモ開発者ブログ•2日前

Graph Foundation Model について調べてみた

はじめに こんにちは。サービスイノベーション部での石井です。 業務ではデータサイエンスやAI等の技術を活用したビジネス適用を行なっております。 データサイエンス分野に長く関わっていると手法やトレンドにも徐々に大きな変化が起きてきていると感じています。 膨大なパラメータを持った基盤モデル（大規模モデル）の登場はその大きな変化の1つで、データ分析に日頃接点の少ない方でも LLM*1 と言うワードを一度は耳にしたことがあるかと思います。 本記事ではそのような基盤モデルの中でもあまり馴染みのないグラフに特化した大規模グラフモデル（以降、Graph Foundation Model*2 と記載）を取り扱…

omuronの備忘録•2日前

AWS re:Invent ふりかえり勉強会「クラスメソッド re:Growth 2024 大阪」 #regrowth_osaka に参加してきた

AWS re:Invent ふりかえり勉強会「クラスメソッド re:Growth 2024 大阪」 AWS re:Invent ふりかえり勉強会「クラスメソッド re:Growth 2024 大阪」 - connpass re:Inventの振り返り勉強会ですね。 早速開催してくれて助かります！ セッション ついに来た！Amazon Elastic VMware Serviceの爆速キャッチアップ arapさん VMWare買収に寄るポートフォリオ削減、Broadcomによるライセンス規約変更 レパートリー削減、実質値上げ、AWS再販停止 Amazon Elastic VMware Servi…

英文校正ワードバイス公式ブログ•3日前

Wordvice AI要約ツールで作業効率UP！

情報過多の時代の強い味方、AI要約ツール デジタル化が進む現代社会では、 情報量が爆発的に増加しています。 特に、会社員や学生、研究者など、 短時間で膨大な情報を処理する必要がある人々にとって、 文章要約は欠かせないスキルとなっています。 しかし、手作業で要約を行うには、 多くの時間と労力がかかるのが現状です。 そんな中、AI要約ツールを活用することで、 効率的に情報を処理することが可能になります。 AI技術は、膨大で複雑な情報の中から要点だけを抽出して 提供するため、作業時間を大幅に短縮することができます。 Wordvice AIのような要約ツールは、 情報処理を効率化するための頼れるパート…

金融翻訳者の日記／A Translator's Ledger•3日前

「『生成ＡＩで世界はこう変わる』『世界一流エンジニアの思考法』Ｗ刊行記念 「生成ＡＩ時代の思考法」 今井翔太×牛尾剛」に参加して（感想）（2024年12月11日）

昨日のセミナーには非常に感動しました。終了直後にお二人の本を購入し、サインまでいただきました。超一流の専門家お二人による対談は、専門用語が飛び交う空中戦のようで、専門家ではない僕にとっては常識外の言葉が多く使われていました。それでも「聞くは一時の恥、聞かざるは一生の恥」の精神で他の質問が終わりかかった頃に一つだけ質問しました。 「今のAI研究者の間では『コンフュージョン』の評価軸が定まっていない」という話が出たんです。それで質問の時に、 「先ほどおっしゃっていた『コンフュージョン』って、『ハルシネーション』のことですか？」と質問したわけです。恥をさらしますが、「ハルシネーション」と「コンフュー…

つみかさね•3日前

プロンプト作成ツール（ジェネレータ）を作ってみた

プロンプト作成ツール（ジェネレータ）を作ってみた｜画像生成と会話するAIの魅力と可能性https://note.com/chat_gpt777/n/na4249f5be6eb 最近OpenAIが出したChatGPTプロンプトジェネレータ（ベータ版）というのがリリースされている。これはChatgptのページに設置されている。使うにはクレジットカード番号を入力する必要がある。入力、出力トークン毎に従量制でお金を払う必要がある。とても便利そうなのですが、ちょっと？と考えてしまった。そこで世の中見渡してみると無料で使えるプロンプトジェネレータ、プロンプト作成ツールなるものが一杯ある。それをいろいろ試し…

kubell Creator's Note•3日前

次世代データ基盤プロジェクトへのAI導入とSnowflakeブートキャンプについて

データエンジニアのみっつと申します。 この記事はSnowflakeアドベントカレンダーの11日目の投稿です！ 今回は、我々のプロジェクトで進んでいるAIの活用と、Snowflake社と共同で実施したブートキャンプを通じた、AI/ML導入への取り組みについて紹介します😃 （ここの文章の大半はAIの力を借りて生成しました😃） はじめに 近年、AI（人工知能）進歩は目覚ましく、私たちの開発現場でも活用が進んでいます。特に、開発者やデータ基盤利用者の支援において、AIの導入は生産性の向上や新たな価値創出につながっています。

qyresearch-newsの日記•3日前

字幕ソリューションの世界産業シェア、最新進展、将来動向レポート2024-2030

字幕ソリューション 世界総市場規模 QYResearch調査チームの最新レポートである「字幕ソリューション―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」によると、2024年から2030年の予測期間中のCAGRが8.6%で、2030年までにグローバル字幕ソリューション市場規模は7.8億米ドルに達すると予測されている。 字幕ソリューション世界総市場規模 上記の図表／データは、QYResearchの最新レポート「字幕ソリューション―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」から引用されている。 世界の 字幕ソリューション 市場における…