自然言語処理

Gemma2は小型ながら高性能。その後も色んな方がGemma2ベースにモデルを公開されています。ollamaで公開されているモデルをColab T4環境でトライしてみました。 ollama.com 9b-instruct-q4_K_MモデルをT4で実施。英語優先の印象はありますが、生成速度も速く要約タスクや前後の整合性を持った回答も良い感じです。RAGやChatBotで使ってみたい・・・。実験してみよう。 今回の生成の結果です。 まずは、ウォーミングアップです。 まどか☆マギカで一番かわいいのは？ まどか☆マギカで「一番かわいい」は、個人の好みによって大きく分かれるので、一概に断言することはで…

LLMでマリオをプレイ。引き続きトライしています。GPT-4oを使っています。基本的にプロンプト芸でどうにかしようとしています。 結果です。 AIマリオ GPT-4o / 20240818_01 試行錯誤で気が付いた点です。 １、位置関係の理解レベルが低い ２、したがって、移動やジャンプによる予測線とブロックや敵キャラと関係性が考慮できない。 ３、直前の操作や状況、操作のパターニングは、最低レベルでは指示を守る。 そこそこ操作できる能力はあるものの、何かあったらジャンプというレベルに落ち着く。例えばブロックとの位置関係を考えてジャンプのタイミングを図れない。その結果、ランダムな動作が重要になっ…

長文生成が可能で9Bの動作させやすいモデルのlongwriter-glm4-9bをColab有料のL4で動作をさせました。１万文字以上となれば、もう本や論文が一気に生成できるレベルですね。 huggingface.co github.com 例に倣って日本語の観光案内を書かせました。これが一気に出力できるというのは楽しいです。長文だとColabL4環境だと1時間半かかったりします。試しに、wikipediaの三国志（吉川英治）の目次を使ってストーリーを生成しました。他の要素を盛り込んでプロンプトを挙げても途中、三国志の本来のストーリーと世界観が強くなりました。学習データにも入っていると思われま…

Qwen2の数学特化モデルQwen2-Mathを試して見ます。1.5Bでどこまでできるのか興味があったので、1.5B-Instructモデルを試します。英語しかサポートしていないようですが、Colab中では敢えて日本語の質問も入れ込んでいます。日本語の質問によっては、まともな答えの生成は出来なかったので、割愛しています。数式部分は、LaTex形式に近い生成でした。全部は無理でしたが、一部は数式で表示させています。 通常の7BクラスのLLMだと簡単な算数でもなかなか正解に辿りつけません。ですが、このモデルだと正解までたどり着けます。1.5Bである程度答えることができました。学習させる教師データそ…

sakana.aiが発表した「LLMを使って、研究開発プロセスそのものの自動化する」AIサイエンティストは、機械学習の研究開発を自動的に実施します。計算機実験の範囲でできる研究開発はある程度の自動化支援は進むのだろうなと思っていましたが、あっという間に自己完結できるところまで来ました。流石です。 sakana.ai コードが公開されています。 github.com 研究開発の肝はレビューにあります。地道に繰り返し、何が良かったか、何を改善すべきかをひとつひとつ進める。私が興味をもったのも、レビューの部分です。そこで、そこだけをColab動かして見ました。 本日(2024/08/13 22:02…

Embeddingモデルを使ったテキスト検索は手軽で協力。一方で、キーワード検索と検索式も重要な手法の一つだ。検索結果の説明が楽にできるからだ。特に「ない」ことの証明をするのに、〇〇で検索してもヒットしなかった、という説明がしやすいからだ。というわけで、Pythonでお手軽にキーワード検索をできるwhooshを使って日本語検索のコードができないかお勉強しました。環境としてcolabを使い、geminiの助言も得ながら構築します。 whooshについて、開発状況を確かめたところwhooshのpypiのページでは、プロジェクトのリンク先が失われています。困りました。pypi.org なんと、who…

これまた今更。メモとしてGemma2b-itのファインチューニングをColabでお試し。 データセットは定番のござるを利用させていただきます。ありがとうございます。 huggingface.co 特に特記することもなく完成。学習が効いているだろうくらいのところまで。後は自分のデータセットを作ればいいと思うと気が楽になる。あとは、量子化をどこまで行うのか、といったことになる。難しいのは評価の仕方でしょうか。 やってみたいことがあるんだけれども、GPU欲しい・・ぞ。 gist.github.com

Amazon新Alexaへのアップグレードにおいて、Claude AIの採用が報じられています。この動きは、音声アシスタント市場に大きな影響を与える可能性があります。以下、この話題について詳しく解説していきます。 音声アシスタントの進化 音声アシスタントは、私たちの日常生活に欠かせない存在となっています。スマートスピーカーやスマートフォンを通じて、天気予報や音楽再生、スケジュール管理など、さまざまなタスクをこなしてくれます。しかし、これまでの音声アシスタントには限界がありました。複雑な質問への回答や、文脈を理解した自然な会話が難しかったのです。 そこで注目されているのが、最新の人工知能技術を活…

WordPress上で「写真から単語を抜き出し短歌を生成するサイト」を実行するためには、複数の技術的要素が必要です。これには、画像解析、単語抽出、短歌生成、WordPressとの統合が含まれます。以下は、そのための基本的な構成要素とサンプルコードです。 ### 1. 概要- **画像解析**: 画像から単語を抽出するためには、画像認識技術を使います。一般的には、Google Cloud Vision APIやAzure Computer Vision APIなどを利用します。- **短歌生成**: 抽出した単語から短歌を生成するためには、単語のリストに基づいて短歌を組み立てるロジックが必要です…

生成AIとは？ 生成AIとは、人工知能（AI）の一分野であり、大量のデータを基に新しいコンテンツを生成する技術です。この技術は、自然言語処理や画像生成、動画作成など、さまざまな分野で活用されています。生成AIは、人間が時間をかけて行う作業を迅速かつ効率的に行うことができるため、ビジネスにおける生産性向上やコスト削減に大いに寄与しています。 動画作成において生成AIを活用することで、プロの手を借りずに高品質な動画を短時間で作成することが可能です。例えば、生成AIを使用すればニーズに合わせた動画を自動的に作成できるため、マーケティングや広告などのビジネス戦略において非常に効果的です。このような生成…

図解即戦力 AIのしくみと活用がこれ1冊でしっかりわかる教科書 1. AI学習に苦しむエンジニアやビジネスパーソンの課題 2. 複雑なAI技術をシンプルに理解するための道筋 3. AI技術をマスターすれば未来がどう変わるのか 4.「 図解即戦力 AIのしくみと活用がこれ1冊でわかる教科書」書籍紹介 1. AI学習に苦しむエンジニアやビジネスパーソンの課題 近年、AI技術は急速に進化し、エンジニアだけでなくビジネスの現場でもその理解と活用が求められています。 しかし、AIに関する情報は膨大で、その基本的な仕組みや手法を効率的に理解することは簡単ではありません。 エンジニアであれば、技術の詳細な理…

こちらの記事でコンシューマーインサイトの基礎知識・活用方法・成功事例・おすすめ情報をご紹介いたします。あなたのビジネスの4P（Product（商品）Price（価格）Place（流通）Promotion（集客・販売促進）すべてに活用できる役立つ情報です。ぜひ、ご活用ください。 執筆者の紹介 コンシューマーインサイトの基礎知識 コンシューマーインサイトとは コンシューマーインサイトとニーズの違い コンシューマーインサイトのメリット コンシューマーインサイトの成功事例 コンシューマーインサイトを発見するためのアプロ―チ コンシューマーインサイトのおすすめ資料 消費者のショッピング動向に関する調査 …

生成AIにおけるベクトルインデックス：詳細解説 ベクトルインデックスとは？ ベクトルインデックスは、生成AIにおいて、テキスト、画像、音声などの非構造化データを、数値のベクトルに変換し、そのベクトル間の類似度に基づいて検索や推薦を行うための技術です。 なぜベクトルに変換するのか？ 意味の理解: 単語の並びだけでなく、単語間の関係性や文脈を数値として表現することで、コンピュータがより深くテキストの意味を理解できるようになります。 高速な検索: 高次元空間上のベクトル間の距離を計算することで、従来のキーワード検索よりも高速かつ正確に類似したデータを検索できます。 多様なデータの統合: テキストだけ…

「ルルスの円盤（Lullian Circle）」は、レイモン・リュル（Raymond Lull、ラテン語名でRamon Llull）によって13世紀に考案された、哲学的・神学的なアイデアを視覚的に整理・表現するためのツールです。 この円盤は、リュルの著作『アルス・マグナ（Ars Magna、偉大なる術）』において中心的な役割を果たしています。 **アルス・マグナ**は、中世の知識を体系化し、論理的な推論を通じて神学や哲学の問いに答えるための方法論です。 ルルスの円盤は、複数の同心円や回転する円盤によって構成されており、これを使ってさまざまな概念の組み合わせを生成し、論理的な結論を導くための助け…

Copilot 回答を生成しています… Copilot が送信しました: Hugging FaceとGitHubは、どちらもソフトウェア開発に関わるプラットフォームですが、主に以下のような違いがあります。 主な焦点 GitHub: コード管理と共同開発に焦点を当てています。ソフトウェアエンジニアや開発チーム向けに、バージョン管理、コードレビュー、課題追跡、CI/CD（継続的インテグレーション/継続的デリバリー）などの機能を提供します。 Hugging Face: 機械学習と自然言語処理（NLP）モデルの管理に特化しています。データサイエンティストや研究者向けに、モデルのホスティング、トレーニン…

はじめに こんにちは。今日、Cloud Operator Days 2024 クロージングイベントにて「2024年版 運用者たちのLLM」というタイトルで登壇させていただきました。この記事では、発表の内容と、それに対する反響、そして個人的な振り返りを共有したいと思います。 https://cloudopsdays.com/ より引用 発表資料 speakerdeck.com 発表の概要 今回の発表では、LLM（大規模言語モデル）が運用にもたらす可能性と課題について探りました。主に以下のポイントに焦点を当てて議論を展開しました。 AIOpsの文脈におけるLLMの位置づけ LLMによる運用タスクの…

生成 AI の進化は目覚ましく、様々なプラットフォームが登場しています。本記事では、主要な AI アシスタントである ChatGPT、Gemini、Claude、Perplexity、Copilot の機能を比較し、それぞれの特徴や強みを探ります。 目次 生成AI比較表 ChatGPT（チャットジーピーティー） Gemini（ジェミニ） Claude（クロード） Perplexity（パープレキシティ） Copilot（コパイロット） まとめ 生成AI比較表 以下の表で、各 AI アシスタントの主要機能を簡潔に比較します。 この表は各 AI アシスタントの一般的な能力を示していますが、具体的な…

AI技術の進化とともにAIエンジニアの需要が高まっています。この記事では注目されるAIエンジニアの仕事内容から必要なスキル、将来性まで解説します。転職やキャリアアップを考えているのであればぜひ参考にしてください。 AIエンジニアとは？ (出典) pixta.jp AIエンジニアとは、人工知能（AI）の開発や研究、AI技術を活用したシステムの設計・構築・運用を行うエンジニアのことです。AI技術は、自動運転・医療診断・金融取引・マーケティングなど、さまざまな分野で活用されており、活躍の場はますます広がっています。 AIエンジニアの役割と活躍する場面 AIエンジニアの具体的な仕事内容としては、AIモ…

就活生や転職者のみなさん、こんにちは！これまで7年、書いた記事は1500記事を超え、求人サイトの運営まで始めた"日本イチの就活マニア"こと就活マンです！ 「男で稼げる仕事って何だろう？」「どんな仕事なら高収入が狙えるんだろう？」 そんな疑問を持つ人は多いですよね。 特に就職を考えている方にとって、将来の収入は大きな関心事だと思います。 そこで、これまで就活と転職に特化して1500以上の記事を書いてきた僕の知見を活かして、「男性が高収入を得やすい仕事や業界」を共有していきます！ それぞれの仕事の特徴や、なぜ稼げるのかという理由まで踏み込んで解説していくので、ぜひ最後まで読み込んでもらえると嬉しい…