LLM

本業が忙しくめっきりブログ更新してなかったのですが、ネタが少しずつ溜まってきたので徐々に再開していこうと思います。 今回は最近自分がどうAIを活用をしているのかを書き連ねてみようと思います。 Perplexity Claude ChatGPT GitHub Copilot NotebookLM Gemini Perplexity www.perplexity.ai 一番利用頻度高。 用途としてはプログラミングのある概念についての概要を知りたい時やちょっとしたサンプルコードを生成してもらったり、雑学について聞いてみたり、と幅広く調べものに使っています。 Google検索と併用する感じになりました…

思考過程を出力するReasoning Modelのthinkタグ内にプロンプトを挿入し応答に一貫したキャラクター性を付与することができないか検証しました。 はじめに LLMを使ってキャラクターをロールプレイさせる場合はプロンプトの中にそのキャラクターの情報を含ませて出力をコントロールします。しかし、一般的なPCで実行可能なLLMはプロンプトに正確に対応しない場合があり、キャラクター性の欠けた出力をする場合があります。 そこで思考過程を出力するReasoning Modelで思考過程の終わりにキャラクター性に関するプロンプトを挿入し出力させることで高度な返答をしつつ、キャラクター性を維持すること…

「説明しなくてはそれがわからんというのは、つまり、どれだけ説明してもわからんということだ」 ――村上春樹『1Q84』BOOK2・第18章、天吾の父の言葉 はじめに 「わかる」ための知的生産とは Shin氏の優れた記事「Obsidian × Cursorの活用方法」は、ObsidianとAIを用いた知的生産の新たな地平を示してくれました。特に「自分自身のオリジナルな情報」の重要性という指摘は核心を突いています。 本記事は、その問題意識に共鳴しつつ、ツール論を超えた「知的生産の思想」を探求します。冒頭に掲げた一節は、まさにこの探求の難しさと奥深さを示唆しているかのようです。どんなに言葉を尽くしても…

勉強にとRAG実装を味見できるようにしたので、続けてトライします。LLMにはollamaを介してgemma3:4b-it-qatを利用します。このまま、GPT-4.1使っても動作するように準備しています。ローカルLLMの方で気楽に挑戦します。 今回はこの論文を参考にRAGを作ってみます。 ”Retrieval-Augmented Generation with Conflicting Evidence” Han Wang Archiki Prasad Elias Stengel-Eskin Mohit Bansal https://arxiv.org/pdf/2504.13079v1 retr…

開発本部のデータ&AIチームでデータサイエンティストをしている古濵です。 今回は、挑戦WEEKで実装した「レシピ材料の同義語辞書自動化」をLLMで実装した内容をまとめます。 挑戦WEEKに関しては、以下の記事をご覧ください。 tech.every.tv 背景 ユーザーのクエリによって、同じ意味を表す言葉でも異なる単語が使われることがあります。 デリッシュキッチンを題材に例を挙げると「鶏もも肉」「とりもも肉」「鳥もも肉」などです。 これらの単語同士を同義語（シノニム）、これらの同義語を対応づけたものを同義語辞書と呼びます。 デリッシュキッチンの検索機能では同義語辞書を人手で作成して対応しています…

LLMを使ったプログラムはすっかり普通になりました。ローカルLLMでも、利用しやすいものも出てきて気軽に利用できます。一方で、RAGは様々な方法が提案がされています。読んだだけで、さくっと実装できて、利用できそうなコードなのかという感触は早めに得たい。論文を完璧に実装するつもりはありません。同じ環境をそろえることもできませんし、追試をしたいわけでもありません。単なる趣味的にLLMを利用した実装検討の一環です。 まず、DeepRAG、RRAというRAGに関する論文をArXivから入手し、それをもとに簡単なRAGをStreamlitで実装します。PRFをパースし回答するという単純なものです。LLM…

こんにちは。まあるです。 以前使ったことのあるBERTを用いてタイトルから私の好きなyoutuberさんを当てよう！という企画です。 BERTはGoogleが2018年に開発したNLPモデルです。 BERTとはで検索するとたくさん情報が見れるとおもいますので詳しいことは割愛します。 【注意】本実験では、公開されているYouTube動画タイトルを手動で収集・アノテーションし、個人利用・教育目的で機械学習に活用しました。 スクレイピングは使用しておらず契約違反にはならないはずですが、他の問題点ありましたらご指摘ください。削除いたします。 個人での開発のためデータは正解ラベル1(好きなyoutube…