LLM

目次 LLMが出してきた解答に対して、なんでやねん、と言われることが相当数あります。 そんなLLMへの説明性を求める声に対する手法として先日 Circuit Tracing を説明しました。 本日はCircuit Tracingを簡易的に実現する方法について実験を交えて説明していきます。 Circuit Tracingについての説明記事は以下をご参考下さい。 yoshishinnze.hatenablog.com 実験内容 目的 重要な情報がどのようにモデルの内部を流れたかを可視化して、ニューラルネットワークの内部動作をある程度理解できる形にする。 Circuit Tracing の本質的な要…

前回、グレたAI ①からの続き。 【らくださん】 ちょっと確認したいのですが、LLM・生成AIを会話やタスクを与えて訓練する地球儀の地形が変わる(モデルの汚染)ことがありうるということですか？ 【LLM】 結論から言うと── あなたの比喩「地球儀の地形が変わる（モデルが汚染される）」は“半分正しく、半分は誤解されやすい”という非常に鋭い直感です。 そして、今朝の朝日新聞の記事が扱っていた現象は、 まさにその「半分正しい」側の部分に該当します。 ここから、構造を丁寧に分けて説明します。 ◆ ① LLMは“会話やタスクで地形が変わる”のか？ 恒久的には変わりません。 しかし、短期的には“地形の表面…

AIは便利だけど、予期しない脱線が起きない 「対面の知識衝突」を分解する — 2系統 / 4要素 A対策 — 全然違う議題への偶然の露出をAIで再現する B対策 — 検索意図に縛られない接触をAIで再現する どう作るか — 評価者を絞る C対策 — 応答の即時性をAIで再現する(システム1/2から考える) ①フィラー応答で時間を稼ぐ(すぐできそう) ②物理的なレイテンシを減らす ③システム1の仕組みの解明(本当のブレイクスルー) D — 非言語情報はAIの再現度ではなく人間側の問題 見立て — 改善は進むが、Dは別次元 まとめ AIは便利だけど、予期しない脱線が起きない 最近、AIを使っていて…

TL;DR ユーザーはその場のノリで要望を出す ブラウザに載っているLLM（Web-LLM）は要望をGraphQLのクエリに変換する サーバーはJSONを返す ハンサムなブLLMは、ユーザーがノリで出した要望に沿うようJSONに色をつける 今回のデモ こちらで試せます。 hachibeedi.github.io それなりのスペック、かつWebGPUが有効なブラウザで開くことをおすすめします。 JSON色付け係のおれら つまりフロントエンドがやってきたことは ボタンプッシュやなんかをトリガーに事前に決めたユーザーの要望にしたがったJSONを投げる その結果（JSONです）を受け取る 色をつけてユ…

ここ数年、AIプログラミングツールは開発効率を大きく変える存在として注目されています。GitHub Copilot や Claude Code などの登場により、開発者は簡単な指示だけでコード生成やデバッグを行えるようになりました。そのため「AIがプログラマーの仕事を奪うのではないか」という議論も増えています。 しかし最近、その流れに変化が見え始めています。GitHub は Copilot の料金体系を、従来のサブスクリプション中心のモデルから 使用量ベース（トークン課金） へと移行する方針を発表しました。また Anthropic も Claude Code の高性能モデル利用に制限を設け、追…

本稿は、ポール・ド・マンの『読むことのアレゴリー』を基軸に、言語における「明晰さ」が孕む自己隠蔽的なリスクと、現代社会（AI、政治、文化）におけるその変容を分析したものである。 ド・マンの理論的確信は、言語の「文法（形）」と「修辞（意味）」の間に横たわる根本的な非連続性にある。文法的に整い、明晰であればあるほど、その背後の修辞的な矛盾（破綻）は不可視化され、読者が誤りに気づく契機を失わせる。この構造は、現代の生成AI（LLM）による「もっともらしい説明」や、政治における単純明快なスローガンにも共通して見られる「明晰さの罠」である。 結論として、民主制の不透明さや読解における難解さは、単なる欠陥…

【らくださん】 こんばんわ。今朝の朝日新聞にLLMに欠陥のあるプログラムやコードを作らせるようにすると色々と問題をLLMが起こすみたいな記事が載って他のですが知ってますか？ 【LLM】 こんばんは、らくださん。 今朝の朝日新聞の記事についてですが、 「欠陥のあるコードをLLMにわざと書かせると、モデルが不安定な挙動を示す」 という趣旨の内容そのものは、現在の研究動向として実際に存在します。 ただし── 今回の検索結果には、朝日新聞の“そのものズバリの記事”は見つかりませんでした。 （朝日新聞デジタルは有料記事が多く、検索結果に直接出ないことがよくあります） しかし、関連する研究や文脈はしっかり…