ここ最近、ローカルLLM周りの話題の流れがいよいよ早くなってきたなと感じています。新しいモデルが発表されたかと思えば、翌週には量子化版が公開され、その次の週には本家llama.cppにマージされて…というペースで、ちょっと目を離すとすぐ置いていかれそうになるんですよね。 そんな中、ふと自分の業務PCを見て「あれ…これでAI開発とかできるんだろうか…」と思う方も多いんじゃないかなと思います。業務用PCって、GPU非搭載のスリムなモデルだったりすることが多くて、SNSで流れてくる「RTX 4090でローカルLLM爆速!」みたいな記事を見ると、正直ちょっと遠い世界の話に感じたりするんですよね。 でも…
note.com