Markov Chain ある変数を順次、発生させるときに、現世代のパラメタの値(のセット)のみをもとに次世代のパラメタの値を発生させる方法
リスト::数学関連
どうもこんにちはK Lab.です。 今回はマルコフ連鎖でツイートを自動生成、mebo AIによるリプへの自動返信などの機能を実装したTwitter Botを開発してみました。名前は「ことは」といいます。 twitter.com 今回の記事では、このbotのシステムの簡単な説明などを行っていきたいと思います。
前回の記事の続きです。 astrostory.hatenablog.com この記事ではマルコフ連鎖をグラフとして見ていきます。なお、今回も例は前回の記事の天気の例を利用します。 簡単に再度説明しますと 晴れ、曇り、雨という3つの状態があり、そのいずれかの状態から別の状態に遷移します。 遷移の確率はそれぞれいかになります。 晴れ→晴れの確率をp1、曇り→晴れの確率をq1、雨→晴れの確率をr1 晴れ→曇りの確率をp2、曇り→曇りの確率をq2、雨→曇りの確率をr2 晴れ→雨の確率をp3、曇り→雨の確率をq3、雨→雨の確率をr3 グラフとして見る マルコフ連鎖をグラフとして見ると以下のようになります…
マルコフ連鎖というグラフ理論を用いた確率の考え方があり、これはプログラムの実装も可能で便利だと思うのでこの記事で詳しく説明できればと思います。 いつものように数学的な厳密性は少し欠けていても分かりやすい記事を目指します。 マルコフ連鎖とは マルコフ連鎖とはt(時間)が離散的なマルコフ過程の一種です。 マルコフ過程とは、次に起こる事象が今と過去の状態に依存することなく、現在の状態のみで決まる確率過程のことをいいます。 現在も状況のみで決まるというポイントが確率の表記を簡単に、コンピューターサイエンスに応用しやすくしているポイントだと思います。 実際にマルコフ連鎖を表現する数式は以下のように記述す…
推移確率行列 定常分布 確率推移のイメージ 極限分布 MCMC メトロポリス法 推移確率行列 確率変数がマルコフ連鎖であるとき、1期前の状態のみに依存し、それ以前の状態には依存しないことを意味する。過去のすべての履歴が直前の状態に集約される、とも言える。マルコフ連鎖が2つの値0,1しかとらないと仮定する。このときの推移は次の確率の行列で表現できる。k期先の推移行列も同様に表せる。 定常分布 とする。このときは n期での分布に右から推移確率行列を掛けるとn+1期の分布となる。各期で不変な分布をマルコフ連鎖の定常分布といい、が成立する。 確率推移のイメージ 例えば推移確率行率を とすると、が成立す…
マルコフ連鎖 時間とともに変化する確率変数のことを確率過程といいます。時刻の時の確率変数をとすると、のように変化します。が従う確率分布は、です。がのみから決まる時、この確率過程をマルコフ連鎖といいます。 遷移核 毎日、同じメニューでは飽きるので、ランチメニューの変更が表の遷移核に従っているとする。 初日のラーメン、カレー、焼きそばの確率が0.3,0.2,0.5のとき、 2日目、3日目のラーメン、カレー、焼きそばの確率を求めよ。とおくと、 初日の確率は、であり、 まとめてのように表現します。2日目、3日目のラーメン、カレー、焼きそばの確率を求めることは、を求めることと同じです。全確率の公式を使っ…
こんにちは。ラップボットプロデューサーの @masaki925 です。 今年もこの季節がやってきました、毎年恒例のラップボットです。 昨年は流行りのBERT に手を出して痛い目を見ましたが、今年も懲りずにやっていきたいと思います。 ラップの強さと韻の飛距離 私の目標の1つは強いラップボットを作ることです。 では、強い、とはなんでしょうか？ 韻の硬さ、フロウの柔軟さ、エモいバックグラウンド、色々あると思いますが、 ライムのクオリティを測る指標として、韻の飛距離という概念があります。 こちらの記事が参考になります。 https://news.1242.com/article/209776 R-指定…
前回手応えがあったので。。。a1026302.hatenablog.comマルコフ連鎖で試行錯誤していれば、オリジナルの昔話ができることを期待したのですが。。。 結果は以下の通りただただ混沌とた話になってしまいました。。。 別な手法で再挑戦したい。。。とおもいました。。。 (´・ω・｀) あめにうたれながらご馳走を食べる浦島太郎のお話 自分が思ったつっこみどころ 娘が一寸法師を食べモノだと間違えてしまうお話 自分が思ったつっこみどころ 混沌とした昔ばなし 自分が思ったつっこみどころ あめにうたれながらご馳走を食べる浦島太郎のお話 昔、昔あるところに浦島太郎という心やさしい漁師が住んでいました。…
マルコフ連鎖でいろいろな昔話を混ぜてオリジナル昔話を作ってみました。 いろいろパンチの効いた昔話になって後から笑いがこみあげてくる。。。今回使用した昔話 桃太郎 浦島太郎 金太郎 一寸法師 さるかに合戦 わらしべ長者 teke:0 昔、昔あるところにカニが住んでいるのを目にしましょう。」と鬼は言うと一気に一寸法師を飲み込んでしまいました。 teke:1 昔、昔あるところにおじいさんとおばあさん。「早く実よなれ、柿の木よ、ならぬとはさみで毛やはだや耳をつかみました。「あちちちち、いたので、男はさらに西に行きなさい。」おばあさんはとてもおいしい日本一のきび団子だよ。はなしておやり」そう言ってさるが…
こんにちは。前回に引き続き、拡散モデルに関する話題を取り上げます。拡散モデルとはGoogleのImagen等に活用されている話題の生成モデルであり、一部のタスクでは最も研究が進んでいる生成モデルGAN（敵対的生成ネットワーク）の最高性能を上回ることが報告されています。拡散モデルにはスコアベースモデル、拡散確率モデルなど幾つかのタイプがありますが、今回はスコアベースモデルについて解説を行います[1,2,3,4]。 以下は、スコアベースモデルによる画像生成の実例です。人間の目にはフェイクであることが分からないほどの精度で、画像が生成できています。 socre based modelによる画像生成例…
はじめに つい先日、統計検定準1級に無事(?)合格してくることができました。 試験対策の中で、先人達の合格体験記には大変お世話になったので、 自身の体験もネットの海に放流し、今後受験を考えている方々の参考に なったりならなかったりすればいいなといったモチベーションでまとめていきます。 目次 自身のスペック 勉強期間 CBT試験の難易度 学習に使用した教材 「学習開始〜3回連続不合格〜試験合格」までの時系列 今後 自身のスペック 自身のスペックを3行でまとめると 国立情報系院卒 2年ほど前に統計検定2級を取得済み 現在はアラサーIT作業員として中小IT企業に勤務 みたいな感じです。学生時代は確率…
shoseisan.hatenablog.com この記事の続編です。 結論から申し上げると令和５年度筑波大学情報学群情報科学類(併願）の３年次編入試験に１年間の編入浪人の末、合格いたしました。 正直体験記を書くのはあまり乗り気ではなかったんですが、１年前の僕が合格体験記を書く宣言をしてしまっていること、シンプルに編入浪人の情報が少ない事（去年めちゃくちゃ感じた）、先輩の体験記に頼りっきりだったことが理由として挙げられます。 そういうわけで今後の受験生のためになる記事を書こうかなと思います。特に最近は傾向も変わっていて新しい記事ほど価値は高いです。 前置きが長くなった、行きましょう。 スペック…
今日はインターネットのオタクと遊んでた。速攻で浮いた話を要求されて険しくなった。ないもんはない。 基本的にずっとアキバにいたんだけど、かなり楽しい。ジャングルって名前の店で9円セールをやっていたり、よくわかんない中華ブランドの20000mAhのモバイルバッテリーが1600円で買えたりした。やば〜〜。一週間に一回行くくらいの頻度が飛び込んでくる情報量的に一番良さそう。 結局アキバのメイドさんが一番いるところを3か4周くらいしたんだけど、メイドさんがめちゃくちゃ客引きしてくるのがつらかったな。ティッシュ配りとかチラシ配りの人を無視するときも、それなりの罪悪感を感じてるから……。あと裏道にも普通にい…
自動ツイートが楽しそうだったので実装(@catmoonsurf)してみたメモ 構造としては以下のとおりで、他の人も実装していてうまくいってそうなやり方をまねてます。 Twitter Developer 申請して API key等取得 フォロー中の人のツイート取得（tweepy） 形態素解析（mecab） マルコフ連鎖で文言作成 環境設定時の実施メモ mecab のインストール sudo apt install mecab sudo apt install libmecab-dev sudo apt install mecab-ipadic-utf8 mecab の python3ラッパーインス…
花畑をプロシージャル生成するJavaScriptプログラムを作成しました。 See the Pen Flower Garden by Imai (@imai1) on CodePen. アルゴリズムの解説 花の配置 描画処理 素材について アルゴリズムの解説 花の配置 自然に見えるよう描画時に位置を崩していますが、データ構造的には単に碁盤状のマス目に花を配置しているだけです。ただし、各マス毎に一様ランダムに花または空白をサンプリングするとホワイトノイズ画像のような配置になってしまうため、同種の花がカタマリを作るよう工夫を加えました。はじめに各マスにランダムに花を配置して、マルコフ連鎖モンテカル…
初めに この記事はレイトレ合宿8アドベントカレンダー7/17の２個目の記事です。 パストレーシングにおいて効率的にCausticsをレンダリングすることができるManifold Next Event Estimation(MNEE)という手法とそれの発展手法である Specular Manifold Sampling(SMS)を先行手法のManifold Exploration(Manifold Walk)と共に大まかに解説する記事となっています。
こんにちは。今回は、深層学習における生成モデルの１つであるエネルギーベースモデル（EBM）について解説します。EBMは深層学習のブレイク以前からある伝統的な技術ですが、最近Googleが発表したImagen等の超高精度生成モデルで使われる拡散モデルと深い関わりがあります。拡散モデルは主にスコアベースモデルと確率拡散モデルの2通りの流儀があり、両者を統合したモデルはまだ確立していない模様です[1, 2]。今回取り上げるEBMは前者のスコアベースモデルを理解する上で必須の技術です。そのため本記事と次回の投稿で、それぞれEBMとスコアベースモデルの解説を行います。 拡散モデルの流儀 EBMに関する日…
アクシオンモノドロミーインフレーションからのスペクトル歪み 21cm強度マップのパワースペクトルとバイスペクトルからの宇宙論的制約 PlanckPR4マップからのCMBレンズ ライマン-$\alpha $フォレストの対数正規半数値シミュレーション：完全な流体力学シミュレーションとの比較 Ly $ \alpha$フォレストによる宇宙の加速の予測 局所ハッブル定数測定の超新星セクターにおける固有の張力とその意味 それらすべてを束縛する1つの可能性：ライマン-非標準暗黒物質に対する$ \alpha$制約 大規模構造の有効場の理論からの1つのループでのBOSSバイスペクトル分析 非最小インフレからの実…
はじめに 初めまして、データ戦略室データサイエンスグループの徳田です。 以前のブログでMarketing Mix Modeling（MMM）を取り上げましたが、弊社では日々手探りの状況でMMMに取り組んでおります。Uber、FaceBook、Googleなどの企業の事例や論文から学びつつ、業務をおこなっております。今回は、その中でUberのMMM論文の紹介をしていきます！なお、MMMの詳細を知りたい方は、前のブログを見ていただければと思います。 目次 UberのMMMの取り組み 背景 方法 結果 論文を読んだ所感 参考文献 UberのMMMの取り組み 今回紹介するのは、こちらの論文（Title…
・人生はいつも「CUE!&A」だ。 t.co パンチラインが多い。 生きている証を 時代に打ち付けろ ・キリンジとKIRINJIの違い→人数。 open.spotify.com ざーざー雨はクールな調べ ・英訳の方が面白い。「You have time I don't」なんだね。 open.spotify.com 思ったこと今日言おう ・雨パレの知ってる曲はこれだけである。スネアがいい音ですね～。 open.spotify.com 踊り出す君のせいで ・雨といえば。死ぬときに流してほしいギターソロはこれだ。 youtu.be 逢いたい気持は この雨のように全てを濡らして 色を増すように逢いたい…
zariganitosh.hatenablog.jp
karaage.hatenadiary.jp
gigazine.net
reizist.hatenablog.com
www.slideshare.net
ja.wikipedia.org
hoxo-m.hatenablog.com
japan.zdnet.com
qiita.com
