機械学習

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、3.2.3項の内容です。尤度関数をポアソン分布、事前分布をガンマ分布とした場合のパラメータの事後分布と予測分布の計算をPythonで実装します。 省略してある内容等ありますので、本と併せて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立場の人のお役に立てれば幸いです。 【数式読解編】 www.an…

皆さんこんにちは、KHnodeです。 今回も「python初学者が競馬予測をしてみた」です。前回の記事はこちら kashiwapro.hatenablog.com まだ見ていない方は見ていただけると幸いです。それでは早速やっていこうと思います。################################################################## モデル作成 訓練用のデータとテスト用のデータを分割します。 これは、機械学習お馴染みの手法なので覚えておくといいと思います。 from sklearn.model_selection import train_test_s…

[祝] ポケモン25周年 〜推薦システムに詳しい方へ〜 本編 ステップ1. 基本的な集計をする ステップ2. ポケモンどうしの共起度を計算する ステップ3. ポケモンどうしをグループ分けする ステップ4. 推薦システムを作る まとめ 宣伝 ポケモン系 推薦システム系 補足など ツイートの収集 ステップ2の結果一覧 Matrix Factorizationの実装 [祝] ポケモン25周年 @tkanayama_ です。先日、ポケモン公式による投票企画「#キミにきめた」が実施されました。これは、Twitter上で以下のようにハッシュタグをつけてツイートすることにより、ポケモンの人気投票を行う企画で…

こんにちは！こーたろーです。 毎日忙しくしています。 しかしながら、ブログで技術的なことを発信するのは結構リラックスできて、続けられそうな気がします。 今日のテーマはコチラです。 ai-scholar.tech

こんにちは！こーたろーです。 昨日は、データサイエンスのオンラインイベントに参加してきました。 皆さん、いろいろな現場での悩みなどがあり、データサイエンスの位置づけとは！みたいなことで盛り上がっていました。 データサイエンスは現場あって初めて価値がでますし、データがないと何も始まらないということが言われています。 早く現場でやってみたいですね。勉強だけでは技術的に身につかない部分が多いです。特にコンサルの部分。 それでは今回も【図解速習DEEP LEARNING】やっていきます！ 今日は、Googleの深層学習のアート適用プロジェクトMagenta（https://magenta.tensor…

はじめに Rubyの機械学習ライブラリであるRumaleに、投票（voting）によるアンサンブル法を利用した分類器・回帰分析を追加して、ver. 0.22.4としてリリースした。 https://rubygems.org/gems/rumale/versions/0.22.4 使い方 Rumaleはgemコマンドでインストールできる。 $ gem install rumale 投票は、複数の推定器の推定結果を、多数決によって結合し、最終的な推定結果を得る。回帰分析を例に示す。まずは、線形回帰とランダム森による回帰分析を試す。データセットにはLIBSVM Dataのabaloneを用いた。 $…

こんにちは！こーたろーです。 Deep Learning の2021年度の学習計画をそろそろ立てようかと思っています。 いい参考書などありましたら教えて頂けると幸いです。 それでは今回も【図解速習DEEP LEARNING】やっていきます！ 今日は、「mimi」というWebAPIサービスを利用していきます。 こちらは、フェアリーデバイセズ株式会社が提供しているものです。 mimiのアカウント作成 アプリケーションIDおよびクライアントIDの発行 アクセストークンの取得 音声認識を試す mimi🄬 ASR 版 mimi🄬 ASR powerd by NICT版 機械翻訳を試す 音声合成を試す

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、3.2.2項の内容です。尤度関数をカテゴリ分布、事前分布をディリクレ分布とした場合のパラメータの事後分布と予測分布の計算をPythonで実装します。 省略してある内容等ありますので、本と併せて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立場の人のお役に立てれば幸いです。 【数式読解編】 www.…

皆さん、こんにちわ。 今回が当ブログの初投稿となります。ブログタイトル通り「機械学習の株式投資で10億円を目指す！」ことを目標にデイトレを開始しました。 10億円なんて現実的じゃないだろ！分かっています。1億円でも良いかなとは思ったのですが、夢は大きくです。自己資本による100万円が元手資金です。株式投資歴は5年ほどですが、デイトレ、シストレは初めての初心者です。某企業で機械学習エンジニア、AI担当、データ分析等を行っておりますが、スキルは大したことない自信があります。皆さんで100万円の元手資金が減っていく様をご覧頂けたらと思います。 株価予測1日目(2021年2月22日) [本日使用した機…

はじめに こんにちは、機械学習エンジニアの大庭です。昨年の4月に新卒でマイクロアドに入社し、現在はUNIVERSE Adsというプロダクトで入札アルゴリズムの研究開発および実装を担当させていただいてます。 この記事では、僕が現在検証している機械学習による落札予測タスクについてご紹介していこうと思います。皆さんにマイクロアドの事業内容を理解していただく助けとなれば幸いです。 はじめに RTBと入札額決定 落札予測とは？ 入札額の最適化 入札額の安定化 落札予測の課題 出力が確率分布 右側打ち切り問題 実装 DeepHitモデル 入札額・落札額のビニング 損失関数 精度検証 ビニングによる落札額分…

はじめに 自分で集めた画像でCNNするために、TwitterAPIの検索機能を使って画像を集めています。 集めている画像は特定の作品のキャラクターだったりするわけですが、CNNで分類モデルを作る上で画像にラベルを付けなくてはなりません。 このラベル付けは言うまでもなく面倒で、時間がかかります。そこである程度自動化できないかと思ったわけです。 したがって、今回はタイトルにある通り、pca（主成分分析）とkmeans（クラスタリング）を用いて画像のグルーピングを行いたいと思います。 データ キャラクターの画像は顔画像だけにあらかじめトリミングしてあるものを用います。 その手法を知りたい方は以下を参…

こんにちは！こーたろーです。 今日から【図解速習DEEP LEARNING】のSection11の「音を取り扱う深層学習」を行っていきます。 昔から音楽好きのため、音に関する知識は結構勉強しました。 下準備はばっちりだと思います。 本日はまず、ブラウザから日本語音声認識ができるサイトでの音声認識の体験をしてみます。 それでは早速参ります。 ブラウザから日本語音声認識を試す Microsoft Azure Speech to Text Google Cloud Speech to text

前回記事「画像から手書き数字を切り出す - 薬剤師のプログラミング学習日記」で自前の画像データから手書き数字の部分だけを切り出すことができました。あとはこの手書き数字を画像識別モデルに読ませて数字認識をさせたいところですが、切り出した画像データにはノイズ（意味のない特徴量）が入っていたり、認識させたい対象（数字）が画像の端に寄っていたりするものがあります。 そこでよりモデルの精度を高めるために、切り出した数字画像に前処理*1を行います。 前処理の方針 画像をグレースケールで読み込んで2値化する 輪郭の抽出 大津の二値化 抽出した輪郭を使って画像の必要な部分のみを残す 白紙画像の判定 モルフォロ…

更新日時 2021/02/26/07:00 Qiita Trends Daily 1位 ※前日3位 Git,コーディング規約,レガシーコード Qiita Trends Daily 2位 ※前日4位 Unity,設計 Qiita Trends Daily 3位 ※前日8位 Python,Selenium,Python3 Qiita Trends Daily 4位 [New] Ruby,Line Qiita Trends Daily 5位 [New] Go,初心者,ProtocolBuffers,ハンズオン,gRPC Qiita Trends Daily 6位 [New] 初心者,機械学習,Kag…

はじめに こういうのは転職活動に精を出して、内定の一つや二つを獲得してから書くものだと思うんだけど、感情の整理のために書いてみたら止まらなくなってしまったので、供養しておこうと思います。 なんで辞めたいの ふつうの人とふつうに働くことが無理になった。日に日に不満は溜まるばかりで、机に向かってもアラートをだらだら眺めるだけのことが増えた。いや、白状してしまうと、机に向かっても何もできない日が増えた。 上司には「期待していた仕事の量がこなせていない」と言われた。僕もそう思う。お前らのせいじゃろがい、とも思ったけど、環境を変えようとしなかった僕が悪い。 精神科の担当医には「環境に合わせるのは処世術と…

こんにちわ。 昨日(2021年2月25日)は株を買いませんでした。機械学習による株価予測を諦めたわけではないのですが、前日のマイナス13,900円を受けてそもそもモデルがまだまだ予想できていないことに改めて気付き諸々修正を行いました。そうすると昨日は日経平均全体的に上昇、予測せずとも買ってれば当たったではないかと。まぁ、株なんて大体そんなもんですよね。 昨日行った主な修正点 アメリカ株の指数に連動して翌日の日本株が上がる、または下がるので教師データにアメリカ株指数を取り入れ 上記のついでに前回採用しなかった円ドル為替を説明変数に取り入れ アメリカ株を入れるとなると早朝に戻ってくるので予測処理→…

distributed-agile-team.connpass.com 今週も分散アジャイルチームで講演を聴いてきたので、感想を書いていきたいと思います。 イベントの概要 イベントで印象的だったこと 顧客中心主義 企画と開発の分離に立ち向かう 会社内にコミュニティを発足した話 自分ができるからみんなができるへ 全体を通した感想 イベントの概要 以下、Conpassのイベントページから引用です。 https://confengine.com/regional-scrum-gathering-tokyo-2021/proposal/14723 老舗の大手メーカーで、ビジネスの進め方にあった健全なソ…

ルンバハックの経過を書きます 先日息子くんが初LTさせていただいたコチラで、その時点までのルンバのハックをはじめたことを報告させていただきました。 siroitori.hatenablog.com 今回は、その後の経過を書こうと思います。 目標としては、「ルンバをAI自動運転カーにする」です。 ルンバに息子くんの部屋まで自動運転させることを目指しました。 ルンバにもともと搭載されているAIは、部屋をまんべんなくお掃除するというお掃除AI。 今回はこのAIを使うのではなく、息子くんの作るAIでルート走行させようという試みです。 AIの自動運転 ここで作ろうとしているAIカーとは、ドンキーカー（R…

こんな方におすすめ 深層学習・ディープラーニングでも必要な「リカレントニューラルネットワーク (Recurrent Neural Network : RNN)」の基本的な内容について知りたい。 この記事では、リカレントニューラルネットワーク (Recurrent Neural Network : RNN)の基礎概念のまとめを行います。 「これから、機械学習やディープラーニングの学習をしたいから、その基本となるリカレントニューラルネットワーク (Recurrent Neural Network : RNN)の理解を深めたい」という方に向けた記事になります。 キーワード・知ってると理解がしやすい …

タダです. 2/25 開催のコネヒトさんのイベント『コネヒトマルシェオンライン「機械学習・データ分析」』で LT 発表させてもらいました.5分の発表だったので発表中に触れられなかった話をこの記事で書いていきたいと思います. connehito.connpass.com 発表資料 発表の振り返り まとめ 発表資料 発表資料はこちらです. 発表の振り返り 発表は以前の AWS DevDay Online で発表していたものをアップデートした内容なんですが,当時は改善をし始めたばかりの頃であまり運用での課題はでていませんでした.Athena でのデータ分析業務を回せるかをやってみたものの変数が使えな…

みなさんこんばんは。atmaCup運営の nyk510 です。この記事では 2021/1/29~2/6にかけて開催しました atmaCup09 について運営サイドとして振り返っていければと思います。 www.guruguru.science atmaCupとは atmaCupとは、データ解析・アルゴリズムソリューション・システム開発を行うベンチャー企業atma株式会社( https://atma.co.jp )が主催するデータコンペティションです。 参加者が会場に集まり、準備されたデータをテーマに沿って分析・予測しその精度を競っていただくイベントです。現在はCOVID-19 感染拡大を防止する…

現在の個人MacBook Air 元々2014年製のものを使っていたが、仕事やスキルの投資として買い換える 現状の不満やストレス ネイティブアプリ開発や機械学習などの処理をする上で遅すぎる Dockerの開発環境も辛い（M1だと現状微妙だけど） Zoomでバーチャル背景が使えない（スペックの問題） 画面が急にスリープする頻度が高い キーボードが打ちにくい状態 注文したスペック オプションで変更したもの メモリ8GB→16GB + 22,000円 現状は8GBを使用して余裕が欲しかったのでグレードアップ バックライトMagic Keyboard 日本 → 英語（米国） 現状日本語だけど変更してみ…

東京, 2021年2月25日 - (JCN Newswire) - 在日米国商工会議所（ACCJ）とマッキンゼー・アンド・カンパニー日本支社は本日、日本の経済と社会のデジタル改革に向けた10年間のロードマップを示す共同研究成果である「2030日本デジタル改革」を発表しました。日本は依然世界第3位の経済大国であるとはいえ、多くのデジタル指標面で他の先進国に後れを取っています。日本は、持てる強みを生かして、製造業、ヘルスケア、金融、小売、政府サービス提供といった各分野において、その経済・社会にわたるソフトウェア・アプリケーションの構築・拡大に取り組む世界に通ずるデジタル人材の宝庫を築く大きな可能性…