機械学習

こんにちは！こーたろーです。 昨日は、データサイエンスのオンラインイベントに参加してきました。 皆さん、いろいろな現場での悩みなどがあり、データサイエンスの位置づけとは！みたいなことで盛り上がっていました。 データサイエンスは現場あって初めて価値がでますし、データがないと何も始まらないということが言われています。 早く現場でやってみたいですね。勉強だけでは技術的に身につかない部分が多いです。特にコンサルの部分。 それでは今回も【図解速習DEEP LEARNING】やっていきます！ 今日は、Googleの深層学習のアート適用プロジェクトMagenta（https://magenta.tensor…

こんにちは！こーたろーです。 Deep Learning の2021年度の学習計画をそろそろ立てようかと思っています。 いい参考書などありましたら教えて頂けると幸いです。 それでは今回も【図解速習DEEP LEARNING】やっていきます！ 今日は、「mimi」というWebAPIサービスを利用していきます。 こちらは、フェアリーデバイセズ株式会社が提供しているものです。 mimiのアカウント作成 アプリケーションIDおよびクライアントIDの発行 アクセストークンの取得 音声認識を試す mimi🄬 ASR 版 mimi🄬 ASR powerd by NICT版 機械翻訳を試す 音声合成を試す

はじめに Rubyの機械学習ライブラリであるRumaleに、投票（voting）によるアンサンブル法を利用した分類器・回帰分析を追加して、ver. 0.22.4としてリリースした。 https://rubygems.org/gems/rumale/versions/0.22.4 使い方 Rumaleはgemコマンドでインストールできる。 $ gem install rumale 投票は、複数の推定器の推定結果を、多数決によって結合し、最終的な推定結果を得る。回帰分析を例に示す。まずは、線形回帰とランダム森による回帰分析を試す。データセットにはLIBSVM Dataのabaloneを用いた。 $…

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、3.2.2項の内容です。尤度関数をカテゴリ分布、事前分布をディリクレ分布とした場合のパラメータの事後分布と予測分布の計算をPythonで実装します。 省略してある内容等ありますので、本と併せて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立場の人のお役に立てれば幸いです。 【数式読解編】 www.…

皆さん、こんにちわ。 今回が当ブログの初投稿となります。ブログタイトル通り「機械学習の株式投資で10億円を目指す！」ことを目標にデイトレを開始しました。 10億円なんて現実的じゃないだろ！分かっています。1億円でも良いかなとは思ったのですが、夢は大きくです。自己資本による100万円が元手資金です。株式投資歴は5年ほどですが、デイトレ、シストレは初めての初心者です。某企業で機械学習エンジニア、AI担当、データ分析等を行っておりますが、スキルは大したことない自信があります。皆さんで100万円の元手資金が減っていく様をご覧頂けたらと思います。 株価予測1日目(2021年2月22日) [本日使用した機…

はじめに こんにちは、機械学習エンジニアの大庭です。昨年の4月に新卒でマイクロアドに入社し、現在はUNIVERSE Adsというプロダクトで入札アルゴリズムの研究開発および実装を担当させていただいてます。 この記事では、僕が現在検証している機械学習による落札予測タスクについてご紹介していこうと思います。皆さんにマイクロアドの事業内容を理解していただく助けとなれば幸いです。 はじめに RTBと入札額決定 落札予測とは？ 入札額の最適化 入札額の安定化 落札予測の課題 出力が確率分布 右側打ち切り問題 実装 DeepHitモデル 入札額・落札額のビニング 損失関数 精度検証 ビニングによる落札額分…

はじめに 自分で集めた画像でCNNするために、TwitterAPIの検索機能を使って画像を集めています。 集めている画像は特定の作品のキャラクターだったりするわけですが、CNNで分類モデルを作る上で画像にラベルを付けなくてはなりません。 このラベル付けは言うまでもなく面倒で、時間がかかります。そこである程度自動化できないかと思ったわけです。 したがって、今回はタイトルにある通り、pca（主成分分析）とkmeans（クラスタリング）を用いて画像のグルーピングを行いたいと思います。 データ キャラクターの画像は顔画像だけにあらかじめトリミングしてあるものを用います。 その手法を知りたい方は以下を参…

こんにちは！こーたろーです。 今日から【図解速習DEEP LEARNING】のSection11の「音を取り扱う深層学習」を行っていきます。 昔から音楽好きのため、音に関する知識は結構勉強しました。 下準備はばっちりだと思います。 本日はまず、ブラウザから日本語音声認識ができるサイトでの音声認識の体験をしてみます。 それでは早速参ります。 ブラウザから日本語音声認識を試す Microsoft Azure Speech to Text Google Cloud Speech to text

はじめに こんにちは！DENXで機械学習をやっている京田辺三回生のryです。 前回のブログから約一年半ぶりのブログとなります。 この一年は機械学習の創作活動から離れて、主に自然言語処理の機械学習コンペティションに出場したり、長期インターンに参加したりしていました。 結果としてはKaggleで銀二つ(上位1%と2%)を獲得し、Kaggle Masterに王手をかけるところまで行きました。

こんにちは！こーたろーです。 本日も【図解速習DEEP LEARNING】の自然言語処理を行っていきます。今回は、seq2seq（sequence to sequence）を使って、スペイン語から英語へ翻訳してみます。 必要なライブラリのインポート データセットをダウンロードする データセットの前処理 前処理の定義 使用データセットの制限による実行時間短縮 tf.dataデータセットの作成 モデルを作成 GRUを定義 エンコーダを定義 デコーダを定義 エンコーダ・デコーダ作成 オプティマイザーと損失関数を定義 チェックポイントを定義し、学習途中の状態を保存できるようにする モデルの学習 モデル…

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、3.2.1項の内容にです。尤度関数をベルヌーイ分布、事前分布をベータ分布とした場合のパラメータの事後分布と予測分布の計算をPythonで実装します。 省略してある内容等ありますので、本と併せて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立場の人のお役に立てれば幸いです。 【数式読解編】 www.…

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、3.2.1項の内容にです。尤度関数をベルヌーイ分布、事前分布をベータ分布とした場合のパラメータの事後分布と予測分布の計算をRで実装します。 省略してある内容等ありますので、本と併せて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立場の人のお役に立てれば幸いです。 【数式読解編】 www.anarc…

皆さん、こんにちわ。 昨日は祝日で非営業日でしたので今日が機械学習によるシステムトレード2日目です。前回は日経平均の上昇がうまく予測できていなかったのか、安値で買えず±0円となりました。機械学習で予測した最安値と最高値で「安値で買って高値で売る」という戦略は変えてないのですが、やはりなかなかピタリと当てることが出来ないため、 予測高値 * 高値係数予測安値 * 安値係数 として買えやすく売りやすく調整しようとその係数を探ってみました。やり方としては過去データと機械学習の予測値を比べて平均二乗誤差という誤差を測る手法を用いて求めてみました。以下のイメージとなります。 少しずつ係数をずらしていって…

どうも。今回はタイトルにもある通りPCを自作した時の話を書いていきます。実は学生時代の頃から5万円くらいでできるちょっとしたものを組もうかなとはずっと思っていたんですが時間を作れなくてなかなか手が出せず、2年弱経過した最近まで何もしてこなかったので今回が初自作でした。まるっきりの自作初心者です。どんな工具がいるのかとかすらわからず組み始めましたが結果的にはすんなりいきました。 1. PCの自作に至った経緯 1.1 2016年 1.2 2018年 1.3 2019年～現在（2021年） 2. 構成紹介 3. 組成工程 3.1 整列 3.2 マザーボードへの先行取付 3.3 ケース及びマザーボード…

『Python 機械学習プログラミング』 Chap. 14 TensorFlowのメカニズム 内管・TOEIC終わるまで休止

前回、化学合成のための反応条件最適化ツールの文献をご紹介しました。 Shields, B.J., Stevens, J., Li, J. et al. Bayesian reaction optimization as a tool for chemical synthesis. Nature 590, 89–96 (2021). doi.org こちらの文献、データ・コードともに公開してくださっています。 auto-QChem : Quantum Chemistry EBDO : Experimental Design via Basian Optimization EVML : Exper…

Kaggleは前々からやってみたいと思いつつハードルの高さからなかなか手が出なかったのですが、CassavaコンペでKaggleデビューしたのでやったことや今後の課題など振り返りたいと思います。 自己紹介 結果 やったこと 反省 今後の課題 感想 自己紹介 社会人2年目で、SIerの先端技術部署で画像系の機械学習/深層学習の研究開発みたいなことをしています。自分でモデルを作ったりするわけではなく、既存の手法が実際に使えるのかやどのような実装になっているかの調査などを行っています。そのため機械学習/深層学習の基本的な知識はありますが、データ分析の経験はほぼないです。 なのでデータ分析の知識・経験…

こんにちは！こーたろーです。 Deep Learning の2021年度の学習計画をそろそろ立てようかと思っています。 いい参考書などありましたら教えて頂けると幸いです。 それでは今回も【図解速習DEEP LEARNING】やっていきます！ 今日は、「mimi」というWebAPIサービスを利用していきます。 こちらは、フェアリーデバイセズ株式会社が提供しているものです。 mimiのアカウント作成 アプリケーションIDおよびクライアントIDの発行 アクセストークンの取得 音声認識を試す mimi🄬 ASR 版 mimi🄬 ASR powerd by NICT版 機械翻訳を試す 音声合成を試す

モデル構築 実行結果 MLPモデルのファイルが保存される。 hanamichi-sukusuku.hatenablog.com 扱うデータは上記で作成。 in_sizeで入力数を定義。ラベルデータとして体型の値を使用するので出力数に6を定義。 モデルの重みファイルの保存 実行結果 学習済みの重みファイルが作成される。 データベースから新しい100件のデータを取得し、学習データを作成する with sqlite3.connect()でデータベースに接続、cursorオブジェクト生成。 for文で実行しているSQL文は SELECT * FROM person ORDER BY id DESC L…

こんな方におすすめ 深層学習・ディープラーニングでも必要な「ディープニューラルネットワーク (Deep Neural Network : DNN)」の基本的な内容について知りたい。 この記事では、ディープニューラルネットワーク (Deep Neural Network : DNN)の基礎概念のまとめを行います。 「これから、機械学習やディープラーニングの学習をしたいから、その基本となるディープニューラルネットワーク (Deep Neural Network : DNN)の理解を深めたい」という方に向けた記事になります。 キーワード・知ってると理解がしやすい ニューラルネットワーク この記事では…

プランクの2018年のデータに照らして、ダークセクターの相互作用と宇宙の湾曲 宇宙せん断の統合された3点相関関数 LISAによるレンズ付き超大質量ブラックホール連星の検出の高い確率 ダークエネルギーサーベイ3年目のデータに基づく合成銀河団と観測 宇宙論におけるモデル選択の異なる方法間の比較 観測効果を含むHI強度マッピングバイスペクトル SPIDERSクラスターカタログ内の銀河の重力赤方偏移 NEOExchange-NEOと太陽系科学のためのオンラインポータル CrA-9の周りのかすかな仲間：原始惑星または不明瞭なバイナリ？ 機械学習手法を使用したNASAトランジット系外惑星探査衛星（TESS…

iphone xで私が最も興味を持ったのは、arや3次元構造物の光二重撮影による顔認識です。アップルはaiや機械学習を製品に組み込むことを実現しています。 ホーム:https://sawfswga.at.webry.info/ ホーム:https://plaza.rakuten.co.jp/gfawfaa/ ホーム:https://gfafawsz.hatenablog.com ホーム:https://ameblo.jp/fasfrafsaw ホーム:https://frswasw.cosplay-navi.com/ ホーム:https://zsdfarf.exblog.jp/ ホーム:htt…

近い将来、人工知能（AI）が我々の仕事の多くを奪うとされています。逆に、人工知能という技術を利用した新たな仕事（AIビジネスやデータ調査官など）が生まれるとも言われています。人工知能の可能性と限界を適切に知ることは、これからの時代の最低限の教養となっていくでしょう。 【目次】 【人工知能】 【機械学習】 【教師あり学習】 【教師なし学習】 【強化学習】 【人工知能】 人工知能（AI：Artificial Intelligence）とはコンピュータ（計算機）を用いて知的な情報処理（学習・推論・判断）を行う技術や人工的な知能のことです。人工知能の分野の一つとして機械学習が存在し、代表的な機械学習の…