機械学習

複合データ分析技術についてこのpdfで勉強してたら，NMMFというものを知った． ちゃんとした議論は，IJCAIでしている． www.ijcai.org 人工知能学会の予稿や論文，絵本のパターン抽出や，和文論文が参考になる． 私も研究で使うことになったのでささっと実装した． とりあえず，いつも使っているコスト関数 using LinearAlgebra function get_dkl(P, Q ; eps_thred = 1.0e-10) tensor_shape = size(P) dkl = 0.0 for idx in CartesianIndices(tensor_shape) if…

モチベーション君が頑張ってくれたから3日坊主回避。 毎日投稿は多分難しいし、”隔日” くらいで投稿して一歩ずつ ”確実” に進めるつもり。 親父ギャグは作法。 今日の内容はこんな感じ↓ （目次の作り方忘れた） 機械学習ってどうやるの？ プログラミングの環境を整えよう 機械学習については何回かに分けて更新していくよ。 （一度に書いちゃうとすぐネタ切れになるからね。） 機械学習ってどうやるの？ まず機械学習の流れはざっくり分けて3つある。 学習させたいデータの準備 分類器を学習させる / モデルの構築（パラメータチューニング） モデルの評価 これはあくまで個人的な分け方だから参考までに。 データの…

【特許第6615946号】 マイニングマシンのリソースを別タスクにも割り当て、マイニングマシンのリソースを有効に利用する発明です。 ブロックチェーンが成長するにつれてマイニングに必要なマシンパワーも大きくなります。 現在では一台のマシンではスペックが足りず、グループマイニングによってスペックを補強しあっています。 マイニングマシンをマイニングだけで占有してしまうのは勿体ない、というのが今回の発明の端緒です。 マイニングに限らずマシンパワーが必要なタスクはいくらでもあります。 今回の発明では、自動運転に必要な高い認識制度を実現するニューラルネットワークをあげています。 ニューラルネットワーク、特…

はじめに 『ゼロから作るDeep Learning 3』の初学者向け攻略ノートです。『ゼロつく3』の学習の補助となるように適宜解説を加えていきます。本と一緒に読んでください。 本で登場する数学的な内容をもう少し深堀りして解説していきます。 この記事は、主にステップ29「ニュートン法を用いた最適化(手計算)」を補足する内容です。 勾配降下法とニュートン法を比較します。 【前ステップの内容】 www.anarchive-beta.com 【他の記事一覧】 www.anarchive-beta.com 【この記事の内容】 はじめに ・勾配降下法とニュートン法の比較 ・関数の設定 ・勾配降下法による更…

エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近、社内で情報検索論文輪読会を立ち上げました。 情報検索論文読み会のスケジュール そこでNGT-ONNGについての論文*1を紹介したところ1時間の予定のところを盛り上がりすぎて2時間超えてしまいました。 大盛り上がりのついでに、今回は情報検索論文輪読会で紹介した近似最近傍探索ライブラリNGTを内部で利用するValdを使って、類似文書検索がどのように出来るのか、現状の問題を解決できるのかを試したので…

はじめに 初期化 追加アップロード（バージョニング） 単一ファイルの場合 フォルダ階層になっている場合 dir-mode 参考 はじめに kaggle datasets apiの使い方が少し癖あったので、備忘録 初期化 最初にフォルダを初期化してあげる必要があります。 フォルダを登録 kaggle datasets init -p /path/to/datasets 生成されたメタデータファイルをいじる tiitleとidを任意の値に変更します（titleは6~50文字） vim path/to/datasets/dataset-metadata.json 作成 kaggle datasets…

pythonを勉強したいけど何をどうしたらいいか分からない！ プログラミングってなんだか難しそう、、 こんなお悩みを持っている方はいらっしゃいますか？ 初心者の方には「progate」がおすすめです！prog-8.com メリット ・環境構築不要（会員登録さえすればすぐ勉強を始められる） ・サイトが可愛いのでやりたくなる ・動くものを作る経験ができる ・エラー文が日本語で、直しやすいもうこれだけ。ひとまず気になる方はみなさんprogateでいいのでは。というレベルですね。 概要 ・全5コース（初級〜上級レベル） ・学習時間の目安：8時間

つい最近にMacBook Air 2020IntelをmacOS Big Surにバージョンアップしたところですが、もうmacOS Montereyが発表されました。対応機種は以下のとおりです。当然Intel MacBook AirもアップできますがいよいよM1 Mac専用の機能もあって不安な部分もあります。 macOS Monterey サポート端末 機種名 時期 MacBook Early 2016〜 MacBook Air Early 2015〜 MacBook Pro Early 2015〜 Mac mini Late 2014〜 iMac Late 2015〜 iMac Pro 20…

最急降下法とは関数の一階微分のみから、関数の最小値を探索する連続最適化問題の勾配法のアルゴリズムの一つです。 反復法を用いてを解に近づけていきます。 式で書くと、以下のようになります。このは機械学習では学習係数と呼ばれる場合があります。「勾配ベクトル方向に点を動かす」の記事でも書きましたが、 勾配ベクトルと同じ方向へ点を動かすと関数値は最も増加するので、 最急降下法では、関数の最小値を見つけるために、勾配ベクトルと逆方向へ動かすわけです。解の探索能力、収束速度はに強く依存しており、が大きすぎると発散の恐れがあり、小さすぎると収束が遅くなります。最急降下法のイメージを以下に記します。 がスタート…

自動車業界が大好きな、工場方式、下請け方式。なので、自動車業界では、新規要素のある開発も工場方式でやろうとします。ものづくりで工場方式・下請け方式が大成功しているので、自動車業界はすべてを工場方式・下請け方式でやるのが当然だ、という理論になります。工場方式は、もちろん、工場相当の業務レベルであれば大変うまくいきますので、工場相当の業務内容であれば、工場方式を適用すべきです。しかし、新規要素のある開発、研究開発レベルの内容では、工場方式・下請け方式は全く通用しません。全くうまくいきません。全く逆の性質です。いついつまでに、この新規要素のある開発を、絶対に完了して製品化します、ここまでに絶対に出来…

お近くの派遣社員さんにツールと使い方を渡して、作業を指示して、期限決めてやらせて、結果を報告させて、説明させる～だけなんです。監督業務で、誰でもらくらく、車業界量産設計のお仕事です。 ↓ これを立派に「仕事のプロセス化」と自ら呼んで、自己を正当化しています。https://twitter.com/dai_kigyou_byo 他のよく見られた記事: 工場脳・工場方式の呪縛からはなかなか変われないもの。何をどう取り組もうが、どんなスローガンでやれやれ指示しようが、人は変わらない。 ↓ 工場方式の部長がいて、工場方式の上司がいて、工場方式の同僚がいたら、本人も工場方式に合わせるのは、当たり前。↓続…

自動車業界のお品質の文化に起因して、何でもかんでも開発時でも、一度間違えれば、手戻り発生だと言われ、ぼろぼろにほじくり返され、根掘り葉掘りなんでだなんでだ分析とかで間違えた原因を追求される。 その上「誰のせい」と捉えられてしまうので、何かとものが言いにくい訳です。https://twitter.com/dai_kigyou_byo 他のよく見られた記事: 工場脳・工場方式の呪縛からはなかなか変われないもの。何をどう取り組もうが、どんなスローガンでやれやれ指示しようが、人は変わらない。 ↓ 工場方式の部長がいて、工場方式の上司がいて、工場方式の同僚がいたら、本人も工場方式に合わせるのは、当たり前…

Vertex AI ML モデルをトレーニング、ホスティング、管理する統合 ML プラットフォーム。画像分類などもできる模様。 Speech-to-Text 125言語に対応した音声認識と音声文字変換。これは製品名通りで分かりやすい。 Vision AI 感情やテキストなどを検出するためのカスタムモデルと事前トレーニング済みモデル。へぇ～、おもしろそう。 Text-to-Speech 220 以上の音声と 40 以上の言語で音声を合成。逆に言語にするんですね。 Cloud Translation 言語の検出、翻訳、用語集のサポート。これはGoogle翻訳のアプリ版。 Cloud Natural…

第二新卒として就職活動をしていた自分ですが、なんとかご縁をいただけました。 数字だけで言えば結果として7社応募して4社から返事をいただけたので、去年に比べると大進歩です。（約60のうち1社...) 肩書は一応「機械学習エンジニア」になります。 まだ詳細は分かりませんが、画像処理の案件を中心に請け負うことになるかとおもいます。 勉強しないと置いてかれてしまう業界なのでなんとか頑張りたいです。。。

どうも、最近荒野行動をやっていて、開始早々に射線を確保しているスナイパーを発見、「スナイパーは、懐に入られると、弱い...ッ！！」と丸腰で果敢にインファイトを仕掛けるも、近接戦闘も得意とするタイプだったらしく、見事返り討ちに遭いボコボコにされてしまった、分析官の岡部です。 本記事はMatillion for BigQueryのTipsです。 BigQueryユーザーの方以外はご容赦ください。 また、Matillionとは？？という方は記事下部で補足をしているので、まずはそちらからご覧いただけたらと思います。 それではいきましょう。 BiqQueryのテーブルをGCSに出力する CSV形式で出力…

■条件付き確率 ある事象Xが起きるという条件の元で、事象Ｙが起こる確率。 P(Y|X)＝P(X∩Y)/P(X) 最初はなぜP(X)が分母に来るのか分からなかったが、ベン図を書いてみると理解ができた。 ベイズの定理に繋がる大事な公式。条件付き確率を変形し、導くことが出来る。 ■ベイズの定理 P(YlX)＝P(Y)P(XlY)/P(X) ただの式変形ではなく、事後確率P(Y|X)が事前確率P(Y)と尤度関数P(XlY)の積で表せることにある。 尤度関数は新しいデータによって更新することができるので、予測を扱う機械学習と相性が良い。 ■確率変数 ある現象がいろいろな値を取るとき、とりうる値全てを確率…

どうも、最近道を歩いていたら、バイクシェアのポートでとても困った感じでスマホをいじっている外国人の方を発見、（ふっ、しゃあねえな）と思いつつ「Can I help you?」と尋ねたら「いや、それがね、普通は返却ボタン押したらメール来るじゃないですか、なのにね、、、」とめちゃくちゃ流暢な日本語で返された、分析官の岡部です。（バイクシェアアプリの不具合だったみたいです） 本記事はMatillion for BigQueryのTipsです。 BigQueryユーザーの方以外はご容赦ください。 また、Matillionとは？？という方は記事下部で補足をしているので、まずはそちらからご覧いただけたらと…

緊急事態宣言が続いている中で、いつの間にかオリンピックを実施するという流れができてしまった感がある。とりあえず殆どの人は家でテレビ観戦するしかないので、日本選手の活躍で世の中の気分が上向きになれば、経済の好転も早まるかもしれない。 今回も最新研究、書籍、エッセイなど様々な記事を紹介する。データサイエンティストになるためのガイド www.kdnuggets.com 初級者向けのデータサイエンス学習ポータル的な記事。プログラミング言語の選択から始まり、統計、SQL、データクリーニング、機械学習アルゴリズムなど、ステップ毎に教材へのリンクを掲載している。書籍「意思決定のためのアルゴリズム」 www.…

どうも、最近家に帰ったら、弟がファンタジーアニメーションに出てくる魔法使いよろしく、鍋で丸太のような豚骨を煮込み自家製ラーメンを作っていた、分析官の岡部です。（レシピはこちら） 本記事はMatillion for BigQueryのTipsです。 BigQueryユーザーの方以外はご容赦ください。 また、Matillionとは？？という方は記事下部で補足をしているので、まずはそちらからご覧いただけたらと思います。 それではいきましょう。 この記事の位置付け Matillionでunnestする おまけ：ネストデータを扱う上での注意点 補足：Matillionとは？？ この記事の位置付け 実務で…