機械学習

今日の積み上げ 機械学習 かめさんの統計学セクション６（正規分布と標準化）を視聴（途中まで） ヨビノリの線形代数入門講座①～⑤を視聴 英語学習 タニケイ式シャドーイング教材File10（３日目） 機械学習 AWSのDVA合格で一区切りついたので、しばらく（１週間ぐらい）はDSL輪読会に向けて、基礎となる統計学と大学数学（線形代数）の学習を進めてみることにした。 （AWSのSOA学習も進めたいところだが、機械学習の分野にどこまで自分が順応できそうか試したい気持ちが強いので、そう決めた） まず、今日は先週一週間やりたい気持ちをぐっと抑えていた、かめさん（@usdatascientist）のUdem…

概要 NumPyroデビューしたので覚書。コードはここです↓ GitHub - migamamo-bio/numpyro_population_growth NumPyro↓ これを使うと手軽に確率モデリングのコードが書けるらしい。 NumPyro documentation — NumPyro documentation お題 せっかくならバイオっぽいネタをということで、ロジスティックモデルにしたがう個体数増加のモデリングをやってみました。 ロジスティックモデルは、を個体数、を時間として以下の微分方程式で表されるモデルです。 ロジスティック方程式 - Wikipedia が個体数増加速度、が…

前回の記事で不動産価格の予測アプリの紹介させていただきました。ある程度の精度で予測はできるのですが、もう少し精度をあげられないかと思い、得られた情報から説明変数としてのパラメーターの追加の検討を行ってみました。 以下は一連の全体のコードです。 前半はこれまでに紹介したように築年数の計算のコードになります。コード３〜7が今回あらたに説明変数として組み込むため数値化（パラメーター化）をおこなったものになります。（カテゴライズ変数として扱う方法もありますが、その結果はまた別の機会に紹介したいと思います。結局どちらも良い結果にはなりませんでしたが・・・） コード３では建物構造が不動産価格に与える影響を…

こんにちは。ふらうです。 今回、Doc2Vecというものに触れていきたいと思います。 使用環境 OS Windows 10 Home Anaconda（windows） Python 3.7.16 CPU Intel(R) Core(TM) i9-10900 CPU @ 2.80GHz 2.80 GHz GPU NVIDIA Geforce RTX 3070 メモリ 32GB gensim 3.8.3 Doc2Vecとは Doc2Vecの2種類のアーキテクチャ PV-DM（Distributed memory Model of Paragraph Vectors） PV-DBOW（Distri…

自分がちゃんと人に教えられなかったので、言語化しておくことにする。 モデルを平均二乗誤差で評価することを考えるとき、１つの学習データセットで評価するのは実は危険。。 なぜなら、その学習データセットはノイズが含まれているかもしれないから。 モデルがすごい複雑になればなるほど、学習データを近似する能力は高まる（バイアス小さい）けども、個々の学習データだけに含まれるノイズに過剰に反応してしまう可能性が出てくる。 ⇒その結果、学習データを変えて学習したモデル群の間の出力結果のばらつき（バリアンス）はとても高くなってしまう...! 一方、モデルが単純だと、そもそも学習データを近似出来る能力が低いため、大…

こんにちは。ふらうです。 ブログをはじめてみました。 AIの研究を行っているのですが、自分が学んだこと、作ったものなどを発信していくとともに、技術について語り合える仲間を探したいと思い始めました！ 気軽にコメントなどしていただけると嬉しく思います。 今回は、自然言語処理の中でもメジャーであるWord2Vecを、解説なども含めて触ってみようかと思います。 まず、Word2Vecについて解説していきます。 Word2Vecは、2013年にTomas Mikolovらが発表した、ベクトル空間上で単語を表現する手法です。 この手法を使った結果の有名な例として、 「king（王）」-「man（男）」=「…

2018年春、AIという言葉の意味もわからず、セミナーに参加したり、いろいろな本やサイトを読んで勉強しました。当時まとめた資料を掲載します。 ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー…

G-genの佐伯です。当記事では、Vertex AIのAutoML及びバッチ予測の基本的な操作方法を解説しながら、簡易的で且つ安価に予測データを収集できる手法を解説できればと考えます。前編では、Vertex AIのAutoML及びバッチ予測の基本的な操作方法を解説させていただきます。 Vertex AI AutoML とは 当記事で行う検証作業 検証作業内容 今回のトレーニングデータについて データの前処理 作業の主な流れ 対象となるデータをデータセットに登録する データセットを指定してAutoMLの学習処理を実行する 推論手法 バッチ予測 推論データの結果確認 まとめ Vertex AI A…

コンピュータ関連書籍といえばオライリー。例えば新しい言語などを学ぼうかと思いついたときにまずはオライリーから出版されている書籍探してみたりする。 そんなオライリーから出版されている書籍をちょっと切り口を変えてAmazonの評価から、名著を探してみる。単純に思いつくのが、アマゾン評価がいいものは間違いないだろうと、アマゾンからの購入時の普通の購買行動。アマゾンの評価計算も下記と通りにレビュワーの単純平均ではないと記載があり、アマゾンが正しく評価してみる、、、 評価はどのように計算されますか? 全体的な星の評価と星ごとの割合の内訳を計算するために、単純な平均は使用されません。その代わり、レビューの…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,681件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …

はじめに — 機械学習帳 こっちの方が良いかも 深層学習 · 深層学習 より直接的。 ーーー こういうの見てると、理数系は教科書もオープンソース的になっていく気がする。疑問点をコメントすれば偉い人が注釈入れてくれる・・・みたいな。そういう事業はあるけど、いつか無料になりそう。 共産主義が好きな人って若年層とピーターパンだけだと思っていたが、意外とシナジーあるよね。唯一上手く行ってるんじゃない。 ーーー データベースでデッドロックってあるじゃん。 あれでピンときたんだが、利用者一人ならパンダスと変わりないよね。メモリに～みたいなのはよく分からんかった。 ーーー LS、なんでtanh使うのか微妙に…

興味のある新刊書籍を羅列してます。

実に9ヶ月ぶりくらいのいつものフォーマット記事。すごい色々あったけど全部忘れた。だいぶコンテンツ消費にかける時間や意欲が薄まっていた。とはいえ、この9ヶ月間の間もそれなりに消費はしていた。記録に残してはないので記憶にあるぶんしか覚えてないけど。そういう過去には振り返らず、あくまで今月分だけで書く 映画 Da 5 Bloods Minding the Gap 100日間生きたワニ 配信 Sanrio Virtual Festival 2023 他 ChatGPT

はじめに こんにちは。 データ戦略室では、「レバレジーズ全社のデータ活用水準を底上げし、データが事業の競争優位性を生み出す状態を作り出す」というミッションの元、データを取得するところからデータ活用のビジネス接続まで、それぞれが専門性を活かして日々業務を行っています。今回の記事では、昨年1年を振り返ってどういった仕事をしてきたのか、今後どういったことに取り組んでいくのかということを各グループのリーダーに記載していただきました。今回の記事を通して、データ戦略室の雰囲気や会社に対して担っている役割が少しでも伝われば幸いです。 データ戦略室全体について 昨年は正社員で中途・新卒合わせて5人の方に入社し…

人工知能とは、機械が人間のように考えて行動するようにプログラミングすることで、人間の知性を機械に刺激することを意味します。また、問題解決のような人間の脳のような動作を実行できる機械も指します。特定の目標を達成するためのアクションを合理化し、実行できる必要があります。これには、機械学習が含まれます。これにより、コンピューター プログラムは、人間の介入なしに、変化するデータを自動的に学習して適応します。ディープ ラーニングにより、これらの機械は画像、テキスト、ビデオなどのデータを吸収して自動的に学習できます。人工知能の種類人工知能は弱いものに分けられますそして強い知性。知能が弱いシステムは、一度に…

年が明け、あっという間に１月も過ぎ去ろうとしていますが、2023年もよろしくお願いいたします！ 今年もピクスタグループの新スローガンをお届けします。スローガン発表も、オンラインでの配信がすっかり定着してきました。 先日の納会同様、今回もコメントスクリーンを活用。メンバーからのコメントはリアルタイムで画面に反映され、それぞれの反応を楽しむことができました。

データ基盤グループ兼TechBlog編集担当の吉本です。 MonotaROでは2021年よりTechBlogでのアウトプットを積極的に行っており、今年が3年目になります。 そこで本記事では昨年に投稿したブログの振り返りと、特に読まれた記事について振り返ります！ ブログ振り返り 特に読まれた記事 SRE導入: システムを安定させる4000万円の魔法の壺 全社員からデータ基盤への問い合わせが殺到して2人では捌けなくなったので仕組みで解決する話〜datatech-jp Casual Talks #2 登壇後記〜 一般企業であまり前例がない「認証VLAN」を導入した、その後の学び 66分かかる同期処理…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,681件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …