コンピュータに対し、データを元に役立つ規則などを発見させる(すなわち学習する)こと。およびその方法。
ニューラルネットワークから歴史は始まり近年は確率統計の観点から研究されることが多い。 統計の観点から見た場合、与えられたデータに対してモデルを当てはめているだけである。 モデルが複雑である点で従来の統計学と異なっている。
以下、有名な確率モデル
この記事について バックグラウンド 本業はTypeScriptを主に書いているWebエンジニアで社会人5年目。副業ではデータサイエンティスト/機械学習エンジニアをやっていてこちらも5年目。 この記事を書いた理由 最近読んだ「科学的根拠に基づく最高の勉強法」という本の中に、「思い出す頻度が高ければ高いほど定着する」という話があった。 なので、読んだ本の内容を思い出し定着させるきっかけとするためにこの記事を書いている。 科学的根拠に基づく最高の勉強法作者:安川 康介KADOKAWAAmazon 紹介する本のラインナップについて 統計や機械学習の理論をガチガチにするのは難しいと判断して、理論寄りの書…
前回の記事で、「安全は創発性であり、創発性は要素の知識からは演繹されえない」、「演繹できないような問題に対するエンジニアリングは難しい」ということを書いた。 それを書きながら、AI(機械学習)のことを連想した。 機械学習の品質確認の難しさ 機械学習を「帰納的プログラミング」、従来のプログラム開発を「演繹的プログラミング」とする対比がよくされる。 「機械学習工学に向けて」(丸山宏, 日本ソフトウェア科学会第34回大会)では、摂氏を華氏に変換するプログラムを例にとり、以下のような分かりやすい対比を示している。 演繹的プログラミング: "F = 1.8 x C + 32" という変換式(先験的知識)…
はじめに 初めまして、ecbeingのふっきーです。 配属当初よりマイクロサービス開発統括部のAiReco(アイレコ、旧:LightningRecommend)チームに所属しており、4月で3年目となりました。 AiRecoとは、ecbeingが提供するレコメンドツールです。 サービス名称にもついているようにAiRecoではAIを活用しており、AIがお客様に合う最適な商品を提案してくれます! 今回はそんなAiRecoのご紹介と、レコメンドの仕組みを簡単に説明したいと思います。 目次 はじめに 目次 ECサイトにおけるレコメンドとは AiRecoについて レコメンドタイプ オプション 仕組み デー…
Hugging Faceの数学モデルを使おうとしたら以下のエラーに見舞われました。OSError: open-math-mistral is not a local folder and is not a valid model identifier listed on 'https://huggingface.co/models' If this is a private repository, make sure to pass a token having permission to this repo either by logging in with `huggingface-cli…
初めに 本エントリーでは、カルマンフィルターの入門として1次元のカルマンフィルタ、即ち状態量が1つのみの場合をまとめてみたいと思います。別エントリーで、一般の任意の数の状態量を持つカルマンフィルターについても説明しようと思いますが、式の意味を理解する上で行列の知識が必要になるのでまずは単純な一次式でモデルが表される1次元の場合でカルマンフィルターについての考え方について整理します。 前提知識として条件付き確率分布についての知識が必要となるので、その辺りこちらのエントリーにも記載しているので理解して貰ってから読んで頂けるとよいかと思います。 biocv.hateblo.jp カルマンフィルターの…
機械学習とは 機械学習とは、人間が知識を教えるのではなく、コンピュータにたくさんのデータを与えてコンピュータ自身が学習する方法です。 コンピュータが学習する方法は、3つあります。 ①教師あり学習 「問題」と「答え」のペアを大量に与えて、特徴を学習させる方法 コンピュータが問題と答えのデータ(教師データ)のペアを大量に見て、特徴を学習することで、「どのような問題は、どのような答えか」を把握できるようになる。 そのため、新しいデータを与えた時、その特徴からそれが何なのかを答えることができる。 文字認識・音声認識・翻訳 などで使われる。 教師データ・・・問題に対する答えのデータのこと。(教師代わりの…
AIの予想結果 今回の自作AIシステムの予想は このようになりました! HOMEAWAY予想102 京都新潟237.1%23.1%39.8% 鳥栖鹿島229.5%29.1%41.4% 札幌広島231.5%20.7%47.8% 湘南神戸232.7%28.7%38.6% 浦和G大阪141.8%31.5%26.7% 福岡磐田227.9%33.9%38.2% 川崎F東京V235.5%19.5%45.0% FC東京町田233.5%21.1%45.4% 名古屋C大阪224.3%20.7%55.0% 山形愛媛230.3%29.1%40.6% 岡山熊本029.5%36.3%34.3% 清水仙台150.6%23…
目次 目次 はじめに 口コミ投稿画像のカテゴライズ業務について なぜ自動化することにしたのか? どのように自動化を実現したのか? 1. 画像をカテゴライズできる機械学習モデルを実現した方法 1-1. CLIPについて 1-2. 口コミ投稿画像のカテゴライズ業務にCLIPを利用する方法 2. 食べログのシステムに機械学習モデルを組み込んだ方法 2-1. 今回の施策で開発したシステムの概要 2-2. 機械学習モデルを組み込む際の運用設計 2-2-1. 自動でのカテゴライズ精度が低いカテゴリへの対応 2-2-2. システム障害時の対応 一部自動化を実現した結果、どうなったか? はじめに こんにちは。…
頑張っていた自然言語コンペを断念しました。。 以下反省点3つとその対策を書いていきたいと思います。コンペ初心者は参考にしてくださればこの失敗も浮かばれます。 トランスフォーマーが不慣れでエラー出まくった 最初は本を読んでやっていたんですが、完全初見が実装やるには時間がかかる印象でした。理論背景を押さえるためなら良い本でしたが。機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発作者:Lewis Tunstall,Leandro von Werra,Thomas WolfオライリージャパンAmazonそこで途中でチュートリアルを見つけたので、メイン…
リッジ回帰(Ridge Regression)とは リッジ回帰で値を予測するPythonの実装 コードの解説 1. 使用するライブラリのインポート 2. 仮データの準備 3. データの分割: 4. リッジ回帰モデルの作成と学習 5. モデルの評価 リッジ回帰の利用が向いている領域 1. 金融分野 2. 医療分野 3. マーケティング分野 4. 気象予測 5. エネルギー分野 まとめ リッジ回帰(Ridge Regression)とは リッジ回帰は、線形回帰の一種であり、特に多重共線性(複数の説明変数が強く相関している場合)があるデータセットに対して有効です。例えば、家の価格を予測するときに、部…
大画面の液晶テレビを買いたいがどれを買ったらよいのか?Panasonic(パナソニック)のVIERA(ビエラ)とSONY(ソニー)のBRAVIA(ブラビア)、TOSHIBA(東芝)のREGZA(レグザ)を比較しながらテレビ選びのポイントを解説! 更新:2024年04月26日 更新情報: 4月25日時点の家電量販店価格と価格の推移を更新しました。(2024年4月26日) 3月18日時点の家電量販店価格と価格の推移を更新しました。(2024年3月23日) 2月5日時点の家電量販店価格と価格の推移を更新しました。(2024年2月12日) 1月2日時点の家電量販店価格と価格の推移を更新しました。(20…
ChatGPTをはじめとする、AIチャット。この背景にあるのがLLMで、日本語では、大規模言語モデルと呼ばれています。どのような仕組みで、テキストの意味を理解して、テキストを生成しているのか。LLMに関する用語を中心に解説します。 LLMとNLP(自然言語処理)の関係 人間が使う言語をコンピュータに理解させるための技術として「NLP(自然言語処理)」があります。 たとえば、日本語や英語などで書かれた文章が与えられたとき、その質問に答えたり、翻訳したり、要約したりすることが該当します。これらの処理をするためには、与えられた文章の文法的な構文を把握しなければなりません。 英語であれば、スペースで区…
要約いまさらロジスティック回帰?と思うかもしれないが, もう火鍋の話はしない. 昔書いたやつを読み返したら中途半端だったので改めて(2値)ロジスティック回帰のいくつもある表現について書きたくなった. 昔書いたやつというのは以下のことである.ill-identified.hatenablog.com 今度は以下の4種類に触れる. 最初の2つは前回の記述を推敲しただけでほとんど同じである. 経済学でよく使われるロジットモデルの潜在変数モデルによる表現 一般化線形モデル (GLM) の特殊形としてのロジスティック回帰 機械学習の分類タスクとしてのロジスティック回帰 (分類) モデル 事後確率で見たロ…
タイトル:「未来を拓く10の革新的なガジェット」 --- 近年、テクノロジーの進化は目覚ましいものがあります。さまざまな分野で革新的なガジェットが登場し、私たちの生活をより便利で楽しいものにしています。ここでは、未来を拓く10の革新的なガジェットを紹介します。 1. **リアルタイム言語翻訳デバイス** この小型デバイスは、さまざまな言語をリアルタイムで翻訳し、会話の壁を取り除きます。旅行者や国際ビジネスの人々にとって革命的なツールとなっています。 2. **ハイパフォーマンススマートウォッチ** 従来のスマートウォッチよりも優れたパフォーマンスと機能を備え、健康管理や通知、アクティビティ追跡…
Googleが公開した、MLOps実践のためのホワイトペーパー GoogleがMLOps実践のためのホワイトペーパーを公開しています。 Practitioners Guide to Machine Learning Operations (MLOps) 2021年5月に公開されたものですが、2024年現在に読んでも色褪せない内容だったので、各章の要点をまとめました。 TL;DR Googleが2021年5月に公開したMLOpsの実践のためのホワイトペーパー MLOpsライフサイクルの全体像・コア機能を解説 コア機能: 実験、データ処理、モデル学習、モデル評価、モデルサービング、オンライン実験、…
記事の内容 この記事では、人工知能や認知科学に関するおすすめ本を紹介します。 読み物的な入門書から理論系の本まで、できるだけ幅広く紹介したいです。 色々なテーマの本を読んでいますが、人工知能は理論的にも、実社会的にも、とても面白い話題ですよね。今後も目が離せません。 それでは、目次をどうぞ。 記事の内容 人工知能と認知科学について 認知科学 心と脳 認知科学入門 安西祐一郎 教養としての認知科学 鈴木宏昭 類似と思考 鈴木宏昭 認知科学への招待 大津由紀夫 コミュニケーションの認知科学1 言語と身体性 認知科学への招待 苫米地英人 知能の物語 中島秀之 認知科学講座4 心をとらえるフレームワー…
グラフニューラルネットワーク (機械学習プロフェッショナルシリーズ)作者:佐藤 竜馬講談社Amazon 講談社より『グラフニューラルネットワーク(機械学習プロフェッショナルシリーズ)』を上梓しました。 グラフニューラルネットワークはグラフデータのためのニューラルネットワークです。化合物やソーシャルネットワークのようなグラフデータの解析に使うことができます。また後で述べるように、テキストも画像もグラフなのでテキストや画像の分析にも使えますし、それらを組み合わせたマルチモーダルなデータにも適用できます。要は何にでも使うことができます。この汎用性がグラフニューラルネットワークの大きな強みです。 本稿…
データサイエンティストの役割に関する記述として,最も適切なものはどれか。 機械学習や統計などの手法を用いてビッグデータを解析することによって,ビジネスに活用するための新たな知見を獲得する。 企業が保有する膨大なデータを高速に検索できるように,パフォーマンスの高いデータベースを運用するためのシステム基盤を構築する。 企業における情報システムに関するリスクを評価するために,現場でのデータの取扱いや管理についての実態を調査する。 企業や組織における安全な情報システムの企画,設計,開発,運用を,サイバーセキュリティに関する専門的な知識や技能を活用して支援する。 解答・解説 (adsbygoogle =…
システムエンジニアを目指す未経験者にとって、最初の一歩を踏み出すのは勇気がいるかもしれませんが、正しい方法と情報を手にすれば、その道のりは明るく輝いて見えてくるでしょう。 今回は、未経験からシステムエンジニアを目指すためのステップを具体的にご紹介します。これからの記事を通じて、エンジニア転職の成功ポイントや勉強法、キャリアパスやプログラミング言語の選び方など、将来を見据えた準備ができるようになるでしょう。 さあ、一緒に未経験からシステムエンジニアとしての夢を叶えるための第一歩を踏み出してみましょう。 1.1-1.未経験からシステムエンジニアを目指すには何から始めるべきか 新たなキャリアを目指す…
はじめに こんにちは、KMC4回生のsegreです。最近は部内のサービスを破壊することにハマっています。今回は部内の主要サーバの破壊と創造を行ったので事の顛末を紹介します。 マシンの紹介 KMCには主に4台のデスクトップPC内でLinuxサーバを動かしています。4台をさくっと紹介します。 デスクトップPCはすべてサーバーラックに収められています。 rack shourin 最下段の左にあるのがshourinというマシンです。2022年に導入されたミドルレンジPCです。主に実験用/初心者用という位置づけになっています。 nozomi 最下段の右にあるのがnozomiです。2021年に導入された、…
RPAが適用できる業務として,最も適切なものはどれか。 ゲームソフトのベンダーが,ゲームソフトのプログラムを自動で改善する業務 従業員の交通費精算で,交通機関利用区間情報と領収書データから精算伝票を作成する業務 食品加工工場で,産業用ロボットを用いて冷凍食品を自動で製造する業務 通信販売業で,膨大な顧客の購買データから顧客の購買行動に関する新たな法則を見つける業務 解答・解説 (adsbygoogle = window.adsbygoogle || []).push({}); 解答 イ 解説 RPA(Robotic Process Automation)は、ソフトウェアロボットまたは仮想知的労…
ゲームプログラマーとしてのキャリアを成功させるためには、ポートフォリオ作成が極めて重要です。プロジェクトへの参加や就職活動において、自身のスキルや経験をアピールするための貴重なツールとなります。 しかし、ポートフォリオの作成においては、どのようなポイントに注意すべきか、どのような言語や技術を取り入れるべきか、さらには最新のトレンドや事例を把握する必要があります。 本記事では、ゲームプログラマーのためのポートフォリオ作成の秘訣をまとめました。ここからは、そのポイントを一つ一つ詳しく掘り下げていきます。是非、ポートフォリオ作成を成功させるための有益な情報を得て、自身のキャリアをさらに飛躍させましょ…
こんにちは! 技術部機械学習グループの山口 (@altescy) です。 先月、神戸にて開催された言語処理学会第30回年次大会 (NLP2024)に同じく機械学習グループの深澤 (@fufufukakaka)と共に参加してきました。 昨年に引き続き今年も過去最多の参加者数となり、言語処理研究の盛り上がりを実感しました。 特に去年の年次大会 (NLP2023) のタイミングで GPT-4 が発表されて以降、自然言語処理の研究は大きな転換期を迎えていると感じます。 大規模言語モデル (LLM) が研究の主流となる中、どんな課題や発見があるのか、期待をもって参加する大会となりました。 この記事では …
マーケティングオートメーション(MA)に関する記述として,最も適切なものはどれか。 企業内に蓄積された大量のデータを分析して,事業戦略などに有効活用する。 小売業やサービス業において,販売した商品単位の情報の収集・蓄積及び分析を行う。 これまで人間が手作業で行っていた定型業務を,AIや機械学習などを取り入れたソフトウェアのロボットが代行することによって自動化や効率化を図る。 見込み顧客の抽出,獲得,育成などの営業活動を効率化する。 解答・解説 (adsbygoogle = window.adsbygoogle || []).push({}); 解答 エ 解説 マーケティングオートメーション(M…
エンジニア職向け夏インターンシップ「PIXIV SUMMER BOOT CAMP 2024」6月より募集開始します。 ピクシブ株式会社は「創作活動を、もっと楽しくする。」というミッションのもと、「pixiv」をはじめ、現在20以上のサービス開発を進めています。 「PIXIV SUMMER BOOT CAMP 2024」では、大きく分けて4つのコース(全18コース)を用意しています。本番環境のAPIを叩き、レビューをうけながら、実際に普段から社員が行っている業務にチャレンジすることができます。 募集を開始いたしましたら、改めて告知します。みなさんのご応募をお待ちしております! 開催日程 下記いず…