教師なし学習

はじめに 大学の研究で機械学習を勉強しているのですが、配られた教科書がめちゃくちゃ難しいので、かみ砕いてまとめます。 はじめに 3種類の機械学習 教師あり学習 強化学習 教師なし学習 クラスタリングと分類の違い 機械学習の用語 訓練データ 訓練 モデル 特徴量 目的変数 損失関数 機械学習システム構築手順 まとめ 3種類の機械学習 教師あり学習 教師なし学習 強化学習 教師あり学習 機械学習において分かりやすい例の一つとしてデータの分類というのがあるので、この分類を用いて説明していきます。 分類というのは、簡単に言えば「A・B・Cで分けるならお前はA、お前はC、お前は…」というようにデータを一…

はじめに 深層学習を用いた異常検知手法では有名なオートエンコーダを使ってプログラミングしたことをまとめます。オートエンコーダによる再構成誤差とLSTMによる予測誤差などとも比較予定です。 追記 LSTMの異常検知記事、書きました 対象データ 今回もこちらの心電図のデータを使わせていただきました。 心電図のデータですので比較的周期性のあるデータですね。では実装していきます。 なお、データに関しては以前異常検知に関するブログでまとめてあるのでご参照ください。 noleff.hatenablog.com プログラム 環境 OS: macOS Catalina numpy: 1.18.5 pandas…

はじめまして。ビッグデータ推進課のshimesaba_oishiです。 映画好きな社会人4年目、現在データ分析のお仕事をしています。 さて、今回は「機械学習」についてお話したいと思います。 １．機械学習について 今日、機械学習はニュースなどでも数多く取り入れられています。 私の業務経験上、主に機械学習の流れは以下と考えています。 コンピュータにデータを読み込ませる。 データからそこに潜む特徴やパターンを見つけ出す。 その結果を元に判断や予測を行う。 例えばコンピュータにイヌかネコか判断させたい場合、すでに答えがあるイヌやネコの画像データをあらかじめ読み込ませ、特徴やパターンを学習させておきます…

昨日は社内でAI勉強会（by 大澤さん）を実施しました。 今回は教師なし学習のクラスタリングがテーマでした。コンテンツ・シナリオ・説明の仕方、どれもとても分かりやすく、終始惹きつけられました。「試しにやってみよう！」のコーナーは商品色分類という身近なものを題材にしていてとても興味深いものでした。発表後のディスカッションタイムは今までにないくらい白熱していましたね！ 来年は外部向けのAIセミナーも開催する予定です。 ビジネス分野での活用例 クラスタリングは、マーケティングの戦略立案・顧客の特性分け・商品のポジショニング分析などに利用されています。 例えば、購買履歴データを分析してお客様のグループ…

教師あり学習とは、機械学習の手法の一つです。以下のような特徴があります。 教師あり学習とは、入力データと正解ラベルが与えられている状況で、機械学習モデルを学習させる手法です。入力データ(特徴量)と正解ラベル(目的変数)の関係性を学習することで、新しい入力データに対して適切な出力を予測することができます。 具体的な例として、画像認識の分野では、画像データ(入力)と、その画像に写っているものの正解ラベル(例えば猫、犬、車など)が用意された学習データセットを使って、モデルを学習させることができます。この学習によって、未知の画像に対して正しい分類ができるようになります。 教師あり学習では、正解ラベルが…

機械学習（Machine Learning）とは、人工知能（AI）の一分野であり、コンピュータが明示的にプログラムされることなく、データから自動的に学習し、タスクを改善していく手法を指します。機械学習システムは、大量のデータを分析し、そこから規則性やパターンを見つけ出し、新しいデータに対して適切な予測や意思決定を行うことができます。 機械学習の主な目的は以下の通りです： 1. 予測：過去のデータから学習し、未知のデータに対して予測を行います。例えば、スパムメールの検出、顧客の購買行動の予測などが含まれます。 2. 分類：データを事前に定義されたカテゴリーに分類します。例えば、画像認識における物…

機械学習とは 機械学習とは、人間が知識を教えるのではなく、コンピュータにたくさんのデータを与えてコンピュータ自身が学習する方法です。 コンピュータが学習する方法は、３つあります。 ①教師あり学習 「問題」と「答え」のペアを大量に与えて、特徴を学習させる方法 コンピュータが問題と答えのデータ（教師データ）のペアを大量に見て、特徴を学習することで、「どのような問題は、どのような答えか」を把握できるようになる。 そのため、新しいデータを与えた時、その特徴からそれが何なのかを答えることができる。 文字認識・音声認識・翻訳 などで使われる。 教師データ・・・問題に対する答えのデータのこと。（教師代わりの…

先日AY2024-Term3を終えて卒業要件単位数を満たすことができました。今はまだ卒業申請中なので「仮」としている。ディプロマを手にするまでは実感が湧かなそうだけれど日に日に記憶が薄れていくので振り返りを。 清々しい気分で見物した今年の牡丹 目次 CS 2204 Communications and Networking CS 2301 Operating Systems 1 CS 3307 Operating Systems 2 CS 4402 Comparative Programming Languages CS 4407 Data Mining and Machine Learnin…

昔、時実利彦氏の「脳の話」という本を読んだ覚えがある。大脳前頭葉の働きの大事さを強調していたと思うが、「パブロフの犬の話」はこの本で知ったような気がする。根が単純なので、ここから入力と出力のブラックボックスの概念に行くのは自然だった。ところが、人間はそんな機械的と同じような脳を持っていないということに気がついて、ウｨーナーの「人間機械論」を読み直してみると、フィードバックという概念が書いてあった。フィードバックはＩＴ でも行っているので、もっと何かがあるはずだと思っていたら、オートポイエーシスという概念を知った。出力が同時に入力にもなるということ。でも、あまりわからなかった。そこからプロジェク…

2024年4月9日に、QYResearchは「教師なし学習―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発表しました。本レポートは、教師なし学習の世界市場について分析し、主な売上、動向、市場規模、主要企業の市場シェアとランキングに焦点を当てています。また、地域別、国別、製品タイプ別、用途別の分析も行っています。教師なし学習の市場規模を2019年から2030年までの売上に基づいて推計と予測しています。定量分析と定性分析の両方を提供することで、企業がビジネス成長戦略を策定し、競争環境を評価し、市場位置を分析し、教師なし学習関連情報に基づいてビジネス上の意…

ポイント ここでのポイントは、ＡＩが学習する能力の人との比較です。 人が勉強（学習）して、それで習得した能力で何かを作り出し、今の文明や技術を構築したんだろうけど、AIも学習し、同じことができるはず。 そのときに、AIの学習能力をどう考えるかだけど、「人」と比較した場合、制約がないというか、どんどん進歩する点に注目したい。 仮に、現在、もし、人よりその能力が劣る、例えば、１０分の１だとしても、それが１００倍になるのに、極端に長い期間は必要ないと思う。 整理すると、学習能力が人より高い（もしくは間もなく高くなる）はずなので、その成果も、人を簡単に超えるのではないか？ AIの学習能力について 比較…

著者：石川 博［いしかわ・ひろし］(1956-) ソーシャル・ビッグデータ、データベース、知能情報学、Web情報学。 Cover Design：小山 巧［こやま・たくみ］ Shiki Design Office 件名：ビッグデータ--データ処理 件名：仮説 NDC：007.609 情報学．情報科学 >> データ処理．情報処理 >> データ管理 仮説のつくりかた - 共立出版 仮説のつくりかた: 多様なデータから新たな発想をつかめ作者:石川 博共立出版Amazon 【目次】 口絵写真（17枚） [/] はじめに（2021年8月 柿生にて 石川博） [iii-iv] 目次 [v-vii] 第1章 …

AI時代を生き抜く1プラグラミング的思考が身につくシリーズAI〈人工知能〉のきほん土屋誠司創元社2020年9月20日 第１版第１刷発行 順番が、逆になっているけれど、５，２，３もよかったので、シリーズ１に立ち返って図書館で借りて読んでみた。 megureca.hatenablog.com そもそも、AI時代を生き抜くシリーズなんだから、やっぱり、AIについて学ばないとね。 表紙をめくると、”第1巻のテーマは、AI〈人工知能〉。その歴史や問題点を踏まえつつ、人工知能がもつ主要なはたらきである「知識」「推論」「探索」「分類」「学習」について学びます。”と。 目次１ AIとその歴史２ 人間とAIの関…

私の積読本のなかでも、最古参で異彩な色を放つ「Python-機械学習プログラミング-第３版」をついに手に取ることができた！！ そこで、勉強したことを、理解を深めるためにもここにまとめていこうと思う。 第１８章くらいまであるので、随時更新していく。 【第一章】 機械学習には大きく３つの種類がある。 ①教師あり学習 ②教師なし学習 ③強化学習 ①教師あり学習 学習データ（訓練データ、教師データ）と呼ばれる、モデルを作成する際に使用するデータが存在する際、有効な機械学習。学習データで予測するものとしては、デフォルト先や粉飾決算先などの０か１の２値分類のものもあれば、～～などの3値以上のものもある。 …

書く書く詐欺 まもなく３月も終わろうとしておりますのに、生成ＡＩについてはのちほど・・・と記したっきり、またまた日にちが経ってしまいました。説明に添える画像を生成し始めたら、もう止まらない。アレヤコレヤからドンドン脱線して、関係ないものをトコトン作って、沼に入り浸っておりました。このままですと書く書く詐欺になってしまいそうなので、いったん生成を断って、ご案内させていただきます と、申しましても、たかだか２か月ほどのキャリアでございます。さらに長文になってしまいましたので、テキトーにお読み飛ばしくださいませ Image Creator まずは、画像生成ＡＩツールからご紹介。ワタクシが利用している…

簡潔にいえば 「私たち人間が送ったキーワードから絵を作成するAI」。 例えば “city”と送ると街の絵を描いてくれます。 さらにそこに“Vincent van Gogh” というワードを追加すれば、 街をゴッホの画風で描いてくれます。 このように 描いて欲しいモチーフや画風を指定すると、 その通りに描いてくれるAIです。 ※多少ズレが生じることはあります。 ↓“city”,“Vincent van Gogh”,“devil” などのキーワードからMidjourneyの作成した絵 タワマン炎上 Midjourneyの描いた絵と 人間の画家が描いた絵を見比べてみましょう。 モネの絵と比較してみま…