教師なし学習

はじめに 大学の研究で機械学習を勉強しているのですが、配られた教科書がめちゃくちゃ難しいので、かみ砕いてまとめます。 はじめに 3種類の機械学習 教師あり学習 強化学習 教師なし学習 クラスタリングと分類の違い 機械学習の用語 訓練データ 訓練 モデル 特徴量 目的変数 損失関数 機械学習システム構築手順 まとめ 3種類の機械学習 教師あり学習 教師なし学習 強化学習 教師あり学習 機械学習において分かりやすい例の一つとしてデータの分類というのがあるので、この分類を用いて説明していきます。 分類というのは、簡単に言えば「A・B・Cで分けるならお前はA、お前はC、お前は…」というようにデータを一…

はじめに 深層学習を用いた異常検知手法では有名なオートエンコーダを使ってプログラミングしたことをまとめます。オートエンコーダによる再構成誤差とLSTMによる予測誤差などとも比較予定です。 追記 LSTMの異常検知記事、書きました 対象データ 今回もこちらの心電図のデータを使わせていただきました。 心電図のデータですので比較的周期性のあるデータですね。では実装していきます。 なお、データに関しては以前異常検知に関するブログでまとめてあるのでご参照ください。 noleff.hatenablog.com プログラム 環境 OS: macOS Catalina numpy: 1.18.5 pandas…

はじめまして。ビッグデータ推進課のshimesaba_oishiです。 映画好きな社会人4年目、現在データ分析のお仕事をしています。 さて、今回は「機械学習」についてお話したいと思います。 １．機械学習について 今日、機械学習はニュースなどでも数多く取り入れられています。 私の業務経験上、主に機械学習の流れは以下と考えています。 コンピュータにデータを読み込ませる。 データからそこに潜む特徴やパターンを見つけ出す。 その結果を元に判断や予測を行う。 例えばコンピュータにイヌかネコか判断させたい場合、すでに答えがあるイヌやネコの画像データをあらかじめ読み込ませ、特徴やパターンを学習させておきます…

昨日は社内でAI勉強会（by 大澤さん）を実施しました。 今回は教師なし学習のクラスタリングがテーマでした。コンテンツ・シナリオ・説明の仕方、どれもとても分かりやすく、終始惹きつけられました。「試しにやってみよう！」のコーナーは商品色分類という身近なものを題材にしていてとても興味深いものでした。発表後のディスカッションタイムは今までにないくらい白熱していましたね！ 来年は外部向けのAIセミナーも開催する予定です。 ビジネス分野での活用例 クラスタリングは、マーケティングの戦略立案・顧客の特性分け・商品のポジショニング分析などに利用されています。 例えば、購買履歴データを分析してお客様のグループ…

LLMの極めて高い表現力やAPI化&OSS化が進んで、昔ながらのNLPシステムにとってはおおよその個別タスクが解かれてしまったように思われているところがある。具体的にNLPシステムの設計や構成要素、役割がどのように変わったのか？さらにこれから変わっていくのだろうか？を、過去のシステムと対比する形で考えてみたい。 NLPモジュールの進化発展: 記号システムと機械学習システム 推論器としてのNLPのシステムの進化発展は、入出力データに対する「意味付け」「仮定」が弱まる方向に進化してきたといえる。人間が行なっている自由度の高い自然言語や対話プロトコルに従ったコミュニケーションを再現しようと、機械が意…

機械学習とは、コンピューターにデータを学習させて、自動的に予測や分類などのタスクを行わせる技術です。機械学習には、大きく分けて教師あり学習、教師なし学習、強化学習の3つの種類があります。それぞれの特徴やメリット・デメリットについて、以下に説明します。目次 1. 教師あり学習とは？ 2. 教師なし学習とは？ 3. 強化学習とは？ 4. まとめ 5. 参考文献 1. 教師あり学習とは？教師あり学習とは、人間が問題と答えのデータを与えて、コンピューターがそのデータを分析し、問題から正しい答えを導き出せるようにパラメータを自動調整するという仕組みです。例えば、画像認識の学習をさせるケースを考えましょう…

初めに G検定、E資格は、日本ディープラーニング協会が実施するディープラーニングに関する検定、資格になります。本記事では、この二つの検定、資格についてまとめます。

231104教師なし・教師あり学習 1. 教師あり学習（Supervised Learning）: 教師あり学習は、機械学習の一種で、ラベル付きデータを使用してモデルを訓練する手法です。ラベル付きデータとは、入力データに対する正しい出力（またはターゲット）が既知のデータのことです。モデルは、これらのデータを使用して、新しい入力データに対して予測を行います。典型的な例は、画像認識やテキスト分類です。モデルは、正しい答えにできるだけ近づけるように訓練されます。 2. 教師なし学習（Unsupervised Learning）: 教師なし学習は、ラベルなしデータを使用してパターンを発見するための機械…

初めまして、デジタルイノベーショングループの橋本です。 2022年に新卒入社し、今年で2年目になります！ アットホームのお部屋探しアプリの開発保守を半年ほど担当したのち、今年の6月からデジタルイノベーショングループに配属され、現在は「不動産情報サイト アットホーム」の反響・再来訪予測モデル開発に取り組んでいます。 さて、皆さんは「予測モデル」と聞いてどういったものか想像がつくでしょうか？ AIについて知識がある方は、「機械学習」や「アルゴリズム」といったワードが思い浮かぶかもしれません。 ですが、私は最初「予測モデルってなにそれ？美味しいの？」といった感じで、知識ゼロの状態からスタートしました…

目次 はじめに Variational Autoencoder（VAE）とは PyTorchとは 実装手順 4.1 必要なライブラリのインポート 4.2 データセットの準備 4.3 VAEモデルの構築 4.4 モデルのトレーニング 4.5 画像の生成 結論 1. はじめに 本ブログでは、PyTorchを使用してVariational Autoencoder（VAE）を活用し、画像生成タスクを実践してみる方法について詳しく説明します。 2. Variational Autoencoder（VAE）とは VAEは生成モデルの一種で、高次元の入力データを低次元の潜在空間にマッピングするエンコーダと、…

k-means法とは k-meansは、教師なし学習の一つで、データをk個のクラスタに分けるアルゴリズムです。データの「重心」や「代表点」を用いて、データ間の類似性に基づいてグループ化します。 機械学習の中での位置付け k-meansは教師なし学習の一部として位置づけられます。教師なし学習は、データにラベルが付与されていない場合に使用される手法で、データの構造やパターンを見つけ出すことを目的としています。 メリット・デメリット メリット シンプルで理解しやすい。 大量のデータにも適用可能。 デメリット クラスタの数kを事前に決定する必要がある。 初期の代表点の選び方が精度に影響する。 クラスタ…

Michikoです。最近、本社でのリスキリングの旗振り役に抜擢されましたw w w w日系金融機関は、ご存知ない方もいるかと思いますが、自己研鑽が大好きなのです(笑)何なら資格をしっかりコレクターするだけでも、そういう点を評価する上司に当たると、出世も見えてきます。Michikoは正直そこまでお勉強が得意ではありません。が、イケメンから勉強を習うのは大好きです(笑) で、最近はデータサイエンスの領域に足を突っ込み始めました。かなりド文系なので、数学からやり直しているのですが、ここ3年ぐらいかけて腰を据えていこうと思っています。その過程を記録していきます。理想は、Pythonで不動産投資にまつわ…

ビジュアルでわかる統計学のキホン 「ビジュアルでわかる統計学のキホン」の内容 「ビジュアルでわかる統計学のキホン」Amazonでの購入はこちら 「ビジュアルでわかる統計学のキホン」楽天市場での購入はこちら ビジュアルでわかる統計学のキホン インプレスグループでデザイン分野のメディア事業を手がけるエムディエヌコーポレーションは、高部勲氏著書による、可能な限り数式を使わずに、その概念・イメージをイラストや図表で示しているので、統計学の基礎的な考え方が理解できる一冊「ビジュアルでわかる統計学のキホン」を発売した。 最近は、統計学よりも広い概念を表す言葉として「データサイエンス」という用語が用いられる…

気になった用語等をまとめる 第1章_人工知能基礎知識 学んだこと 人工知能とは人と同じような知的処理を行うことができる機械のこと 機械学習は人工知能の一つで入力されたデータを元に数値を予測したりすること 機械学習のプロセスは、 ①期待される出力データと学習モデルが計算した結果を比較 ②期待される出力データに近づくように学習モデルを修正 機械学習の問題は分類と回帰に分けられる ①分類はどのデータがどの種類に属するかを見る(=離散値) ②回帰はデータの傾向を見る(=連続値) 深層学習は脳の神経回路を模したニューラルネットワークと呼ばれる学習モデルを用いる 機械学習のこと 機械学習との違いは深層学習…

人生で初めてブログに読者がついでくださいました…ありがとうございます！ （こんなこと、ここに書いていいのかわかりませんが。。） さて、いよいよ「機械学習の具体的手法」が登場します！ これまでAIの概要や歴史、問題点等‥まだ「読めば理解できる」世界でした。 ここからがG検定のジゴク（ド文系にとっては）「読めば寝れる」世界です。 本題に入る前に『何故ド文系にとっては「読めば寝れる」世界なのか？』 これ認識しておくだけで、ちょっと心持ち楽になると思うので、ご一読ください。 AIの『機械学習・深層学習』は数学の世界です。 AIは「何らかのデータ（X）を入力したら、何らかの出力・予測（Y）を得る」です。…

はい、その認識は基本的に正確です。ファインチューニングは、特定のタスクのために教師あり学習を行うプロセスと考えることができます。 以下は、ファインチューニングの特徴やその関連性についての説明です： 事前学習: まず、大量のデータセット（例えば、インターネット上の文章全体）でモデルを訓練します。この段階では、モデルは広範な知識や言語のパターンを学習します。このプロセスは、教師なし学習や半教師あり学習として行われることが一般的です。 ファインチューニング: その後、特定のタスクやデータセットにモデルを適応させるために、追加の訓練（ファインチューニング）を行います。この段階では、タグ付きのデータセッ…