scikit-learn

サマリ sklearn.tree.DecisionTreeClassifierは最初に木を成長させてから、枝刈りをするという手順で決定木を作成する。 木を成長させるときは、不純度が小さくなるような頂点を新たに生成することによって行う。 枝刈りは、「最弱リンク枝刈り」という手法を用いて行う。sklearn.tree.DecisionTreeClassifierのccp_alphaはこの手法に関連したパラメータである。 ccp_alphaの値が小さい場合、出力される決定木は大きくなり、ccp_alphaの値が大きい場合、出力される決定木は小さくなる。 sklearn.tree.DecisionTr…

Pythonで機械学習を学ぶ場合、Scikit-learnは人気のあるライブラリの一つです。Scikit-learnは、簡単に使えるAPIと多数のモジュールを提供することで、機械学習における多くの問題に対応できるようになっています。 この記事では、Scikit-learnを使って簡単な分類を行う方法を紹介します。具体的には、Irisデータセットを使用して、花の種類を分類する問題を解決します。 Irisデータセット Irisデータセットは、Scikit-learnに含まれているサンプルデータの一つで、3つの異なる種類のアヤメの花に関する情報が含まれています。各花には、がく片の長さ、がく片の幅、花…

Pythonで機械学習を行うためのツールとして、Scikit-learnがあります。Scikit-learnは、Pythonで機械学習を実装するためのオープンソースライブラリであり、機械学習のアルゴリズム、データ前処理、モデル選択、モデル評価など、機械学習の様々なタスクを行うための機能が備わっています。 この記事では、Scikit-learnを使って簡単な回帰分析を行う方法を説明します。回帰分析は、例えば、広告費と売り上げの関係や、身長と体重の関係などを解析するのに使われます。また、回帰分析は、分析結果をもとに、被説明変数に影響を与える要因を特定することができます。まずは、Scikit-lea…

自分は少し(だいぶ)ADHD傾向なので、いろんなことに注意がいってしまう。 プログラミングにおいてもそうで、まだ何も自信を持ってできることはないのに、python以外の言語もやってみたいと思っているし、機械学習もやってみたいし、そのための数学とかも勉強したい。 僕がエンジニアで、仕事でプログラミングをやらないといけない場合は器用貧乏になるのは目に見えているのでやらないが、趣味なのでやる。 というわけで東京大学卒、絶賛プログラマー中の友人に高校3年生で数学が止まっている僕におすすめの本を聞いた。 でおすすめ頂いたのがこれ。「人工知能プログラミングのための数学がわかる本」 確かに初心者に優しく、高…

はじめに scikit-learn で数値・カテゴリ・テキストのカラムが混在する表データをうまいこと扱える前処理パイプラインの作り方を紹介します。 scikit-learn にはデータの前処理パイプラインを組むのに有用なクラスが色々備わっているにも関わらず、知名度が微妙だなと感じたことが紹介のモチベーションです。 本記事に登場するコードは Google colab のこちらの Notebook で動作確認しました。 前処理対象のデータ 飲食店のレビューデータをイメージした表形式のデータです。 味 接客 価格 性別 コメント 普通 悪い 4381 女 nan 美味 最高 nan 女 nan 美味…

前回の記事で、中古不動産価格の予測モデルとして、lightGBMの利用とそのハイパーパラメーター最適化の事例について紹介しました。モデルとして比較的良い評価が得られてきていましたので、得られたモデルを用いて価格予測のコードを作成することにしました。今回はそのための作成したモデルの保存について紹介したいと思います。 コード1 ライブラリーの読み込み まずはライブラリーの読み込みですが、モデルの保存用にjoblibとpickle のライブラリーを読み込んでいます。モデルの保存ですが下記の記事を参考にさせていただきました。 pickle と joblib で 機械学習モデルを保存＆読み込む（Pyth…

スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); Jetson Xavier NXでdeeplearningに必要な環境を構築する際の備忘録です ngcのdocker image「l4t-ml」を使います l4t-mlをいれるとdeep learningに使うモジュール一式がそろった環境をつくることができます (TensorFlow, PyTorch, scikit-learn, scipy, Pandasなどなど contents contents 環境 環境構築手順 関連記事 参考 感想 スポンサーリンク (adsbyg…

更新日時 2023/09/28/07:07 Qiita Trends Daily 1位 ※前日9位 serverless,Serverlessdevs Qiita Trends Daily 2位 ※前日3位 Python,GitHub,コードリーディング,OSS,ChatGPT Qiita Trends Daily 3位 ※前日1位 Android,iOS,初心者向け,アプリ開発,Flutter Qiita Trends Daily 4位 [New] Twitter,SNS,misskey Qiita Trends Daily 5位 [New] ポエム,転職活動,ポートフォリオ,未経験エンジニ…

「さはら３」です。 AI副業でどこまでいけるのか？をテーマに頑張っていきたいと思います。 今回は、ChatGPTに教わるPythonの基礎編（環境セットアップ）となります。 ChatGPTへの問いかけ ・Pythonを習得するためにはいくつかの方法があります。 オンラインコース 書籍 チュートリアル 公式ドキュメント プロジェクト ChatGPTへの問いかけ ・もちろん、Pythonを1から学ぶためのステップを以下に示します。 ステップ1: 環境のセットアップ ステップ2: 基本概念 ステップ3: 関数とモジュール ステップ4: 実践プロジェクト ステップ5: 応用 ステップ6: さらなる学習…

Rもたいして使いこなせてないのにPythonの勉強を始めてみました。色々と素晴らしいチュートリアルはありそうですが、目移りしてしまうので公式チュートリアルを拾い読みしていきます。 NumPyが終わって今回からはPandasに入りますが、導入版（Intro to pandas）・簡易版（10 minutes to pandas）は物足りなず、本格版（User guideのIntro to data structures以降）は読みきれなかったので、チートシート（PDF）を中心に読んでいきます。 前回： necostat.hatenablog.jp Pandasライブラリで扱うもの DataFra…

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/01/000000 https://dk521123.hatenablog.com/entry/2023/09/16/151516 の続き。 今回は、Python / Matplotlib （マット・プロット・リブ）で、 折れ線グラフを表示させる 目次 【１】折れ線 例１：Hello world 例２：x/y を指定 例３：複数表示 【２】Tips １）凡例を付ける 【１】折れ線 * plot() を使う https://matplotlib.org/stable/api/_as_gen/…

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/01/000000 の続き。 今回は、Python / Matplotlib （マット・プロット・リブ）で、 棒グラフや積み上げ棒グラフを表示させる 目次 【１】棒グラフ 例１：Hello World 例２：複数の棒グラフを横に並べる 【２】積み上げ棒グラフ 例１：Hello World 【３】Tips １）横向きにしたい ２）グラフタイトルを付ける ３）凡例を付ける ４）X軸・Y軸のラベルを付ける 【１】棒グラフ * bar() を使う https://matplotlib.org/st…

Pythonサンプルを試す Python in Excelには、すぐに試せるサンプルがあります。 「Pythonの導入」から「Pythonサンプルを試す」を選択すると、右側のウインドウに5つのサンプルが表示されます。 いずれも、機械学習を学ぶためのサンプルとして利用されるIrisデータセットを使用しています。 サンプル名 内容 pandas で説明する pandasのdescribe()を使って各列ごとの要約統計量を取得する 散布図を作成する matplotlibを使って散布図を作成する 相関マトリックスを作成する pandasのcorr()を使って相関係数を計算する ペア プロットを作成する…

初めに Python はアプリケーション開発、システム管理ツール、データサイエンスなどさまざまなことに利用されています。本記事では、実際に Python を動かしながら、簡単なデータ分析をしてみます。

import済みライブラリ Python in Excelでは、以下のライブラリがimport済みの状態になっているので、改めて import文を記入せずに使えます。また、ライブラリの省略名も以下のように設定済みになっています。 ライブラリ import文 備考 matplotlib import matplotlib.pyplot as plt グラフ作成 NumPy import numpy as np 科学数値計算 pandas import pandas as pd データ解析 seaborn import seaborn as sns グラフ作成 statsmodels import…

はじめに 論文の概要 応用可能性 −分布クラスタリング− 実験： Clustering Multivariate Gaussian Distributions 実験条件 データセット生成 比較手法 ネットワークアーキテクチャ および 損失関数 評価指標 その他の実験条件 補足：経験分布の構成 実験結果および考察 実験結果 考察 おまけ 埋め込みの可視化 実装 おわりに 参考 はじめに 距離学習および深層距離学習について述べた記事の最後に， では距離関数自体を学習可能にする枠組みは存在するのか？→Yes. とあった．その枠組みに関する論文が，"Deep Divergence Learning" …

目次 はじめに リッジ回帰とは何か リッジ回帰の導出 Pythonでのリッジ回帰実装 まとめ 1. はじめに 本ブログでは、Pythonを用いて線形代数問題に挑戦し、特に「リッジ回帰」を深く探求します。そのため、初等的な線形代数と統計学の知識が必要です。 2. リッジ回帰とは何か リッジ回帰は、線形回帰モデルへ罰則項（ペナルティ）を追加することで過学習（オーバーフィット）を防ぐ手法です。この罰則項は、モデルの重みパラメータ（係数）が大きくなることを抑制します。 3. リッジ回帰の導出 通常の最小二乗法では目標変数yと予測値y_hat間の平方和誤差が最小化されます。しかし、これだけではモデルが訓…

この記事は個人ブログと同じ内容です www.ritolab.com // 時系列分析の基礎を確認しつつ、「データの確認・理解」「定常データへの変換」「モデル構築（ARIMA, SARIMA）」と一連の時系列分析の流れを実施し、時系列データの未来予測を行っていきます。 時系列分析とは 時系列分析は、時間的な順序で取られたデータ（＝時系列データ）の特性やパターンを分析し、過去の振る舞いから将来の振る舞いを予測するための統計的手法です。 時系列データとは 時系列データは、一定の時間間隔（日次、週次、月次など）で観測されたデータポイントから構成されるデータです。 このような時系列データは、経済・株価・…

論文はこれ． proceedings.neurips.cc 多変量ガウス分布の平均と共分散行列の集合が与えられたときに，分布を単位として（＝対応する平均と共分散をペアにして）クラスタリングするアルゴリズムが提案されている． 行列の距離を測るための"Burg matrix divergence"が利用されているのが興味深い．これは行列を対象にしたBregman divergenceに相当する． 実装してみたのがこれ．要progressbar2． A demo script of "Differential Entropic Clustering of Multivariate Gaussians…