seaborn

Pythonでデータ分析を行う際には、データを視覚的に表現することが非常に重要です。Seabornは、Pythonで使用できるデータ可視化ライブラリの一つであり、美しく直感的なグラフィカルな表現を提供することで知られています。本記事では、Seabornを使用してデータを可視化する方法について説明します。 Seabornの導入 Seabornは、Anacondaやpipを使ってインストールできます。以下のコマンドを実行することで、Seabornをインストールできます。 pip install seaborn また、Anacondaを導入している場合は下記のように導入できます。 conda ins…

公式ドキュメント 関数の使い方 https://seaborn.pydata.org/generated/seaborn.load_dataset.html 備わっているデータセット一覧 https://github.com/mwaskom/seaborn-data コード import pandas as pd import seaborn as sns df = sns.load_dataset('titanic') df.head()

さて、本日は相関分析に使うデータを散布図で可視化してみようと思います。前回エントリーでは相関係数の計算を行いました。今回は相関係数算出に使ったデータを散布図で可視化してみようと思います。 散布図とは 散布図は、横軸と縦軸にそれぞれ別の量をとり、データが当てはまるところに点を打って示す（「プロットする」といいます。）グラフです。2つの量に関係があるかどうかをみるのに非常に便利なグラフです。（出典：なるほど統計学園） 使用するデータ 前回エントリーと同じく、以下のエントリーで収集した SUUMO の中古物件情報を使います。 www.gis-py.com 相関関係を分析する属性 SUUMO の中古物…

これまでは解析したデータのグラフ作成について、Pyhton ライブラリーのmatpoltlibを用いて行ってきました。より綺麗にまたっ複雑なグラフの作成、描画が可能なライブラリーとして、seaborn がよく知られています。今回はseaborn ライブラリーを利用した描画結果について簡単に紹介したいと思います。seaborn ライブラリーについては、デフォルトでは入っていないことが多いですが、pip コマンド等でインストール可能です。インストール後、以前に紹介した各種ライブラリーのインストールのコマンドにseaborn の記述を加える（import の一番下の行）ことでseaborn のライブ…

ライブラリ「Matplotlib」について学んだことをメモします。 Matplotlib（マットプロットリブ） 似てるけど違うseaborn（シーボーン） グラフを描く基本的な手順 レイアウトの設定 折れ線グラフ 直線グラフ 棒グラフ ヒストグラム 散布図 散布図行列 箱ひげ図 ヒートマップ / クラスターマップ 画像や2次元配列の表示 Matplotlib（マットプロットリブ） データの可視化（グラフ化）ができるコードを揃えたライブラリ。Matplotlibで出力できるグラフ例： ・折れ線グラフ ・棒グラフ ・ヒストグラム ・散布図 ・散布図行列 ・ヒートマップ ・クラスターマップ ・箱ひげ…

今回の記事では、散布図とその近似曲線及び領域を描画する。 まず、下記のようなdfを作成する。 df_tot seabornのregplotを用いると、簡単に回帰直線を描ける。 import seaborn as sns plt.figure(figsize=(15, 10)) sns.set(font_scale=1.5) ax = sns.regplot(x='year', y='total', data=df_tot, color='green', marker='+', scatter_kws={'s': 200}) ax.set(xlabel='Year', ylabel='Total…

前回はテキストの品詞分解を試してみました。動詞には時制があり、形容詞や副詞には比較級があり、と分類すると、品詞のタグが英文の場合、36 にも上ることは、ある意味当然なのかもしれません。しかし、辞書で単語を調べる時のように、各単語をその基本形に帰着させ、基本形の使用頻度を見ることが出来れば、そのテキストの語彙の傾向が抽出できるのではないか、と期待したのですが…。 目次 １．動詞の基本形化 １．１ 基本形化の機能 WordNetLemmatizer １．２ Lemmatize された動詞の品詞タグの変化 １．３ Lemmatize された動詞の中身 ２．まとめと所感 １．動詞の基本形化 基本形化す…

Python学習法：おすすめ書籍と効率的な学習方法 Pythonは、初心者にも扱いやすく、また非常に強力なプログラミング言語です。そのシンプルな構文と豊富なライブラリが特徴で、データサイエンス、Web開発、AI、機械学習など、さまざまな分野で使用されています。この記事では、Pythonを効率的に学ぶための方法と、おすすめの書籍を紹介します。 1. Pythonの基本を学ぶための書籍 『Pythonスタートブック』(著: 辻真吾) おすすめ理由: この本は、Pythonの基本から始めて、実際に動作するコードを多く書くことで、確実に基礎を固めることができます。初心者向けに優しく解説されており、ステ…

データサイエンスの学習で、統計学や数学の勉強を後回しにしたのは、参考にした方からの助言がきっかけでした。「まずはデータサイエンス全体の流れを体験し、その後で必要に応じて学ぶのがおすすめ」というアドバイスを受けたからです。 現在はPythonを使ってデータサイエンスの概要を一通り体験し、実務での活用を始めています。その中で、matplotlibやseabornといったツールを使ってグラフを作成する機会が増え、正しいグラフの読み取り方を学びたいと感じています。 また、学習中には専門用語が分からず、そのたびに調べることも多く、一度しっかりまとめて勉強したいと思うようになりました。 このページでは、中…

はじめに セミパラメトリックロジスティック回帰モデルの理論と応用 セミパラメトリックロジスティック回帰モデルの基礎理論 セミパラメトリックロジスティック回帰モデルの推定と解釈 GAMのロジスティック回帰モデルへの発展 GAMのロジスティック回帰モデル実装 最後に はじめに これまで、階層ロジスティック回帰モデルやロジスティック回帰モデル、ベイジアンロジスティック回帰モデルなどを記事で扱ってきたので、今回はセミパラメトリックロジスティック回帰モデルを扱っていきたいと思います。 セミパラメトリックロジスティック回帰モデルの理論と応用 まず、セミパラメトリックロジスティック回帰モデルの基本的な理論に…

概要 時系列データ分析の練習です。 年末Foundation model for timeseries なるものを知って調べてる最中ですが、とりあえず手を動かしてみないと思ったので、いろいろ比較検討します。 データ 使うデータは時系列データといえばの、Airline passengersです。 下はKaggleのHPですが、いろんなパッケージに入ってます（seabornとか）。 Air Passengers | Kaggle ARIMA 時系列といえば、ARIMAです。 トレンドや季節項を分けて考えるので、説明性が高くわかりやすいです。 実装例はたくさんあるので、省略します。 Air Pass…

ギークな技術者の皆様、こんにちは。メリークリスマス。 リモートワークで運動不足を感じているため、VTuberのリングフィットアドベンチャーのプレイ動画を見て気を紛らわしています、VPoEの河合(@vaaaaanquish)です。 本記事はエムスリーアドベントカレンダー2024の最終日の記事にあたります。 エムスリーアドベントカレンダーには今年もギークな記事が揃っていますので、年末年始の技術研鑽のお供に是非どうぞ。 qiita.com はじめに ノベルティの下準備 digits plot wordcloud おわりに We are hiring !! エンジニア採用ページはこちら カジュアル面談…

はじめに この記事は会計系 Advent Calendar 2024 18日目の記事として投稿させていただいています。 「Pythonで会計データの分析をやってみたいけど簡単に使えるデータがない」そんなニーズにお応えして、オープンデータの有価証券報告書の提出データを分析してみます。 しかし、このデータはXBRLと呼ばれる構造化ドキュメントです。XBRLは、その構造が大変複雑で扱いづらい点と、データが散らばっている点で分析が困難です。 そこで、XBRLの複雑な部分をまるっと隠して必要な情報だけ抽出するラッパーをつくりました。 とりあえず、pythonライブラリのpandasで扱えるテーブルにして…

TwitterのDMで３名からご相談していただきました。 Slicerの画面が途中で止まるというものです。 どんなエラーが起きる？ どうやらDentalSegmentatorで使っているacvl_utilsというモジュールのインストール時にエラーが起こるようになっているようです github.com discourse.slicer.org 対策としてはacvl_utilsのバージョンを指定してインストールすることになります。 対策 Python Consoleの表示 まずslicerを起動して、右上にある python consoleボタン こちらをクリックします。 すると、画面下の方に p…

はじめに Pythonによるベイズモデルの実装をきちんと学ぼうと思い，森賀新・木田悠歩・須山敦志 著 「Pythonではじめるベイズ機械学習入門」を読むことにした。本記事は，第4章「潜在変数モデル」のうち隠れマルコフモデルに関する読書メモである。 本書の紹介ページ www.kspub.co.jp 目次 はじめに 目次 4.4 隠れマルコフモデル 4.4.1 モデル概要 4.4.2 実装 パッケージのインポート データの準備 MCMCによる事後分布のサンプリング 潜在変数の推論 まとめと感想 参考サイト 4.4 隠れマルコフモデル 隠れマルコフモデル(Hidden Markov Model)は，…

はじめに 対象者 内容 Github Copilotとは GitHub Copilotの特徴 「カリフォルニア住宅価格データセット」を使った回帰分析 カリフォルニア住宅価格データセット 問題設定 データの読み込み 基礎集計 モデリング~簡易精度評価 使用したプロンプトとコード まとめ はじめに この記事は2024年ドコモアドベントカレンダー17日目の記事になります。 みなさんこんにちは、NTTドコモ クロステック開発部の島崎正太です。普段の業務では、位置情報データを用いた分析や機械学習モデルの開発を担当しています。 ドコモの研究・開発業務では自分で手を動かしてコーディングすることが多いのですが…

はじめてデータ分析コンペに参加している。 今回はコンペの締切日が短いので、参加して簡単な分析とsubmitすることを目的とする。 しかし、分析の進め方がわかっていない。 統計の基礎やコーディングについて少しわかっているところから、データ分析ができるすための橋渡しになるスキルやステップがわからない。 いくつか本を読んでみたものの、ピンと来るものがなかったため、ChatGPTに聴いてみた。 以下、ChatGPTの回答： ------------------------------------------------ EDA（探索的データ分析）は、データセットを理解し、特徴や問題点を把握する重要なス…

はじめに 多重代入法の理論 多重代入法の発展理論 Joint Modeling（JM） Joint Modeling（JM）実装と検証 Fully Conditional Specification（FCS） FCSの実装と検証 MCMCアプローチ MCMCアプローチの実装と検証 IterativeImputerの理論 IterativeImputerの実装と検証 余談：欠損率の多い場合の結果と考察 最後に はじめに 前回の記事で、IPWと多重代入法を用いた傾向スコアマッチングに関する記事を扱いました。IPWに関しては、各欠損変数の欠損確率の積の逆数によって、補正をかけるという発想自体はなじみ…

はじめに 時系列におけるGAM GAM実装してみた（検証） 広告効果の文脈に焦点を当てて これまでの話をGAMで実装してみる MMMとの比較 最後に はじめに 最近GAMを用いて時系列モデリングをしたので、その経験を基に理論的な解説をしていきたいと思います。時系列分析において、一般化加法モデル（GAM）は非常に柔軟で解釈しやすいモデルとして注目されています。特に、広告効果の分析という文脈では、非線形な効果や時間的な依存関係を自然な形で組み込めるという利点があります。 前提として、今回のMMM亜種の実装は見る人が見たら結構突っ込まれそうな内容になっている気がします。 時系列におけるGAM 時系列…