pandas

第一章 序章 1．1 はじめに 近年，機械学習やDeepLearning等のAIの分野の発展に伴ってプログラミング言語の中でもPythonの人気や需要は高まっている. その中でもPythonのフレームワークであるpandasはAI等の学習における説明変数の整形やビックデータ等のデータ分析などで多々使われるツールである. しかし，プログラミング言語等々の初学者やソースコードを書くのに少し慣れてきた者にとっては便利であるがゆえに知識不足や経験不足から遠回りしやすく，データの大きいものを扱いがちな分野であるがゆえに処理速度が著しく低下したり，使用できるメモリを使い果たしてしまうことも考えられる． ま…

はじめに Python, 特にPandasの重い処理をどうしたら高速化でき、メモリ負荷も減らせるのでしょう。 サンプルデータで実行速度を比較しながら見てみましょう。 また、記事中の全てのsample codeをGoogle driveで共有しているので参考にしてください。 ipynb：https://colab.research.google.com/drive/12zSrJs005v_VU8XnDbBqA7kc5Heoupl9?usp=sharing ※ 実行環境：Google Colaboratory (2021/02/22)

行名や列名を多次元配列として扱えばOK pivot_df=aris_kadou_df.pivot_table(index=['社員番号','要員名','所属部門'], columns=['PJ区分'], values=['稼働時間計','稼働金額計'], aggfunc=np.sum) pivot_df = pivot_df.fillna(0) pivot_df['直接稼働率'] = pivot_df['稼働時間計']['直接プロジェクト'] / (pivot_df['稼働時間計']['直接プロジェクト']+ pivot_df['稼働時間計']['間接プロジェクト']+ pivot_df['稼…

テキストデータを読んで折れ線グラフとヒストグラムを書いてみた import pandas as pd import numpy as np import matplotlib.pyplot as plt df= pd.read_csv("OK.dat",engine="python") testItem = "ｼｮｰﾄﾁｪｯｸ" m = df[testItem].mean() std = df[testItem].std() # プロット領域(Figure, Axes)の初期化 fig = plt.figure(figsize=(12, 8)) ax1 = fig.add_subplot(13…

【初心者向け】データ分析で必須のPandasを入門しよう！より シリーズ １次元の列 import pandas as pd s1 = pd.Series([1,2,3,4,5]) print(s1) データフレーム ２次元の表。indexが行 columnsが列 import pandas as pd df = pd.DataFrame({'名前':['田中','山田','高橋'], '役割' : ['営業部長', '広報部', '技術責任者'], '身長':[178,173,169]}) print(df) print(df.dtypes) print(df.columns) head()…

動かしながら学ぶ PyTorchプログラミング入門作者:斎藤勇哉発売日: 2020/11/30メディア: Kindle版 目次 目次 目的 準備 data.csv ソースコード 結果 パラメトリック検定の結果（para＿result.csv） パラメトリック検定の結果（nonpara＿result.csv） 目的 Pythonで、「1要因で分類される対応のない多群の検定（ANOVA or Kruskal-Wallis test）」と「事後検定（Tukey-Kramer or Steel-Dwass test ）」 準備 統計解析には、scipyとscikit-posthocsを用いる。インスト…

こんにちは。 モチベーション 今開発で、週の曜日の始まりが違うケースがあって、でも一年間の週の通し番号ごとに集計をしたい、みたいな感じのことがしたく、週の曜日始まりが違う曜日のスタートで、週ごとの日付を取得したいなという気持ちがありました。pandasで普通に週ごとの日付を取得したい場合は、date_rangeのメソッドを使って、 import pandas as pd pd.date_range(start='2021-01-01', end='2022-01-01', freq='W') とすればいいなって思っていました。が、この週の曜日のスタートを変えたい場合は、どうしたらいいんだろうと…

ついにDataFrameに入門してしまった...． 途中で列の名前を変えるにはこうする． using DataFrames names = ["colname1", "colname2", "colname3"] data = rand(3,3) df = DataFrame(data) rename!(df, Symbol.(names)) Symbolに変えないといけないことに気が付かなくてだいぶはまってしまった... ちなみに，列の名前の一覧を取り出したかったら，propertynames(df)すればいい． 言わずもがな，はじめから data = rand(3,3) names = […

pandasのマルチインデックスなDataFrame(以下、MultiIndex)からデータを抽出する方法と、Matplotlibでの可視化について書きます。 これまであまり経験がなく、別にいつもと変わらないっしょ！とやってみたところ(案の定)うまくいかなかったので、 そこで得た学びをここに記します。 pandas.DataFrame とは Matplotlib とは 本題: なにをしようとしたか コードサンプル CSV -> DataFrame MultiIndexを設定 Indexを指定して抽出 groupby -> get_group xs loc グラフにする ヒストグラム 箱ひげ図 …

globモジュールを使って、ディレクトリ内にある複数のCSVファイルを読み込み、さらにそれらを縦に連結させる方法です。 例えば、ある特定のディレクトリの中に、何かのログがCSVとして毎日吐き出されるような場合に使えます。 CSVファイルを一括で読み込んで一つのファイルに集約できると、何かと便利ですよね。CSVをExcelで開いて一つずつ繋げていく手間が省けます。 まずは、モジュールをimportします。 import pandas as pd import os import glob osを使ってディレクトリを変更しましょう。 読み込みたいCSVファイルが置いてあるディレクトリを指定します。…

PythonのpandasにおけるDataFrame操作でよく使うものをまとめています。 サンプルコードはDataFrame例と照らし合わせながらご覧いただくとイメージしやすいかと思います。 DataFrame例 データの抽出 行 列 任意条件 AND条件 OR条件 NOT条件 ランダム 行・列数の取得 任意のデータを削除 単一行の削除 複数行の削除 列の削除 任意のデータを追加 単一行の追加 複数行の追加 単一列の追加 複数列の追加 DataFrameのファイル出力 CSV出力 テキスト出力 DataFrame例 Google Colaboratory のサンプルデータから上位10件のみを抽…

Pythonで表題の処理を実現するコード例です。 import glob import os import pathlib import numpy as np import pandas as pd # txtファイルの格納フォルダ input_txt = "./sample/input" # CSV出力用フォルダ&ファイル名 output_csv = "./sample/output/out.csv" read_path = pathlib.Path(input_txt) temp = [] for fname in read_path.glob('*.txt'): # ファイルサイズが0…

本記事では、pandasを利用して列データを行方向へ連結する雛形コードを載せました。下図左が元データで、列名indexの値0,1,2を各グループとして、列名data1,data2,data3の値を行方向へ結合します。この時、重複する値がある場合はその行を削除して、ソートします。処理後の結果が下図右です。 ■本プログラム import pandas as pd import numpy as np def main(): df = pd.read_csv(input_file) print(df) df0 = df[~df.duplicated('index')] # 指定した列の重複する行を削…

classifier（クラシファイア 分類器）：様々なデータを分類していくシステム。 データセット：機械学習においてこの様々なデータの塊のこと。 データポイント：複数の特徴量をまとめたデータ。（行） 特徴量：データポイントを構成する特徴（列）k-最近傍法。k nearest neighbor。k-NN。 k-最近傍法は「教師あり学習」であり、比較的シンプルな分類器である。①既存のデータセットをベクトル空間（座標）上に描画する。 ベクトル空間（vector space線形空間）：n次元の場合n個のベクトルで表されるもの。 →２次元の場合２個のベクトルで表されるもの。２次元の座標軸。 ベクトル：向…

Anaconda3のインストール # 公式サイトから最新のダウンロードリンクを確認する $ wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh $ sh Anaconda3-2020.11-Linux-x86_64.sh $ exit 仮想環境の作成 # とりあえずよく使うライブラリをインストール # anacondaを指定すると全て入れてくれる $ conda create -n 環境名 jupyter jupyterlab matplotlib numpy pandas pylint python…

1.はじめに 競プロでは問題文や制約を見ただけで、解法がある程度予想がついてしまう、といったことが知られています。今回は問題文や制約とその問題の解法には相関関係があるという仮説のもとで、機械学習モデルを用いて、問題文と制約から解法を予測してみたいと思います。このままだとまだ曖昧なのでもう少し問題設定を具体化、単純化します。解法を予測するとは例えばDPの問題の問題文を入力するとに対してDPというラベルを、グラフの問題で深さ優先探索を用いる問題にはdfsとラベルをつけるという課題を解くモデルを作ることにします（具体的にどのようなDPやdfsをするかまでは深入りしない）。これは典型的な多クラス分類（…

tsutomu こんにちはPyQチームのtsutomuです。 pandasドリル第13回の問題は「生徒ごとの教科名の一覧の列を追加するには？」です。 つとむ先生の紹介 20数年、最適化関連の案件に従事するビープラウドの技術士（情報工学）。2014年より最適化のモデル作成にPythonを使い始め、効率的に開発できるようになる。東京海洋大学、青山学院大学、慶應義塾大学、上智大学に非常勤講師としての勤務経験がある。また、オペレーションズ・リサーチ学会に約30年所属し、理事を2期務めた。フェロー。 主な著書はモデリングの諸相、Python言語によるビジネスアナリティクス、今日から使える!組合せ最適化、…

M1 Mac BookAirを使い始めてから３ヶ月ほど経ちました。 最初の頃はPythonのモジュールとかが上手にインストールできなくて、C++の勉強をはじめましたが、最近はだいぶ環境が整ってきて、scipy, pandas, matplotlibなどが使えるようになってきました。 そんなわけでとても満足しています。 普段、周辺機器は何も付けていません。 iCloudの200 GBを契約しました。 内蔵HDDは512 GBですが、現在、300 GBほど空きがあります。増えるデータはちょっとしたテキストファイルとiPhoneで撮る写真くらいです。iPhoneの写真も基本的にはiCloudに入って…

動かしながら学ぶ PyTorchプログラミング入門作者:斎藤勇哉発売日: 2020/11/30メディア: Kindle版 目次 目次 目的 重要な関数 準備 コード 結果 ROC曲線 分類精度 混合行列（Confusion matrix） 目的 Pythonを使ってROC曲線を作成 Youden indexを用いて、最適なcutoff値を決定 AUCおよび分類正確度・感度・特異度を算出 重要な関数 ROC曲線の作成：roc_curve AUCの計算：roc_auc_score 正確度の計算：accuracy_score 以上の関数は、scikit-learnのライブラリである。インストールして…

<pandas-datareaderで米国株の株価取得>*1 「pandas-datareader」で株価を取得します。以前、日本株の株価をスクレイピングで取得しましたが、「pandas-datareader」の方がより簡単に取得できました。 バンガード S&P500 ETF (VOO)の株価を取得し、グラフ表示するまでの手順を紹介します。 [1] インストール [1-1] pipでインストール [1-2] 動作確認 [2] データソースを決める [2-1] 使用可能なデータソースを確認する [2-2] Stooqでデータを取得してみる [3] 株価を取得する [3-1] VOOの株価取得 […

この記事は何 全般 データ型・データ数・カラム名を取得する 欠損の有無を確認する 列に含まれる値に指定した式を適用する オブジェクト型となっているカラムのデータを変換する 指定した行・列のデータを抽出する マークダウン・Latex形式で出力する 特定データに対する操作 数値データ pandas.Seriesの要素同士の足し算・引き算・比較をする 指定した列の平均や中央値などの統計をまとめて計算する 特定の列に対して指定のウィンドウ幅の移動平均を計算する 特定の列の指定の分位点の値を計算する カテゴリ変数・文字列 カテゴリ変数の出現回数 カテゴリ変数の置換 カテゴリ変数の文字列長を揃える リスト…

【事象】 Pandasのplotメソッドで表示した図は表示されるのに、Plotly Expressで表示した図が表示されない。 Plotly Expressのplotメソッド部分が何も表示されていない【原因】 Jupyter Labにplotly-extensionを追加できていないため【対応方法】 以下のサイトに従い、plotly-extensionを追加する jupyterlab-plotly - npm jupyter labextension install jupyterlab-plotly無事表示された【補記事項】 ・jupyter serverextension enable -…

こんにちは、やもり（yamori-tech）です。 備忘録として「pd.merge したらデータが増えた話」について書こうと思います。 結論としては、drop_duplicates(['hoge'], keep='last')を指定することで、right側のデータの最新のレコードを一意（ユニーク）とすることで、解決します。 df3 = df2.sort_values('update_time').drop_duplicates(['id'], keep='last')