pandas

データエンジニアだったりデータアナリストだったりします。 @kazasiki です。 Microsoft製の勾配ブースティングのライブラリ LightGBM の4.0.0が2023/07/14に公開されました。機能変更などを含むアップデートは約一年半ぶりだそうです。 github.com さまざまな更新が含まれますが、その中でも自分が注目したのは support for pandas nullable types という一文です。本記事ではこの変更について簡単に紹介していこうと思います。 変更内容 対応するIssueは以下です。 github.com 内容としては読んだまんまで、LightGB…

今日の積み上げ AI学習 【完全版】Python基礎力を圧倒的に向上させる特訓100問：83/100完了 マナビDX Quest参加動機をChatGPTと壁打ちしながら作成した ＡＩ学習 今日もPython特訓100問の続きで、Pandasを触りました。 Pandasとは、構造化データ（表形式になっている数値データ）を対象にデータ分析を行うためのライブラリのこと。 Python特訓100問の中でも最も問題数が多いことからもわかるように、最も重要なライブラリと言えます。 データを読み込むところから、加工、分析、可視化まで、利用シーンは多岐にわたっています。 （今日使ったメソッドを参考までに書き残…

JSON（JavaScript Object Notation）は、データを表現するための軽量なデータ形式です。 このJSONファイルをPandasで読み込む方法は至って簡単で、"read_json()"メソッドを使うだけです。 以下に例を示します。 import pandas as pd import json s = '{"col1":{"row1":"A","row2":"B","row3":"C"},"col2":{"row1":"あ","row2":"い","row3":"う"}}' df_s = pd.read_json(s) print(df_s) # 出力 col1 col2 …

uniqueメソッドとは？ pandasの.unique()メソッドは、Seriesオブジェクト（列）内において、一意の値を取得するために使用されます。具体的には、重複する値を取り除き、データの一意の値のリストを返します。 実際に具体例を見てみましょう。 以下に.unique()メソッドの使い方と例を示します。 import pandas as pd # サンプルデータフレームの作成 data = {'Name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'], 'Age': [25, 30, 35, 28, 32], 'City': ['Tokyo'…

groupbyメソッドとは？ groupbyメソッドとは、Pandasのデータフレームやシリーズをグループ化するための強力なメソッドです。 .groupby()メソッドを使用することで、特定の列の値に基づいてデータをグループ化し、それぞれのグループに対して集計や操作を行うことができます。 以下に.groupby()メソッドの一般的な使い方といくつかの例を示します。 単一の列に基づくグループ化と集計 import pandas as pd # サンプルデータフレームの作成 data = {'Name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'], '…

pandasのデータフレーム内で、特定の文字が含まれる回数をカウントする処理について考えてみます。 今回は、winemag-data-130k-v2.csvを用いて練習してみます。 ↓下記リンクからDL可能です。 (https://gist.github.com/clairehq/79acab35be50eaf1c383948ed3fd1129) まずは、データを読み込みます。 import pandas as pd pd.set_option("display.max_rows", 5) reviews = pd.read_csv("../input/wine-reviews/winemag…

pandasで特に何も考えずにデータを入れて展開していると、結構なメモリを消費します。 pandasのデータサイズと必要なメモリ容量ですが、pandasのデータフレームのサイズは、行数と列数によって決まり、データフレームの各列(カラム)のデータ型によって必要なメモリが異なります。 例えば、int64型は8バイト、float64型は8バイト、bool型は1バイト、object型は可変長で最大値が不明なため、メモリ使用量が大きくなることがあります。 サンプルとして、メモ_国土地理院-全国地名データ（位置参照情報）のcsvデータ(cp932で文字化けあり)をnkfでutf-8に変換してpandasに…

前回は、Pythonのテクニカル分析ライブラリであるTA-Libを用いてローソク足チャートのパターンの識別を試みました。このパターン識別は「明けの明星」といったローソク3本位までのパターン識別はできるようですが、「三角持ち合い」といったより時間幅の広いパターン識別はできないようです。この「三角持ち合い(又は三角保ち合い)」をPythonで自動的に識別する方法とコードが、以下のYouTubeでチュートリアルビデオとして公開されていました。https://www.youtube.com/watch?v=b5m7BZAHyskこの動画のコメント欄にはPythonコードへのリンクも掲載されています。今…

Rもたいして使いこなせてないのにPythonの勉強を始めてみました。色々と素晴らしいチュートリアルはありそうですが、目移りしてしまうので公式チュートリアルを拾い読みしていきます。 NumPyのあとPandasチートシート（PDF）を中心に読んできましたが、今回で最後です。 前回： necostat.hatenablog.jp データの形状を調べる 連続変数の要約統計量を計算する カテゴリー変数を要約する グループごとに要約する 各グループ毎に要約する 各グループの観察数を調べる グループ内の順位を返す プロットする おわりに 最終回は「データの要約と可視化」です。Pandas公式チュートリアル…

Rもたいして使いこなせてないのにPythonの勉強を始めてみました。色々と素晴らしいチュートリアルはありそうですが、目移りしてしまうので公式チュートリアルを拾い読みしていきます。 NumPyのあとPandasチートシート（PDF）を中心に読んできましたが、そろそろ終盤です。 前回： necostat.hatenablog.jp 単純に結合する 上下に結合する 左右に結合する キーで紐付けて結合する 左側のdfの行を残す 右側のdfの行を残す どちらのdfにも含まれる行を残す 全ての行を残す おわりに 今回はデータの結合です。Pandasライブラリを読み込んでおきます。 import panda…

Rもたいして使いこなせてないのにPythonの勉強を始めてみました。色々と素晴らしいチュートリアルはありそうですが、目移りしてしまうので公式チュートリアルを拾い読みしていきます。 NumPyが終わってPandasに入っています。導入版（Intro to pandas）・簡易版（10 minutes to pandas）は物足りなず、本格版（User guideのIntro to data structures以降）は読みきれなかったので、チートシート（PDF）を中心に読んでいきます。 前回： necostat.hatenablog.jp 横型データ・縦型データとは 横型を縦型に変形する 縦型を…

Rもたいして使いこなせてないのにPythonの勉強を始めてみました。色々と素晴らしいチュートリアルはありそうですが、目移りしてしまうので公式チュートリアルを拾い読みしていきます。 NumPyが終わってPandasに入っています。導入版（Intro to pandas）・簡易版（10 minutes to pandas）は物足りなず、本格版（User guideのIntro to data structures以降）は読みきれなかったので、チートシート（PDF）を中心に読んでいきます。 前回： necostat.hatenablog.jp 列を抽出する 列名を指定して抽出する 条件に合致する列を…

Rもたいして使いこなせてないのにPythonの勉強を始めてみました。色々と素晴らしいチュートリアルはありそうですが、目移りしてしまうので公式チュートリアルを拾い読みしていきます。 NumPyが終わって前回からはPandasに入っています。導入版（Intro to pandas）・簡易版（10 minutes to pandas）は物足りなず、本格版（User guideのIntro to data structures以降）は読みきれなかったので、チートシート（PDF）を中心に読んでいきます。 前回： necostat.hatenablog.jp ラベル名を使ったアクセス 要素を抽出 行を抽出…

Rもたいして使いこなせてないのにPythonの勉強を始めてみました。色々と素晴らしいチュートリアルはありそうですが、目移りしてしまうので公式チュートリアルを拾い読みしていきます。 NumPyが終わって今回からはPandasに入りますが、導入版（Intro to pandas）・簡易版（10 minutes to pandas）は物足りなず、本格版（User guideのIntro to data structures以降）は読みきれなかったので、チートシート（PDF）を中心に読んでいきます。 前回： necostat.hatenablog.jp Pandasライブラリで扱うもの DataFra…

どうもー投資ロウトです！ 学習に関して 学習目的 アウトプット 時系列データの前処理 学習に関して 学習目的 最初に前処理を選んだのは、雑務ができないと案件に参画できないからです。 アウトプット それではいつも通り学んだことのアウトプットや所感を記載していきます。 時系列データの前処理 時系列データ・・・時間で変化し、依存性があるデータ。 日付がcsvで読み込んだ時に、object(文字列)型になっている際は dataframe['日付の入ったカラム'] = pd.to_datetime(dataframe['日付の入ったカラム'], format='%Y-%m-%d %H:%M:%S') 文…

Google Colabでフォルダのパスが通らない事態と解決方法。大した話ではないけども、検索しても引っかからなかったので書きます。 問題のあったフォルダ名 フォルダdrive/MyDrive下に作成された標準名称が「Colab Notebooks」で、スペースが入っています。 事象 まずライブラリをインポートして、Google driveをマウントする。 import pandas as pd from google.colab import drive drive.mount('/content/drive') その後、以下のようなコードを実行。 train = pd.read_csv('…

LLMのローカル実行を試す - GPT2 「機械学習エンジニアのためのTransformers」のサンプルコードをもとに以下のような実装をして、 import torch import pandas as pd import torch.nn.functional as F from transformers import AutoTokenizer, AutoModelForCausalLM device = "cuda" if torch.cuda.is_available() else "cpu" model_name = "gpt2-xl" tokenizer = AutoTokeni…

LightGBMとは LightGBMは、勾配ブースティングを基にしたアルゴリズムで、特徴量の重要性の計算や欠損値の取り扱いを自動的に行い、回帰および分類の問題に適用できるモデルです。LightGBMは、XGBoostを超えると言われる強力な機械学習アルゴリズムの一つです。 LightGBMの特徴 LightGBMは、高速な決定木の構築を実現するために4つの特徴があります。 Leaf-wiseアルゴリズム: LightGBMは、最も損失を下げるノードから分割を進める方法を採用しており、これにより早くモデルの精度を向上させることができます。 ヒストグラムベースのアルゴリズム: 連続値の特徴量の値…

どうもー投資ロウトです！ 学習に関して 学習目的 アウトプット 続き 学習に関して 学習目的 最初に前処理を選んだのは、雑務ができないと案件に参画できないからです。 アウトプット それではいつも通り学んだことのアウトプットや所感を記載していきます。 続き for i in range(10): labels = dataframe_sc[cst_group == i] plt.scatter(labels['x軸のcolumns'], labels['y軸のcolumns'], label=i) plt.legend() plt.xlabel('age') plt.ylabel('balanc…