pandas

Pythonは、データサイエンスの分野で最も使われているプログラミング言語の1つです。Pandasは、Pythonのデータ分析ライブラリの1つであり、データの取り扱いや解析を行う際に便利な機能を提供しています。本記事では、PythonでのPandasの使い方について、実例やコードを交えて解説します。また、Pandasを使用する際に発生する可能性のあるエラーとその対応法についても説明します。 rakuten_design="slide";rakuten_affiliateId="156fabd7.7eca5f04.156fabd8.9d125405";rakuten_items="ctsmatc…

import pandas as pd ### dfは任意のpd.DataFrame() ### colは変換させたいカラム df.col = pd.to_numeric(df.col, errors='coerce') .astype(int) でも変換できるが、欠損値が含まれている場合エラーが発生し変換が行われない。 to_numeric の errors を使うことで数値に変換できるものは変換し、それ以外のものは NaN に変換する。 errors は、"ignore", "raise", "coerce" の３つの値をとる。 pandas.pydata.org

pandasのto_csv関数のパラメータにはファイルパスだけでなくbufferを指定することができます。 それを使用して、読み込みしたCSVファイルの文字コードを変換してS3に出力する処理を実装したのですが、何故か文字コードが想定通り変換されなかったので、備忘がてら解決した内容を書いておきます。

csvファイルからデータを読み取り、加工・分析・可視化をやりたい。 まずはデータの読み取りから。 前提 データの読み込み ファイルの途中から読み込み テーブル表示幅の修正 前提 下記のような表を作成。獲得点数.csvというファイル名で保存 これに対し次の操作を行いたい。 ファイルからデータの読み込み。 3行目までは説明なので、4行目から読み込む。 経過日数は月日に直す。 最終的にグラフにしたい。 順番にやっていく。 データの読み込み pandas を使うので、まずはPandasをインポート。 >>>import pandas as pd csvファイルの読み込みには、read_csv( )を使…

pandasを使ったデータ変換をしていてfloat型の列を整数部のみにしたい場合、「astype」などを使用してint型に変換すれば簡単に実現できるかと思いますが、そこに欠損値が含まれている場合うまく変換できなかったので、変換する方法を試してみました。 尚、タイトルで"int型"に変換する方法と書いてないのは理由があります。

機械学習用のcsvデータを事前にtrainとtestにsplitする。 pandasで簡単にできる。 手順 CSV読み込む dataframeで扱う 乱数を発生（毎回同じ結果を得るためにrandom_stateを指定する） 乱数に従ってデータをdropする 今回は7:3でsplit import pandas as pd data_path = " write your csv file path" data = pd.read_csv(main_data_path) data.head() sv_fd = "write your save folder path" train_data = …

tsvファイル（タブ区切り）を読み込むread_table()を使う場合 import pandas as pd df = pd.read_table('file_name.tsv') read_csv()を使う場合 import pandas as pd df = pd.read_csv('file_name.tsv', sep='\t') pandas.read_csv ドキュメント pandas.read_table ドキュメント

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥2,400 91%OFF!! ⭐ ⭐ ⭐ ⭐ （20,095件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥2,200 …

JSON（JavaScript Object Notation）は、現在、Web上のデータ交換において広く使用されている形式です。一方、Excelは、表形式のデータを扱う上で非常に便利なツールであるため、JSONデータをExcel形式に変換することは非常に便利です。この記事では、PythonのOpenPyXLライブラリを使用してJSONデータをExcelに変換する方法を紹介します。 rakuten_design="slide";rakuten_affiliateId="156fabd7.7eca5f04.156fabd8.9d125405";rakuten_items="ctsmatch";r…

ExcelデータをJSONに変換することは、データを異なるアプリケーションやWebサービスで利用する際に非常に役立ちます。Pythonは、その多くのライブラリと機能を使って、ExcelデータをJSONに変換することができます。ここでは、PythonでExcelデータをJSONに変換する方法を説明します。 1. Excelファイルを準備する まず、Excelファイルを用意してください。この例では、以下のようなデータが含まれたサンプルExcelファイルを使用します。 名前 年齢 性別 John 25 男性 Mary 30 女性 Steve 35 男性 Lisa 40 女性 2. 必要なライブラリを…

用語 グリッドサーチ 交差検証(Cross Validation) GridSearchCV GridSearchCVの使い方 宣言と引数の調整 宣言 主な引数の設定 学習 結果の取得など 使用例 1. モデルの取得&訓練データとテストデータの設定 2. GridSearchCVの作成 3. 学習 4. 評価など 5. 正答率が最も高いモデルの取得とテストデータの正答率の確認 6. RandomForestとの比較 7. 各検定の詳細の取得 まとめ 用語 グリッドサーチ モデルの汎化性能を高めるために、ハイパーパラメータを調整する手法です。 ハイパーパラメータは、モデル作成時に調整する変数のこ…

最初にapt-getでpandasを入れるのがキモ sudo apt-get -y install python3-pandas sudo apt-get -y install python3-matplotlib python3 -m pip install pandas-datareader python3 -m pip install japanize_matplotlib python3 -m pip install yfinance numpyをpipでインストールするとビルドがにものすごい時間がかかったあとコケちゃう。 最初にまずapt-getで（バイナリ版の）pandasを入れる…

Pythonでは、始めからインストールされている標準モジュールを使うだけで、簡単にテキストファイルを読み込むことができます。 しかし、実際にテキストファイルを読み込もうとすると、次のような問題に直面することも… ファイルの読み込みってどうやるんだっけ？ エンコーディングのエラーがでた！ テキストの出力方法にも種類があって、使い分けがよくわからない！ 読み込み後の処理でいつも戸惑う… そこで、この記事ではPythonでのテキストファイル読み込み、よく使うテキスト処理について、図解付きで徹底解説しています！ テキスト読み込みの基本の流れ ファイルを開く open()関数で開く with open(…

今回のHAVEで 今までの文法という堅苦しい概念を取っ払いましょう！！ でも英語超超超初心者、もしくは文法が死ぬほど嫌いな方は スキップしていただいて大丈夫です笑 なぜなら、今回のHAVEのテーマは 文法でいえば現在完了というところだからです。 過去形覚えただけで大変だったのに、現在完了なんて！ とアレルギーのある方は、回避願います笑 読むなと言われたら読みたくなっちゃう！ という方、少しでも上達したいという方は是非、箸休めに読んでくださいね！ 前までの文法の概念が変わるかもしれません^_^ さて、 ではHAVEのメインの「持っている」という意味を意識しながらやっていきましょう！ ①I hav…

文字列の結合は、文字列の解析やデータ処理などで頻繁に行われる作業の一つですね。 Pythonには、文字列を簡単に結合するための機能が豊富に用意されています。 しかし、実際に文字列を結合しようとすると、次のような課題に直面することも…。 複数の文字列を簡単に結合する方法は？ リスト化された文字列を一括で結合する方法はある？ テキストに文字列を埋め込みたい！ この記事では、Pythonの文字列結合について図解付きでわかりやすく解説していきます。 文字列結合方法まとめ +で文字列を連結 文字列に数値を連結 +=で文字列を連結（代入） 文字列の繰り返し [文字列リスト]の結合｜.join() 数値のリ…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,600 94%OFF!! ⭐ ⭐ ⭐ ⭐ （20,088件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,500 …

ChatGPTに将来の株価を予想してもらうコードを書いてもらいました。ある程度、予備知識をもとにしている質問なのでズルい感じもしますが。私自身がpandas、prophet、各種API等を普段から使っていて、普通だと、これらの環境構築で結構、手間取りますが、ChatGPTへの質問一発で、必要最低限、動くコードが出てきました。 質問 : 東証銘柄の過去データをyahooから取得して、Prophetで予測するPythonプログラムを書いてください。 回答 : 以下のPythonコードは、Yahoo Finance APIを使用して、東証銘柄の過去データを取得し、Prophetを使用して時系列予測を…