前処理

データクリーニング・前処理におけるピットフォールとして 『CSVファイルをExcelで開くと文字化けする』 があります。 これスモールデータならExcelでCSVファイルの中身を眺めることが気が付くことができるかもしれませんが、大きなデータでは文字化けしていることに気が付けない可能性があります。（そもそも大きなデータをExcelで開くこと自体が重さ・効率の面で好ましいとは言えなさそうなのですが） なので以下の問題が発生することに注意が必要です： CSVファイルをExcelで開く→文字化けする→気が付かずに上書き保存する→文字化けしたデータで解析を進めてしまう やはりデータは統計ソフト（RやST…

はじめに 皆さんは大量のデータの整形をおこなうとき、どのようなツールを利用しているでしょうか？今の時代は生成 AI？データが社外秘の情報を含んているため手作業でやることがあるかもしれません。しかし、整形の作業に 2，3 時間かかるうえにその作業が週次であるなんてことないでしょうか。それはもはや Excel 奴隷といっても過言ではありません。古代エジプトにてピラミッドを建てるために石を運ぶ奴隷と何ら変わらないのではないかと私は考えてます（もちろん重要な任務であり大切なことであることもあります）。そんな現実に直面したときに私は Python または Powershell を使ってデータの整形を済ま…

はじめに スケーリングとは 代表的なスケーリング手法 正規化 標準化 Box-Cox変換によるスケーリング ダム流入量データのスケーリング 使用データ MATLABサンプルコード 各スケーリング結果の比較 まとめ はじめに AIモデルを構築する際、データの前処理は非常に重要です。 今回は、AIの前処理の一部であるスケーリング手法に焦点を当て、BoX-CoX変換について詳しく説明します。 BoX-CoX変換はあまり一般的に知られていないかもしれませんが、非常に有用なスケーリング手法です。 私はMATLABを使用してデータ分析をすることが多いため、Box-Cox変換のコードも提供します。 AIの基…

前回も書いたように、実際にデータ分析するためには、データを読み込み、読み込んだデータの前処理をして、そして分析に使えるように加工してそれを書き出してファイル化して初めて準備ができたことになる。 mnoguti.hatenablog.com 前回の記事で紹介した参考文献は、RStudioの利用を前提として「Rを用いて一連のデータ分析ワークフローを遂行するためのガイドブック」であり、想定読者は、「Rでデータ分析をする、あるいはしたいと思っているすべての方」と位置付けられていた。扱う対象はあくまでも分析ワークフローであって、分析そのものではない。今回、紹介する参考文献も、書名に「分析入門」とあるが、…

サファイア基板の熱処理とピラニア溶液処理について サファイアはアルミナ (Al2O3) の単結晶です。不純物がなければ無色透明で化学的安定性の高い酸化物です。その単結晶を特定の面方位で切り出して研磨したものがサファイア基板です。腕時計などの窓材にも使われますが、半導体薄膜を形成するときの基板にも用いられます。代表例は窒化ガリウム系のLEDを作る時の基板でしょう。国内では、京セラ、信光社、並木宝石が主なメーカーです。 サファイアの融点は約2000℃にありますが、1000℃以上にサファイア基板を加熱すると、表面からアルミナがわずかに蒸発していき、平坦化して、表面に原子レベルのステップ＆テラス構造が…

はじめに scikit-learn で数値・カテゴリ・テキストのカラムが混在する表データをうまいこと扱える前処理パイプラインの作り方を紹介します。 scikit-learn にはデータの前処理パイプラインを組むのに有用なクラスが色々備わっているにも関わらず、知名度が微妙だなと感じたことが紹介のモチベーションです。 本記事に登場するコードは Google colab のこちらの Notebook で動作確認しました。 前処理対象のデータ 飲食店のレビューデータをイメージした表形式のデータです。 味 接客 価格 性別 コメント 普通 悪い 4381 女 nan 美味 最高 nan 女 nan 美味…

先輩がlambdaなるものをコードで書いていて「なんじゃこりゃ？」と思って調べました。どうやら無名関数というものらしいです。こちらが簡潔に書いてあって概要は掴めます。qiita.com そのまま引用させていただくと、無名関数だけあって書くのは楽に見えます。 とは言え初学者にとっては「逆に分かり辛くね？」と思ってしまってスルーしていたんですが、「関数の中に関数を用いるときは便利かもなー」なんて思ったりしています。例えば前処理するとき。こんな文書のデータがあったとして文書を文に分割したいとき #文に分割 def split_sentence(df): #文頭、文末の空白文字を削除 df["full…