Hatena Blog Tags
はてなブログ トップ
前処理
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

前処理

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
ある産婦人科医の備忘録•3ヶ月前

CSVファイルをExcelで開くと文字化けする【データクリーニング・前処理】

データクリーニング・前処理におけるピットフォールとして 『CSVファイルをExcelで開くと文字化けする』 があります。 これスモールデータならExcelでCSVファイルの中身を眺めることが気が付くことができるかもしれませんが、大きなデータでは文字化けしていることに気が付けない可能性があります。（そもそも大きなデータをExcelで開くこと自体が重さ・効率の面で好ましいとは言えなさそうなのですが） なので以下の問題が発生することに注意が必要です： CSVファイルをExcelで開く→文字化けする→気が付かずに上書き保存する→文字化けしたデータで解析を進めてしまう やはりデータは統計ソフト（RやST…

#CSV#Excel#前処理#データクリーニング#研究#データ解析

ネットで話題

もっと見る
629ブックマーク実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub｜Webエンジニアのキャリアを考える！eh-career.com
619ブックマーク自然言語処理における前処理の種類とその威力 - Qiitaqiita.com
392ブックマーク自然言語処理の前処理・素性いろいろ - Debug meyukinoi.hatenablog.com
368ブックマークpandasで1000万件のデータの前処理を高速にするTips集 - Qiitaqiita.com
176ブックマークWikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammerhironsan.hatenablog.com
157ブックマーク『仕事ではじめる機械学習』＆『前処理大全』著者対談（Part 1）今回より4回を予定して、書籍『仕事ではじめる機械学習』著者の有賀康顕さん、『前処理大全』著者の本橋智光さんの対談をお届けいたします。ひょんなことから実現した今回の対談、今話題の機械学習を中心に、さまざまな角度からのお話しが飛び出します。まずはお二人の著書の話題から… 書籍の評判と執筆の苦労 （名刺交...www.oreilly.co.jp
110ブックマーク大規模言語モデルをフルスクラッチする練習 (環境構築ー前処理ー事前学習ーファインチューニングー評価まで)｜Kan Hatakeyamanote.com
98ブックマークCNN による画像分類で使われる前処理・テスト時処理まとめ - iwiwi 備忘録iwiwi.hatenadiary.jp
83ブックマークPython3×日本語：自然言語処理の前処理まとめ - Qiitaqiita.com

関連ブログ

データエンジニアのものこと•8ヶ月前

Powershell で Excel を編集するときにえって思ったこと～ Python の記述もあわせて～

はじめに 皆さんは大量のデータの整形をおこなうとき、どのようなツールを利用しているでしょうか？今の時代は生成 AI？データが社外秘の情報を含んているため手作業でやることがあるかもしれません。しかし、整形の作業に 2，3 時間かかるうえにその作業が週次であるなんてことないでしょうか。それはもはや Excel 奴隷といっても過言ではありません。古代エジプトにてピラミッドを建てるために石を運ぶ奴隷と何ら変わらないのではないかと私は考えてます（もちろん重要な任務であり大切なことであることもあります）。そんな現実に直面したときに私は Python または Powershell を使ってデータの整形を済ま…

#Python#PowerShell#データクレンジング#前処理
30代のほったらかし資産形成ー穏やかな未来への計画ー•1年前

【データ分析｜効果的なスケーリング】Box-Cox変換の実践ガイド

はじめに スケーリングとは 代表的なスケーリング手法 正規化 標準化 Box-Cox変換によるスケーリング ダム流入量データのスケーリング 使用データ MATLABサンプルコード 各スケーリング結果の比較 まとめ はじめに AIモデルを構築する際、データの前処理は非常に重要です。 今回は、AIの前処理の一部であるスケーリング手法に焦点を当て、BoX-CoX変換について詳しく説明します。 BoX-CoX変換はあまり一般的に知られていないかもしれませんが、非常に有用なスケーリング手法です。 私はMATLABを使用してデータ分析をすることが多いため、Box-Cox変換のコードも提供します。 AIの基…

#boxcox#前処理#標準化#スケーリング#AI
日本橋濱町Weblog（日々酔亭）•1年前

西田典充著『Rでらくらくデータ分析入門ー効率的なデータ加工のための基礎知識ー』：ここにもあったデータの入出力と前処理の解説書・・・初心者にはこちらがお勧め

前回も書いたように、実際にデータ分析するためには、データを読み込み、読み込んだデータの前処理をして、そして分析に使えるように加工してそれを書き出してファイル化して初めて準備ができたことになる。 mnoguti.hatenablog.com 前回の記事で紹介した参考文献は、RStudioの利用を前提として「Rを用いて一連のデータ分析ワークフローを遂行するためのガイドブック」であり、想定読者は、「Rでデータ分析をする、あるいはしたいと思っているすべての方」と位置付けられていた。扱う対象はあくまでも分析ワークフローであって、分析そのものではない。今回、紹介する参考文献も、書名に「分析入門」とあるが、…

#データ分析#R言語#RStudio#前処理#再現可能なレポート#独学
日本橋濱町Weblog（日々酔亭）•1年前

R言語を使いこなす最初の壁・・・データの入手・入力と前処理（RユーザのためのRStudio[実践]入門）

データ*1で世の中の構造や動きを明らかにしたい。2010年代初頭、IoTの進展に伴うデジタルデータの利用可能性の高まりによる民間企業の取り組み、その後のデジタルトランスフォーメーション（DX）を推進する官公庁の取り組み、またEBPM（証拠に基づく政策立案）の推進や公教育における情報教育の充実によりデータの利用が大きく増えることが予想される。一方、PCの高性能化やエクセルやR言語等のデータ分析用ソフトの普及、、Python等によるAI・機械学習の応用、ITパスポート等の各種資格の充実で我々がデータ分析で何かをやろうと考える環境も整えられた。 [情I703] 高校情報Ｉ Python 情報科用 高…

#データ分析#R言語#RStudio#前処理
SudachiTech’s blog•2年前

【試験研究】サファイア基板の熱処理とピラニア溶液処理 (Thermal annealing of sapphire substrates and a piranha solution treatment)

サファイア基板の熱処理とピラニア溶液処理について サファイアはアルミナ (Al2O3) の単結晶です。不純物がなければ無色透明で化学的安定性の高い酸化物です。その単結晶を特定の面方位で切り出して研磨したものがサファイア基板です。腕時計などの窓材にも使われますが、半導体薄膜を形成するときの基板にも用いられます。代表例は窒化ガリウム系のLEDを作る時の基板でしょう。国内では、京セラ、信光社、並木宝石が主なメーカーです。 サファイアの融点は約2000℃にありますが、1000℃以上にサファイア基板を加熱すると、表面からアルミナがわずかに蒸発していき、平坦化して、表面に原子レベルのステップ＆テラス構造が…

#試験研究#サファイア基板#前処理#ピラニア#熱処理
Quvotha’s blog•2年前

scikit-learn で数値・カテゴリ・テキストのカラムが混在する表データに fit, transform できる前処理パイプラインを作成する

はじめに scikit-learn で数値・カテゴリ・テキストのカラムが混在する表データをうまいこと扱える前処理パイプラインの作り方を紹介します。 scikit-learn にはデータの前処理パイプラインを組むのに有用なクラスが色々備わっているにも関わらず、知名度が微妙だなと感じたことが紹介のモチベーションです。 本記事に登場するコードは Google colab のこちらの Notebook で動作確認しました。 前処理対象のデータ 飲食店のレビューデータをイメージした表形式のデータです。 味 接客 価格 性別 コメント 普通 悪い 4381 女 nan 美味 最高 nan 女 nan 美味…

#Python#scikit-learn#前処理#機械学習
エビデンスで教育を考えた•2年前

無名関数は関数の中に定義すると可読性上がって良いな〜という技術メモ

先輩がlambdaなるものをコードで書いていて「なんじゃこりゃ？」と思って調べました。どうやら無名関数というものらしいです。こちらが簡潔に書いてあって概要は掴めます。qiita.com そのまま引用させていただくと、無名関数だけあって書くのは楽に見えます。 とは言え初学者にとっては「逆に分かり辛くね？」と思ってしまってスルーしていたんですが、「関数の中に関数を用いるときは便利かもなー」なんて思ったりしています。例えば前処理するとき。こんな文書のデータがあったとして文書を文に分割したいとき #文に分割 def split_sentence(df): #文頭、文末の空白文字を削除 df["full…

#lambda#データサイエンス#前処理
独学でプログラミングを学んでみた•3年前

python初学者が競馬予測をしてみたpart6(特徴量追加)

こんにちはKHnodeです。 なんやかんやでpart6になってしまいましたが今回も調べていたらいい感じの特徴量を見つけてきたのでそれを作成しようと思います。今回はスピード指数の作成ということでこちらを参考にしました。西田式スピード指数 西田式スピード指数 Official Website では早速コードを書いていこうと思います。 df01['conditionindex'] = 0 df01['conditionindex'].mask((df01['condition'] == '良') & (df01['turf'] == '芝'), -25, inplace=True) df01['co…

#Python#前処理#競馬#pandas
海老ノート•3年前

SARの勉強４：Terrain Flattening その２

DEMの違い：SRTMとALOS Google Earth Engineに入っている全球で使えるDEMは2種類。どちらも解像度30mだけど、SRTMはおよそ90m解像度のものを内挿してして30m1に、ALOSのは2.5m？だかの高精細なものをアップスケールして30mにしているという違いがある。この違いがTerrain Flatteningしたときはどう変わるか見てみる。 生駒 元のデータは2020年8月のDESCENDINGのVVデータ。違いは微妙だな。ALOSの方が落ち着いて見えるかな？程度。 左：NASA SRTM Digital Elevation 30mで補正、右：ALOS DSM: …

#Sentinel1#SAR#前処理