前処理

目次 画像を用いる異常検知や画像AIの手法において、より精度を求める場合に前処理は重要です。 本日はそんな前処理の中で、フィルタリング手法について説明します。 画像フィルタリング 画像処理におけるフィルタリング手法は、 「何を強調し、何を除去したいか」 という目的によって大きく3つのカテゴリーに分類されます。 1. 平滑化フィルタ（ノイズ除去・ぼかし） 画像の高周波成分（急激な色の変化）を抑え、滑らかにする手法です。 平均化フィルタ (Averaging Filter) 特徴: 近傍画素の平均値を採用する最も単純な手法。 短所: ノイズだけでなく、物体の輪郭（エッジ）までぼやけてしまう。 ガウ…

scikit-learnのユーザーガイド「7. データセットの変換 (Dataset transformations)」において、各章ごとの解説と用途についてまとめたものが以下の通りになります。 scikit-learn.org 7.1. パイプラインと複合推定器 (Pipelines and composite estimators) 複数の処理を一つにまとめ、コードの再利用性と安全性を高めます。 7.1.1. Pipeline: 前処理とモデルを一列に繋ぎ、一括実行する仕組み。 7.1.2. Transforming target: 回帰分析で、正解ラベル（y）を対数変換などしてから学習さ…

東京エレクトロンの戦略的分析 半導体製造装置市場における覇権と次世代技術への展望 現代のデジタル社会において、半導体は「産業のコメ」を超え、国家の競争力を左右する「戦略物資」となりました。 その進化を支える黒衣の主役が、日本を代表する企業、東京エレクトロン（TEL）です。 2025年3月期、売上高2.4兆円を超え過去最高を更新した同社の、驚異的な成長の裏側を紐解きます。 半導体を作る中心工程（露光）はオランダのASMLなどが担当していますが、その前後にある『超精密に液を塗る準備』と『不要な部分を洗い流して形を作る仕上げ』においては、東京エレクトロンが世界一の技術を持っており、彼らの装置がないと…

本章では「2 動作の確認 その1」に引き続き「1 構造と動作」に書いたCPUの動作の一部を例として用いたCPUのArm製Cortex-M33を使って確認します。動作確認に使うプログラムをLED2に変え、他はその1の時と同じです。 プログラムLED2を使って確認する動作（カッコ内はその動作のキーワードです） 例外受付による前処理と後処理の動作（割り込み、スタック、ベクターテーブル） 使用するハードとソフトについて次項にまとめています。 ⇐ 前のページ | 次のページ ⇒ メカトロ制御向け CPUの構造と動作 目次・改訂履歴 初めに 1 構造と動作 1.1 CPUの機能と命令（概念） 1.2 CP…

こんにちは、データサイエンス部の荻です。 はじめに データサイエンス部で隔週の社内勉強会を行っており、その内容を共有します。 今日は、データの受領・前処理・納品などで時短になる、簡単なシェルコマンドで解決する方法を紹介します。 前回の記事の続きになります。 データ分析のためのシェルワンライナー入門1（カラム名が同じCSVファイル複数のファイルを一つのファイルにまとめる） - SENSY Product Dev Tech Blog 今回の課題 「顧客からデータを受け取る際、データが大量でExcelファイルが送られてきた」 必要なデータを抽出するのに、ファイルを個別に処理するのは労力が大きので、一…

こんにちは、データサイエンス部の荻です。 はじめに データサイエンス部で隔週の社内勉強会を行っており、その内容を共有します。 今日は、データの受領・前処理・納品などで時短になる、簡単なシェルコマンドで解決する方法を紹介します。 今回の課題 「顧客からデータを受け取る際、データが大量で10〜20ファイルに分割されたCSVファイルが送られてきた」 これらのデータを処理する際に、Jupyterで開くにしても、RDBに登録するにしても、データを一つのファイルにまとめたいですよね。 そこで、コピペで完了するシェルワンライナーを作成しましたので、その活用方法と使用方法をご紹介します。 コマンド awk '…

データクリーニング・前処理におけるピットフォールとして 『CSVファイルをExcelで開くと文字化けする』 があります。 これスモールデータならExcelでCSVファイルの中身を眺めることが気が付くことができるかもしれませんが、大きなデータでは文字化けしていることに気が付けない可能性があります。（そもそも大きなデータをExcelで開くこと自体が重さ・効率の面で好ましいとは言えなさそうなのですが） なので以下の問題が発生することに注意が必要です： CSVファイルをExcelで開く→文字化けする→気が付かずに上書き保存する→文字化けしたデータで解析を進めてしまう やはりデータは統計ソフト（RやST…