前処理

はじめに スケーリングとは 代表的なスケーリング手法 正規化 標準化 Box-Cox変換によるスケーリング ダム流入量データのスケーリング 使用データ MATLABサンプルコード 各スケーリング結果の比較 まとめ はじめに AIモデルを構築する際、データの前処理は非常に重要です。 今回は、AIの前処理の一部であるスケーリング手法に焦点を当て、BoX-CoX変換について詳しく説明します。 BoX-CoX変換はあまり一般的に知られていないかもしれませんが、非常に有用なスケーリング手法です。 私はMATLABを使用してデータ分析をすることが多いため、Box-Cox変換のコードも提供します。 AIの基…

前回も書いたように、実際にデータ分析するためには、データを読み込み、読み込んだデータの前処理をして、そして分析に使えるように加工してそれを書き出してファイル化して初めて準備ができたことになる。 mnoguti.hatenablog.com 前回の記事で紹介した参考文献は、RStudioの利用を前提として「Rを用いて一連のデータ分析ワークフローを遂行するためのガイドブック」であり、想定読者は、「Rでデータ分析をする、あるいはしたいと思っているすべての方」と位置付けられていた。扱う対象はあくまでも分析ワークフローであって、分析そのものではない。今回、紹介する参考文献も、書名に「分析入門」とあるが、…

データ*1で世の中の構造や動きを明らかにしたい。2010年代初頭、IoTの進展に伴うデジタルデータの利用可能性の高まりによる民間企業の取り組み、その後のデジタルトランスフォーメーション（DX）を推進する官公庁の取り組み、またEBPM（証拠に基づく政策立案）の推進や公教育における情報教育の充実によりデータの利用が大きく増えることが予想される。一方、PCの高性能化やエクセルやR言語等のデータ分析用ソフトの普及、、Python等によるAI・機械学習の応用、ITパスポート等の各種資格の充実で我々がデータ分析で何かをやろうと考える環境も整えられた。 [情I703] 高校情報Ｉ Python 情報科用 高…

サファイア基板の熱処理とピラニア溶液処理について サファイアはアルミナ (Al2O3) の単結晶です。不純物がなければ無色透明で化学的安定性の高い酸化物です。その単結晶を特定の面方位で切り出して研磨したものがサファイア基板です。腕時計などの窓材にも使われますが、半導体薄膜を形成するときの基板にも用いられます。代表例は窒化ガリウム系のLEDを作る時の基板でしょう。国内では、京セラ、信光社、並木宝石が主なメーカーです。 サファイアの融点は約2000℃にありますが、1000℃以上にサファイア基板を加熱すると、表面からアルミナがわずかに蒸発していき、平坦化して、表面に原子レベルのステップ＆テラス構造が…

先輩がlambdaなるものをコードで書いていて「なんじゃこりゃ？」と思って調べました。どうやら無名関数というものらしいです。こちらが簡潔に書いてあって概要は掴めます。qiita.com そのまま引用させていただくと、無名関数だけあって書くのは楽に見えます。 とは言え初学者にとっては「逆に分かり辛くね？」と思ってしまってスルーしていたんですが、「関数の中に関数を用いるときは便利かもなー」なんて思ったりしています。例えば前処理するとき。こんな文書のデータがあったとして文書を文に分割したいとき #文に分割 def split_sentence(df): #文頭、文末の空白文字を削除 df["full…

こんにちはKHnodeです。 なんやかんやでpart6になってしまいましたが今回も調べていたらいい感じの特徴量を見つけてきたのでそれを作成しようと思います。今回はスピード指数の作成ということでこちらを参考にしました。西田式スピード指数 西田式スピード指数 Official Website では早速コードを書いていこうと思います。 df01['conditionindex'] = 0 df01['conditionindex'].mask((df01['condition'] == '良') & (df01['turf'] == '芝'), -25, inplace=True) df01['co…

DEMの違い：SRTMとALOS Google Earth Engineに入っている全球で使えるDEMは2種類。どちらも解像度30mだけど、SRTMはおよそ90m解像度のものを内挿してして30m1に、ALOSのは2.5m？だかの高精細なものをアップスケールして30mにしているという違いがある。この違いがTerrain Flatteningしたときはどう変わるか見てみる。 生駒 元のデータは2020年8月のDESCENDINGのVVデータ。違いは微妙だな。ALOSの方が落ち着いて見えるかな？程度。 左：NASA SRTM Digital Elevation 30mで補正、右：ALOS DSM: …

🐉 グォォォオオ！ Hello,World!! ドラゴンだ！ 🐉ちなみに好きなスラムダンクのキャラクターは仙道くんだぜ！ 営業👦...o(納期ギリギリの変更だけど...それでもエンジニア君なら、エンジニア君ならやってくれる）← 💢 🐉今回はZodバリデーションでちょっと詰まった文字列数値の制限について記載します！ Zodを使用した数値入力のバリデーション方法 問題の背景 解決方法 方法1: 数値として検証する 方法2: 文字列として検証し、数値の範囲を確認する フォームコンポーネントの修正 まとめ 参考リンク Zodを使用した数値入力のバリデーション方法 ウェブアプリケーションの開発において、…

華やかで洗練された印象を与えるパーソナルカラーサマー。似合う髪色を選ぶことで、より魅力的になる方法を見つけましょう。本記事では、サマーに特にマッチする髪色の特徴や選び方、スタイリングのアイデアをお届けします。 サマータイプの方は、クールで柔らかな色味を持つ髪色が似合います。理由は、サマーの特性であるブルーベースが髪色によって引き立つからです。具体例としては、アッシュ系のカラーやブルーを含んだトーンが挙げられます。一方で、肌色や目の色とのバランスも重要ですので、一概に似合う色を一つに絞ることはできません。 髪色を選ぶことで、あなたの個性を際立たせることができるため、一度挑戦してみてはいかがでしょ…

About arXivに掲載されたcs.AIの論文を検索し、一部をリスト化したものです。 AIによってAbstractを日本語に翻訳しており、内容に誤りがある可能性があります。 リスト件数: 48件 Action-Agnostic Point-Level Supervision for Temporal Action Detection http://arxiv.org/abs/2412.21205v1 Shuhei M. Yoshida, Takashi Shibata, Makoto Terao, Takayuki Okatani, Masashi Sugiyama NEC Corpora…

もうすぐ新年と言うことで1年死なずに生きられたよ。何だかんだいいことづくめ、振り返り。 今年はこのゲレンデを手に入れたことでハッピーに過ごせたと思う。 資格*1取りまくった Duke University AI Product Management University of Illinois Urbana-Champaign Business Analytics ESSEC Business School Strategic Business Analytics 2024年の私生活 2025年にやりたいこと 勉強方面 学会発表は1件はMust、余裕があったら国際学会行きたい 学術系な何かをや…

こんにちは！カイです！ AI（人工知能）は、今や日常生活やビジネスに欠かせない存在ですが、「どうやって作られているの？」と疑問に思う方も多いのではないでしょうか。この記事では、AIの仕組みを深掘りしながら、その開発プロセスをわかりやすく解説します！ 1. AIの種類：目的別に作られる AIはその目的に応じて作られます。例えば： • タスク特化型AI：特定の問題を解決するために設計されたAI（例：画像認識や音声アシスタント）。 • 汎用AI（研究段階）：広範なタスクをこなせるように設計されたAI。 AIは「特定の課題を解決するための道具」という視点で捉えると、どのように作られているかがわかりやす…

はじめに 配列の要素をランダムな順に並び替える「シャッフル」は、ゲーム分野 (ポーカーや麻雀など) のみならず、機械学習の前処理など、幅広く利用されています。 本稿では、このシャッフルを均等に、かつ高速に行う手法について紹介します。 ランダムソート まずは悪い例から順を追って見ていきましょう。 こういったコードを見た、あるいは書いた経験のある方も多いかと思います。 static IEnumerable<T> LinqShuffle<T>(IEnumerable<T> source) { return source.OrderBy(_ => Random.Shared.Next()); } 乱数…

2024 年も色々やりましたので活動を振り返ります。 目次 目次 本 グラフニューラルネットワーク ★ 深層ニューラルネットワークの高速化 ★ 論文 Training-free Graph Neural Networks and the Power of Labels as Features Overhead-free User-side Recommender Systems ブログ モデルパラメータの算術 ★ 大学で読んだ情報科学関連の教科書 ★ トランスフォーマーは RNN である ★ サービス開発 Readable Amax 講演 クリック率を最大化しない推薦システム ★ Introd…

私は、けっこう「人間」であるという枠組みに収まることが、苦手です。 例えば・・・ 「人間だから」 「一日で睡眠時間をある程度取らなきゃいけない」 「夜は寝て、明日の朝起きて」 「家事の仕事の朝食作りをしなければならない」 っていう、「人間生活の世界観」に、けっこうずっぽしハマっているんですけど、 これってそもそも「私がデザインしたり設計したり、あるいは求めて得たものじゃないな」という認識もあります。 人生とは・・・ 「気づいたら（物心ついたら）、わけもわからず車に乗ってハンドルを握っていた」 「で、周りも車を運転していて」 「なんか競争があったり、破滅的な自動車同士の事故が起こったりしている」…

初めて取り組んだこと・学んだこと一覧 コーディング フロントエンドをちょっと齧った HTML & CSS UdemyとProgateで学習した 最初はタグの曖昧な理解程度だったが、今はそれなりにわかるようになった TypeScript & React ハッカソンでお世話になった。学習の過程でClaude 3 Opusにめっっちゃ聞きまくった なんもわからんからちょっと分かるになった ロードマップクソ大変そうだがとりあえずやってみようという気持ちになった コーディング以外 将棋 同期とメンターがやっていたので、共通の話題が欲しくて始めた 初めは駒の動かし方もおぼつかない状態だったが、通勤時間に詰…

ピペットチップ 世界総市場規模 QYResearch調査チームの最新レポートである「ピペットチップ―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」によると、2022年から2028年の予測期間中のCAGRが9.4%で、2028年までにグローバルピペットチップ市場規模は24.5億米ドルに達すると予測されている。 ピペットチップ 世界総市場規模 上記の図表／データは、QYResearchの最新レポート「ピペットチップ―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」から引用されている。 世界の ピペットチップ 市場におけるトップ16企業のラン…

メインのデスクトップPCにグラフィックボードを導入しました。中古で1か月保障付きで7,980円でした。目的は、PixInsightのTerminator 3兄弟の高速化です。月夜会で導入事例が紹介されたこともあり、ぜひやってみたいと思っていました。 全てのインストールを完了して、さっそくPixInsightで使用してみると、ネットの情報通り、SXT,BXT,NXTは全て３－５倍の速度になっていました。コマンドラインで進捗がどんどん進んでいくのを見ているのは気持ちが良いです。写真表示時間も短縮したように思います。良い買い物をしたと思っています。 今回導入したのは、NVIDIAのGeforce G…

3行まとめ Sony Interactive Entertainmentsは19日、11月に発売された「Play Station 5 Pro」に搭載されたGPUの詳細を明らかにしました。