データ解析

最近、dbscanというクラスタリング手法が使われてるのを発表で見かけた気になったので調べてみたメモ 参考記事 qiita.com dbscanについてメモ dbscanのパラメーターは eps epsが小さすぎるとき、多くのデータ点がノイズになり、クラスタの数が増える epsが大きすぎるとき、全てのデータ点が一つのクラスタに分類される可能性がある min_samples 値が小さすぎるときは、過剰なクラスタが形成される可能性がある 値が大きすぎるときは、クラスタ数が少なくなりすぎ、あるいは全てのデータ点がノイズになる可能性がある min_samplesの値は、クラスタの「密度」を制御する。具…

株式会社スペースシフトの第16期（令和6年12月31日現在）の決算公告が掲載されましたので、その概要をピックアップします。 20241231_16_スペースシフト決算 第16期 決算のポイント（単位：百万円） 資産合計: 417 (約4.2億円)負債合計: 31 (約0.3億円)純資産合計: 386 (約3.9億円)当期純損失: 253 (約2.5億円) 今回の決算では、当期純損失として253百万円（約2.5億円）が計上されています。これは、世界最先端の技術開発に挑むディープテック・スタートアップとしての、研究開発への大規模な先行投資を反映したものです。628百万円（約6.3億円）という潤沢…

AIとスポーツ：パフォーマンス向上の秘訣 AIとスポーツ：パフォーマンス向上の秘訣 目次 はじめに：スポーツ界におけるAI革命 AI分析とテクノロジーの融合：未来のスポーツ戦略 実践事例：AIが生み出す革新的トレーニングと戦術 未来のスポーツシーン：技術革新がもたらす可能性と課題 まとめと行動喚起：あなたもAIで未来を変えよう 1. はじめに：スポーツ界におけるAI革命 近年、スポーツ界ではテクノロジーの急速な進化に伴い、AI（人工知能）の活用が急速に拡大しています。 従来、戦略やトレーニングはコーチの直感と経験に大きく依存していたのに対し、今や膨大なデータ解析に基づいた科学的アプローチが導入…

現代のデジタル社会において、データは企業や研究者にとって最も貴重な資産の一つとなっています。特に、クローリング技術を活用したデータ収集は、大量の有益な情報を取得するための重要な手段となっています。本記事では、データ収集（クローリング）とは何か、そしてそれが現代社会においてどのように活用されているのかを簡単に紹介します。 1. データ収集（クローリング）とは？ データ収集（クローリング、Web Scraping または Web Crawling）は、プログラムを使用して自動的にウェブページにアクセスし、特定の情報を抽出する技術です。クローラーは、ユーザーがウェブサイトを閲覧するのと同じようにペー…

データ分析を行う際、異常値（外れ値）の検出は非常に重要です。異常値はデータの傾向を歪め、誤った結論につながる可能性があります。異常値を特定する方法の中で、**Zスコア（Z-score）とIQRルール（IQR Rule）**は特によく使われます。本記事では、それぞれの計算方法、メリット・デメリット、実際の活用方法について詳しく解説します。 1. Zスコア（Z-score）とは？ 1.1 Zスコアの定義 Zスコアとは、データの値が平均からどれだけ離れているかを標準偏差の単位で測る指標です。標準化（Normalization）の手法の一つとしても使われます。 Zスコアは以下の式で計算されます： ：対…

データクリーニング・前処理におけるピットフォールとして 『CSVファイルをExcelで開くと文字化けする』 があります。 これスモールデータならExcelでCSVファイルの中身を眺めることが気が付くことができるかもしれませんが、大きなデータでは文字化けしていることに気が付けない可能性があります。（そもそも大きなデータをExcelで開くこと自体が重さ・効率の面で好ましいとは言えなさそうなのですが） なので以下の問題が発生することに注意が必要です： CSVファイルをExcelで開く→文字化けする→気が付かずに上書き保存する→文字化けしたデータで解析を進めてしまう やはりデータは統計ソフト（RやST…

2024年の10月もいつにも増して暑い１ヶ月だったように思います。10月19日には，東京都心で最高気温が30.1度を記録し，観測開始以来最も遅い真夏日となりました。福島県や静岡県などでも，真夏日の地点が相次いだようです。 www.sponichi.co.jp そんな暑かった10月の空を切り取ってみました。 行合の空（ゆきあいのそら） 東京の10月の気温推移 参考図書・参考URL 行合の空（ゆきあいのそら） 季節の変わり目，特に夏から秋に変わる時期は「行き合い」と呼ばれます。その頃の空を「行合の空」と呼び，古くは平安時代の和歌にも詠まれているんだそうで。 行合の空では，空高くに秋の空，空の低いと…