データ可視化

Web アプリケーションなどで日々蓄積されるログデータ、その他ちょっとしたデータを可視化・分析してみたくなったことは無いでしょうか？ データを可視化する際にぱっと思い浮かぶのは Excel だったりするでしょうが、データを Excel に貼って範囲指定してグラフを挿入して...と、非常に煩わしいものです。 データ サイエンスが注目される昨今、世の中には数多くのデータ分析・可視化ツールがありますが、ちょっとかじってみるにも、なかなか有償のものには手が出しづらく、使い方から調べるのも大変で最初の一歩が出ないことも多々あるかと思います。 そこで、Elastic 社からダウンロード版として入手も可能な…

プログラミングとプロダクト作りは楽しいよ, っていう「個人開発ネタ」の話です. スポーツ観戦, 具体的には野球のデータ分析DX（Digital transformation）*1を実現しました. 記事の前半はプロダクト企画とアーキテクチャ, 後半はDash（Python）を使ったマルチページ・データ・アプリケーション開発の話となります. TL;DR SpreadsheetとPythonのアプリケーションでいつでもメジャーリーガー（全選手）のパフォーマンスを好きな条件で可視化できるようにしたら野球が面白くなりました. https://example.com/batter/ohtani-shohe…

はじめに 導入決定の経緯 実施したこと 導入効果 まとめ はじめに NTTドコモ 第二プロダクトデザイン部の増子です。 コンシューマ向けサービスのシステム開発を担当し、 自分の業務がお客様に直接影響することの重大さをヒシヒシと感じながら仕事すること早1年半。 …Datadog1APM2を導入することになりました。 それまでDatadog何それ状態だった私がAPM導入までに過ごした日々を残したいと思います！ 導入決定の経緯 Datadogは導入済、ダッシュボードを使っての監視もしていました。 すでに出来上がったモノがあると潜在的な悩みには気づきにくいものですが、 さらに詳細にリソースをチェックす…

はじめに GLB事業部Lakehouse部の陳（チェン）です。 本日はDatabricks社より公開されたEnglish SDK for Apache Spark（以下English SDK）を利用し、気象情報を可視化することを試してみました。 本記事では、DatabricksのMarketplaceからのデータ取得から、ノートブック上でのAPI設定、データの可視化までの流れをご紹介いたします。 目次 はじめに 目次 English SDK for Apache Sparkというのは データ取得 English SDKの設定 (with Databricks Secret) 気象情報を可視化し…

日本プロ野球は北海道日本ハムファイターズ, メジャーリーグはオークランド・アスレチックスのファンをやっている者です. この両チーム, 共通点がまあまあありまして, 監督が外野手かつ現役時代が当該チームのセンター（もちろんスタメン）*1 良く言えばチームのスタンス, ひねった言い方をするとファイナンスの都合*2で「育成」という理由で若手選手を早期昇格して使いがち（そして下位に低迷する*3）. 高額のFA選手は基本獲得しない*4, なんだったらFA権を得た選手はほぼ確実に退団*5（引き止めても）. 「三振多いけど長打が出る」野手*6と, 「走る才能がずば抜けたセンター（なお他のスキル）*7」が大好…

こんにちは、NTTドコモサービスデザイン部の山川です。 普段の業務ではアジャイル開発のPO業務に取り組んでおり、AWS関連の技術に携わっています。 今回は、業務の中で得られたTipsを簡単ですが紹介したいと思います。 ■やったこと データの可視化についてこれまでTablueを中心に実施してきたが、AWSのシステムであればAWS内で完結できるQuickSightを使ってみよう！と思い立ち、実際にダッシュボードを作成してみた。 ■作成の流れ 1．データセットを作成 データセット：Athena経由でcsvファイルのデータをQuickSight側に取得してきたもの。 2．分析を作成 分析：ダッシュボー…

京都研究所の田中です。 マイクロアドでは、主にエンジニア以外のメンバーが広告配信実績などの各種データにアクセスする際はRedashを利用しています。 Redashを使えば気軽にクエリを作成でき、同じUIからいろいろなデータベースにアクセスしてデータを取得できます。 マイクロアドでのRedash活用については以前のブログ記事でも取り上げているのでご参照ください*1。 今回は、Redashのメタデータを使ってRedash上に作成されたクエリやダッシュボードの利用状況をモニタリングする方法をご紹介します。 Redashの利用状況をモニタリングすることの重要性 マイクロアドでRedashを使って作成さ…

こんにちは、皆さん！今日は、Amazon SageMaker StudioのJupyterLab環境で、Streamlitを使って簡単なWebアプリケーションを作成する方法についてお話しします。JupyterLabはデータサイエンティストにとって非常に強力なツールですが、そこにStreamlitを組み合わせることで、インタラクティブなダッシュボードやデータ可視化をさらに簡単に行うことができます。 SageMakerは、AWSが提供する機械学習プラットフォームで、データサイエンスに必要なすべてを統合した環境を提供しています。その中で、JupyterLabは特にデータ分析やモデル開発に便利なツール…

初見の文献のみ。自分の検索用。 足立浩平・山本倫生 (2024). 『主成分分析と因子分析—特異値分解を出発点として』共立出版. Burnham, K. P. P., & Anderson, D. R. (2010). Model selection and multimodel inference: A practical information-theoretic approach. Second edition. Springer. Gries, S. (2019). Ten lectures on corpus linguistics with R: Applications for …

市場概要 2023年の世界的な電動空気清浄式呼吸用保護具の市場規模は25億2830万米ドルと評価され、2024年から2030年にかけては年平均成長率(CAGR)6.8%で成長すると予測されています。この業界の成長は、さまざまな感染性生物災害の発生と、最近の新型コロナウイルス(COVID-19)の大流行によって牽引されると見込まれています。パンデミックにより、再利用可能なエラストマー製ハーフフェイスピースマスクやN95 FFRと比較して、コロナウイルスから最大限の保護を提供できることから、医師や医療従事者によるこれらの製品の使用が増加しました。2021年の初めから、すべての企業が通常通りの業務…

市場概要 世界の硫酸アンモニウム市場規模は2023年に31.4億米ドルと推定され、2024年から2030年までの年間複合成長率(CAGR)は7.0%で成長すると予測されています。市場成長の要因としては、農業分野で広く使用されている窒素肥料の製造における硫酸アンモニウムの需要増加が挙げられます。市場は固形硫酸アンモニウムの消費によって大きく牽引されています。しかし、水処理の需要が、液体の需要を牽引すると予測されています。 硫安市場の成長は、窒素と硫黄を含む化学物質であることから、肥料としての消費によって牽引されています。硫安は主に、アルカリ土壌の酸性度を低減するために使用されます。硫安は窒素元…

市場概要 2023年の世界的な電動空気清浄式呼吸用保護具の市場規模は25億2830万米ドルと評価され、2024年から2030年にかけては年平均成長率(CAGR)6.8%で成長すると予測されています。この業界の成長は、さまざまな感染性生物災害の発生と、最近発生した新型コロナウイルス(COVID-19)の大流行によって牽引されると予想されています。このパンデミックにより、再利用可能なエラストマー製ハーフフェイスピースマスクやN95 FFRと比較して、コロナウイルスから最大限の保護を提供できることから、医師や医療従事者によるこれらの製品の使用が増加しました。2021年の初めから、すべての企業が通常…

市場概要 世界の液体肥料市場規模は2023年に26.3億米ドルと推定され、2024年から2030年にかけては年平均成長率(CAGR)4.4%で成長すると予測されています。高効率肥料の需要拡大により、液体肥料の需要が高まっています。この製品は、水資源や土壌の質を維持する環境にやさしい方法で、作物の成長に最適な栄養素を提供します。これにより、液状水溶性肥料の需要が促進されると見込まれています。その結果、市場参加者は、この需要の高まりに対応するために、製品ラインナップの拡大を進めています。 液状肥料は、液状植物栄養素とも呼ばれ、植物に必要な栄養素を含有する高濃度の溶液です。植物は、根や葉からこれら…

市場概要 世界の人工肘関節置換市場規模は2023年に1億3840万米ドルと評価され、2024年から2030年にかけては年平均成長率(CAGR)8.74%で成長すると予測されています。整形外科疾患、骨粗しょう症、骨関節炎の有病率の増加が、市場成長の主な要因となっています。関節炎財団の推計によると、米国における関節炎の有病率は、2040年までに7,800万人を超えると推定されています。さらに、外傷や骨折につながるスポーツや運動への参加の増加が、肘関節置換の需要増加に寄与しています。 人工肘関節置換術の必要性は、新型コロナウイルス感染症(COVID-19)のパンデミックにより大幅に妨げられました。…

市場概要 世界的な細胞毒性薬市場の規模は2023年に148億米ドルと評価され、2024年から2030年にかけては年平均成長率(CAGR)5.7%で成長すると予測されています。がんによる世界的な負担の増加、人口の高齢化、がん治療の進歩は、市場成長を促進する注目すべき要因の一部です。がん研究の継続的な進歩により、有効性の向上と副作用の低減を実現した新規の細胞毒性薬剤が発見され、市場全体の成長に新たな道筋が提供されました。がんによる負担に対処するための複数の国々における製品承認件数の増加は、患者の治療成績の向上につながる製品需要をさらに押し上げるでしょう。 COVID-19のパンデミックは細胞障害…

市場概要 世界の自動車用金属市場規模は2023年に1674.5億米ドルと推定され、2024年から2030年にかけては年平均成長率(CAGR)4.4%で成長すると予測されています。自動車産業からの二酸化炭素排出削減を目的とした厳しい規制により、予測期間においてアルミニウムやマグネシウムなどの軽量金属の需要が増加しています。 車両重量を10%削減することで、燃費を6~8%改善することができます。これを実現する一つの方法として、従来の鋼鉄や鋳鉄の部品をアルミニウムやマグネシウム合金、高張力鋼板などの軽量素材に置き換えることが挙げられます。これにより、車両のボディやシャーシの重量を最大50%削減でき…

市場概要 2023年のグローバルなミリ波技術市場規模は37.5億米ドルと評価され、2024年から2030年にかけては年平均成長率(CAGR)39.7%で成長すると予測されています。ミリ波(mmWave)は、30GHzから300GHzの波長を持つ帯域スペクトルです。ミリ波技術は、高速データ転送、低遅延、膨大な数のデバイスを同時にサポートする能力といった潜在的可能性により、人気が高まっています。帯域幅を大量に消費するアプリケーションに対する需要の高まり、5G通信におけるミリ波の利用、モノのインターネット(IoT)の高速化に対する需要が、市場の成長を後押ししています。 国際電気通信連合(ITU)は…

市場概要 世界のK-12教育市場規模は2023年に2兆5000億米ドルと評価され、2024年から2030年にかけては年平均成長率(CAGR)12.5%で成長すると予測されています。市場の成長は、ゲームベースの学習の採用が拡大していることが要因です。この学習法は、生徒の学習への関心と意欲を高めながら、個別化された学習体験を促進し、問題解決や批判的思考などの重要なスキルを育成します。さらに、個別指導やリアルタイムのフィードバックを可能にする人工知能や、仮想現実/拡張現実などの先進技術の統合により、没入感のある学習環境が生まれています。また、K-12教育への資金援助の増加、STEM教育、教授法や教…

市場概要 グローバルなテスト・アズ・ア・サービス市場の規模は2023年に45.4億米ドルと推定され、2024年から2030年にかけては年平均成長率(CAGR)14.0%で成長すると予測されています。 機能や依存関係を含むソフトウェア開発の複雑化に伴い、包括的なテストアプローチが必要となり、テスト・アズ・ア・サービス(TaaS)の需要が高まっています。より迅速な開発を目的としたアジャイルや DevOps といった手法への業界のシフトは、効率的なテストソリューションを必要としており、オンデマンドのスケーラビリティと専門知識を備えたTaaSが適しています。 TaaSは、企業にとって大幅なコスト削減…