【data mining】 大規模なデータベースの情報を解析して、新奇かつ有益な知見を引き出す技術。
TL;DR データ分析コンペであるKDDCUP 2024 OAG-AQA にて6位 入賞したので、入賞解法を紹介します。 KDD概要と現地参加した発表の様子はこちらの記事をご覧下さい。 はじめに NTTドコモ クロステック開発部の鈴木明作です！ ドコモR&Dでは、データマイニング国際学術会議であるKDDで開催されているKDDCUPに毎年参加しており、 KDDCUP 2024 OAG-Challengeの一つであるOAG-AQA(Open Academic Graph - Academic Question Answering)にて、約300チームの中で6位入賞することができました。 この記事で…
データ分析コンペであるKDD2024にて、ドコモの2チームが3つのタスクで入賞(6位・6位・8位)しました。手法詳細は以下をご覧ください タスク１nttdocomo-developers.jp タスク２nttdocomo-developers.jp タスク３nttdocomo-developers.jp 昨年度のKDD2023の様子はこちら nttdocomo-developers.jp 私たちの成果はテクニカルジャーナルおよび表彰のページにも掲載されていますので、ぜひご覧ください 本記事では今回参加した国際学会であるKDD2024について、現地の様子をメインに紹介します KDDとKDDCUP…
自分自身スクレイピングやクローリングで研究したりするのですが，その際にいつも思いつく疑問とそれに対する答え・根拠をまとめます． そもそもスクレイピングは合法？ スクレイピングしたものの著作権は？ Webサイトにスクレイピング禁止と書かれている場合は？ リクエストの間隔は1秒あければよい？ スクレイピングしたデータの解析，ブログや論文などで公開していい？ スクレイピングしたデータの解析をもとにしたサービスを提供して金銭を得ていい？ 結論 ※スクレイピングする際は自己責任でお願いします． そもそもスクレイピングは合法？ 全てスクレイピング＝合法とは言えない．ただスクレイピングの基本動作はWebサイ…
2023年もあっという間に終わります。１年は早いと毎年、思うのですが、その早さは歳を重ねる毎に加速しているような気がします。今年１年、わたしが投稿したブログを「ユーザーローカル テキストマイニング（https://textmining.userlocal.jp/）」というツールを使って「スコア」による分析をしたら、以下の結果となりました。情報セキュリティは、このブログの骨格ですので、目立つのは当然です。情報セキュリティに関係が深い、パスワードや個人情報もやはり目立ちますね。概ね、想定通りの結果ですが、異質な感じを受けるのが「韓国ドラマ」というキーワードです。現在、わたしは、ネットフリックス、A…
TL;DR データ分析コンペであるKDD2023にて、ドコモの2チームが入賞(6位、9位)しました。手法詳細はこちらを御覧ください。 本記事では今回参加した国際会議であるKDD2023について、現地の様子をメインに紹介します はじめに はじめまして、NTTドコモ サービスイノベーション部の前沖です！ ドコモR&Dでは、データマイニングの世界最高峰の国際学術会議であるKDDで開催されているKDDCUPに毎年参加しており、 今年はKDDCUP2023のTask3において、ドコモの2チームが上位入賞(NTT-DOCOMO-LABS-RED 6位、NTT-DOCOMO-LABS-BLUE 9位)しまし…
TL;DR データ分析コンペであるKDD2023にて、ドコモの2チームが入賞(6位、9位)しました。 コンペの概要と入賞した2チームの解法を紹介します。 はじめに NTTドコモ クロステック部の鈴木明作です！ ドコモR&Dでは、データマイニングの世界最高峰の国際学術会議であるKDDで開催されているKDDCUPに毎年参加しており、 今年はKDDCUP2023のTask3において、ドコモの2チームが上位入賞(NTT-DOCOMO-LABS-RED 6位、NTT-DOCOMO-LABS-BLUE 9位)しました。 ドコモは2016年からKDD CUPへの参加を始め、2016年ファイナリスト、2019…
要するに私の手の届かないところでコンピューティングは進化しているということである。キャッチアップcatchupは出来るのだろうか。 コンピューティング第15回 - F-nameのブログ -----講義録始め----- -----CHATGPTの説明の2回目----- この講義では、まずハイパフォーマンスコンピューティングについて議論します。これは、科学、工学、ビジネスなどの分野で複雑な問題を解くために、高度に計算能力のあるコンピュータを利用する手法を指します。超並列計算とは、大量のプロセッサを並行して働かせることで計算速度を高める技術で、グリッドコンピューティングは、ネットワーク上の異なる地理…
無料で使えるデータマイニングツール一覧 RapidMiner www.rapidminer.jp データマイニング、機械学習、ビジュアルアナリティクスなど、様々なタスクに対応したオープンソースのツールです。ユーザーインターフェイスが直感的であり、機械学習やデータマイニングに関する知識がなくても使いやすいです。 KNIME knime-infocom.jp オープンソースのツールであり、データマイニング、機械学習、ビジュアルアナリティクスなどのタスクに対応しています。ユーザーインターフェイスが直感的であり、複雑なデータ処理パイプラインを簡単に構築できます。 Weka weka-jp.info オ…
BIツールって何？って感じになったので 今日はBIツールについて調べていきます。 BI（Business Intelligence）ツール BIツールは、 企業に蓄積された大量のデータを集めて分析し、可視化するツールのことです。 経営管理や売上のシュミレーションなどに活用され、近年導入する企業が増えています。 メリットとしては、 ・レポート作成が短時間で出来ること ・膨大な情報の分析を素早く行えること ・専門家でなくてもデータ分析が可能なこと が挙げられます。 データウェアハウス ウェアハウスとは「倉庫」という意味です。 データウェアハウスは、業務でさまざまなデータを時系列で保管したものです。…
〜ニュースに取上げられない、独自の生態系を貫く株式銘柄への集中投資〜 ＊本内容は株式会社日本取引所グループが開催している「日本取引所グループ ニュース分析チャレンジ」に関したブログです。2021年4月28日 ”Deep Sea Portfolio”のパフォーマンス 業績好調ではあるが、ニュースに取り上げられた企業とそうでない企業 深海の生命体のようなニュースに取り上げられなかったものの、高い「成長率」・「収益性」・「効率性」を保つ、”Deep Sea Portfolio”ともいうべき上場企業5社を改めてみてみましょう：比較対象としたのは日本証券取引所グループのニュース分析チャレンジで提供されて…
アンビエント照明の市場規模は2024年に907.5億米ドルと評価され、2031年には2005.4億米ドルに達すると予測されています。2024年から2031年の年平均成長率は10.42%です。 アンビエント照明とは、空間を照らし、ムードを演出する主要な光源です。 一般照明とも呼ばれます。 環境照明は、部屋全体がはっきり見えるほど快適で明るくなければなりませんが、まぶしさや眼精疲労を引き起こすほど強くはありません。 クリアな視界と安全なナビゲーションのために適切な明るさを提供します。 リビングルーム、職場、廊下など、どの部屋にも必要不可欠です。 アンビエント照明は、その場所に特定のムードや雰囲気を…
さまざまな業界、特に物流や海上業務における効率性と自動化のニーズの高まりが、自動識別システム（AIS）市場の拡大を後押ししています。この拡大は、拡大する国際貿易と海上交通に対応する船舶追跡、海洋安全保障、効果的な交通管理の改善に対する需要によって牽引されています。Verified Market Researchのアナリストによると、自動識別システム市場は、2024年に約2億9475万米ドルと評価された後、予測期間中に4億6802万米ドルの評価額に達すると推定されています。 また、商用船へのAIS実装のための法的義務や、衛星ベースのソリューションの利用増加が、包括的な海域認識と安全を可能にするこ…
電子処方箋市場規模は2024年に23.3億米ドルと評価され、2031年には10.31億米ドルに達すると予測されています。2031年までに310億ドル、 2024年から2031年までの年平均成長率20.40%で成長すると予測されています。 電子処方箋は、医療従事者が患者に電子的に薬を処方できるデジタルシステムです。 医師は処方箋を紙に書く代わりに、ソフトウェアを使用して電子処方箋を作成し、薬局に直接送信することができます。 これにより、手書きの処方箋が不要になり、ミスや不正のリスクが軽減される。 電子処方システムは、電子カルテ（EHR）システムと統合できるため、医療従事者は患者の情報や病歴にリア…
歯科用接着剤の市場規模は2024年に26億1000万米ドルと評価され、2031年には38億6000万米ドルに達すると予測されています。2024年から2031年までのCAGRは5.00%です。 歯科用接着剤は、歯の表面に様々な材料を取り付けるために歯科で使用される特定の化学物質です。 クラウン、詰め物、ベニアなどの歯科修復物を歯質に固定するための接着剤として機能します。 この接着剤は、これらの歯科修復物を所定の位置に保ち、適切に機能させるために不可欠です。 歯科用接着剤は、歯のエナメル質または象牙質と修復材料との間の強力な結合を形成することを意図しており、したがって、歯科治療の寿命と有効性を向上…
コンテンツレコメンデーションエンジン市場規模は2024年に74.8億米ドルと評価され、2031年には1140.8億米ドルに達すると予測されており、2024年から2031年の年平均成長率（CAGR）は40.58%で成長すると予測されています。 コンテンツ・レコメンデーション・エンジンは、消費者の興味、行動、交流に基づいて適切な情報を推薦するアルゴリズムを採用したシステムです。 閲覧履歴やエンゲージメントパターンなどのユーザーデータを分析することで、パーソナライズされたレコメンデーションを提供し、ユーザーエクスペリエンスとエンゲージメントを向上させる。 ユーザーの行動や嗜好を分析し、エンゲージメン…
GPSウォッチトラッカーの市場規模と予測 GPS Watch Trackerの市場規模は、2024年に17.2億米ドルと評価され、2024年から2031年の予測期間中に6.78％のCAGRで成長し、2031年までに27.7億米ドルに達すると予測されています。 今日、人々は消費者の間でGPSウォッチトラッカーの成長につながるより健康志向になってきている市場の需要が増加します。若者の間でウェアラブル技術のトレンドの上昇はまた、市場の成長につながります。GPSウォッチトラッカーの世界市場レポートは、市場の全体的な評価を提供します。主要セグメント、動向、促進要因、阻害要因、競争環境、市場で重要な役割を…
HVACダクト清掃ロボットの市場規模と予測 HVACダクト清掃ロボットの市場規模は2024年に8億9000万米ドルと評価され、2031年には2億2390万米ドルに達すると予測され、予測期間2024-2031年のCAGRは7.60%で成長すると予測されます。 HVACダクト清掃ロボットの世界市場は、生産コスト、人件費、原材料と市場の組み合わせ速度、サプライヤー、価格動向を考慮して監督されています。また、サプライチェーン、バイヤー、購買戦略など、その他の要因についても概算しています。これらのダクト清掃ロボットはそれぞれ、点検調査、清掃、スクラブ、吸塵などの特定の目的のために成熟しています。これらの…
血管造影カテーテル市場は、いくつかの要因により需要が急増している。 主に、冠動脈疾患や脳卒中などの心血管疾患の有病率の増加により、診断および介入処置の必要性が高まっている。 これらのカテーテルは血管を可視化し、血管形成術やステント留置術のような低侵襲治療を行う上で重要な役割を果たしている。 市場規模は2024年に13.7億米ドルを突破し、2031年には24.2億米ドルの評価額に達する見込みです。 改良された材料、より小さな直径、強化されたイメージング機能など、カテーテル技術の進歩により、カテーテルはより効果的かつ低侵襲になり、需要をさらに促進している。 心血管疾患に罹患しやすい高齢化人口の増加…
ヘキサンの市場規模は2024年に20億米ドルと評価され、2031年には23.1 億米ドルに達すると予測されています、 CAGR 3.40%で成長すると予測されています。 ヘキサンは、1分子あたり6個の炭素原子と14個の水素原子からなる無色揮発性の液体炭化水素化合物で、化学式はC6H14。 アルカンに分類され、精製過程で原油から抽出される。 ヘキサンは、抽出、脱脂、糊や接着剤の成分など、さまざまな工業用途の溶剤として広く利用されている。 油脂やその他の非極性物質を効果的に溶解する能力が評価されている。 しかし、ヘキサンは非常に可燃性が高く、長時間暴露すると呼吸器系への刺激や神経障害などの健康被害…
自動車用テレマティクスの市場規模は、2024年には124億2,000万米ドルと評価され、2031年には440億2,000万米ドルに達すると予測されています。2031年までに220億ドル、 2024年から2031年までのCAGRは17.20%で成長する。 自動車テレマティクスは、自動車における電気通信と情報技術の統合である。 車両と遠隔地のコンピューターやサーバーとの間でデータを無線伝送する。 この技術により、リアルタイムの監視、制御、通信が可能になる。 テレマティクス・システムは、車両の健康状態を監視し、潜在的な問題を検出することで、事前予防的なメンテナンスを可能にし、ダウンタイムを削減します…
自動電圧安定装置の需要は、いくつかの要因により増加傾向にある。 家庭用と商業用の両方で繊細な電子機器への依存が高まっているため、これらの機器を電圧変動から保護することが不可欠になっています。 これらの変動は、電子部品の損傷、誤動作、寿命の低下を引き起こす可能性があります。 特に製造や技術に携わる産業は増加の一途をたどっており、最適な操業のためには安定した電力供給が必要です。 自動電圧安定装置は、安定した電圧レベルを確保し、中断や生産性の低下を防ぎます。 市場規模は、2024年には6億1,155万ドル（約6.6億円）を突破し、2031年には8億1,384万ドル（約8.6億円）に達する見込みです。…
石油・ガス用水中モニタリング装置市場規模は、2024年に22億5000万米ドルと評価され、2031年には 34億5000万米ドルに達すると予測され、 2024年から2031年までのCAGRは6.05%で成長すると予測されています。 深海探査における石油やガスの埋蔵量を監視する必要性の高まりや、海底システムの運用・保守の複雑さなどの要因が、世界の石油・ガス用海中監視システム市場の成長を後押ししています。 この調査レポートは、石油・ガス用海中モニタリングシステムの世界市場を総合的に評価・分析しています。 主要セグメント、動向、促進要因、阻害要因、競争環境、市場で重要な役割を果たしている要因などを包…
高齢者は股関節置換術を必要とする変形性関節症などの疾患にかかりやすいため、世界的な高齢化が需要の増加に大きく寄与している。 セラミックや改良された金属合金のような耐久性のある材料へのシフトのような、インプラントの材料と設計の進歩は、インプラントの寿命と患者の転帰を向上させ、2024年には63.8億米ドルの評価額を突破し、2031年には約84.4億米ドルの評価額に達する市場規模を牽引しています。 インプラントの耐久性の向上、合併症の減少、術後の回復の改善に焦点を当てた継続的な研究開発の取り組みにより、市場は2024年から2031年までのCAGR 3.94%で成長することができます。 股関節置換イ…
電気SCADA市場の規模と予測 Electrical SCADA市場規模は2024年に172万米ドルと評価され、2031年には308万米ドルに達すると予測され、2024年から2031年までの年平均成長率は7.55%です。 電気SCADA市場の需要は、様々な産業におけるオートメーションシステムと遠隔制御アプリケーションの展開の増加により大幅に増加しています。IoT技術とクラウドコンピューティングの発展により、Electrical SCADA市場の成長余地が拡大しています。世界のElectrical SCADA市場レポートは市場の全体的な評価を提供します。主要セグメント、動向、促進要因、阻害要因、…
医療用バイオMEMSとマイクロシステムの市場規模と予測 医療用バイオMEMS・マイクロシステム市場規模は、2024年に59億米ドルと評価され、2024〜2031年の予測期間中に13.20％のCAGRで成長し、2031年までに137億米ドルに達すると予測されています。 モバイルケアアプリケーションのニーズの高まりや、疾患の早期診断に役立ち死亡率を低下させる患者モニタリング機器の開発は、予測期間中に医療用バイオMEMS・マイクロシステムの世界市場を前進させるでしょう。さらに、生物学的システムを理解するために不可欠なグローバルヘルス＆アプリケーションの作成におけるBioMEMSの使用の拡大と、幅広い…
iisssseeiiii.hatenablog.com
ch.nicovideo.jp
ocwx.ocw.u-tokyo.ac.jp
next49.hatenadiary.jp
kunimiya.hatenablog.com
www.slideshare.net
yanashi.hatenablog.com
antibayesian.hateblo.jp
tjo.hatenablog.com
