データマイニング

TL;DR データ分析コンペであるKDD2023にて、ドコモの2チームが入賞(6位、9位)しました。 コンペの概要と入賞した2チームの解法を紹介します。 はじめに NTTドコモ クロステック部の鈴木明作です！ ドコモR&Dでは、データマイニングの世界最高峰の国際学術会議であるKDDで開催されているKDDCUPに毎年参加しており、 今年はKDDCUP2023のTask3において、ドコモの2チームが上位入賞(NTT-DOCOMO-LABS-RED 6位、NTT-DOCOMO-LABS-BLUE 9位)しました。 ドコモは2016年からKDD CUPへの参加を始め、2016年ファイナリスト、2019…

要するに私の手の届かないところでコンピューティングは進化しているということである。キャッチアップcatchupは出来るのだろうか。 コンピューティング第15回 - F-nameのブログ -----講義録始め----- -----CHATGPTの説明の2回目----- この講義では、まずハイパフォーマンスコンピューティングについて議論します。これは、科学、工学、ビジネスなどの分野で複雑な問題を解くために、高度に計算能力のあるコンピュータを利用する手法を指します。超並列計算とは、大量のプロセッサを並行して働かせることで計算速度を高める技術で、グリッドコンピューティングは、ネットワーク上の異なる地理…

無料で使えるデータマイニングツール一覧 RapidMiner www.rapidminer.jp データマイニング、機械学習、ビジュアルアナリティクスなど、様々なタスクに対応したオープンソースのツールです。ユーザーインターフェイスが直感的であり、機械学習やデータマイニングに関する知識がなくても使いやすいです。 KNIME knime-infocom.jp オープンソースのツールであり、データマイニング、機械学習、ビジュアルアナリティクスなどのタスクに対応しています。ユーザーインターフェイスが直感的であり、複雑なデータ処理パイプラインを簡単に構築できます。 Weka weka-jp.info オ…

BIツールって何？って感じになったので 今日はBIツールについて調べていきます。 BI（Business Intelligence）ツール BIツールは、 企業に蓄積された大量のデータを集めて分析し、可視化するツールのことです。 経営管理や売上のシュミレーションなどに活用され、近年導入する企業が増えています。 メリットとしては、 ・レポート作成が短時間で出来ること ・膨大な情報の分析を素早く行えること ・専門家でなくてもデータ分析が可能なこと が挙げられます。 データウェアハウス ウェアハウスとは「倉庫」という意味です。 データウェアハウスは、業務でさまざまなデータを時系列で保管したものです。…

〜ニュースに取上げられない、独自の生態系を貫く株式銘柄への集中投資〜 ＊本内容は株式会社日本取引所グループが開催している「日本取引所グループ ニュース分析チャレンジ」に関したブログです。2021年4月27日 2020年ニュースで取り上げられなかった、独自の生態系を貫く上場企業とは 上場企業3,711社中、257社はニュースとして取り上げられず 日本には3,711の上場企業があります。上場には一定の基準が設けられており、それを超えて上場できた企業はいわば日本を代表する企業の中の企業といっても過言ではなく、そんな上場企業でニュースで取り上げられない企業があるのでしょうか？！実はあるのです。株式会社…

〜ニュースに取上げられない、独自の生態系を貫く株式銘柄への集中投資〜 ＊本内容は株式会社日本取引所グループが開催している「日本取引所グループ ニュース分析チャレンジ」に関したブログです。2021年4月26日 ニュースは株価にとって”ノイズ” ニュースとはなんだろうか？ 株価はさまざまな要因で変動します。極東証券によると、その要因には次のようなものがあります： 全ての企業や全ての国に関する情報を取得するのは現実的ではなく、ニュースが1つの情報ソースとしての役割を果たしています。では、ニュースとはそもそも何なのでしょうか。学校などで新聞を教材として活用する活動を進めているNIEはジャーナリズムを「…

最近、身近なスモールデータをさくっと分析してみる機会があったので、過程をまとめてみました。スモールデータの解析であっても、前処理、可視化、示唆出しなどデータ分析に必要な所作というのは変わりません。ステップに分けながら紹介したいと思います。 今回はツールにGoogle Spreadsheetしか使っていないので、ノンエンジニアのビジネスサイドの人であっても同じ分析を回すことができます。Google Workspace(Gsuite)を使っている企業であれば紹介した生データも取得ができるかと思いますし、30分くらいしかかからないので、試してみると面白いかもしれません。 今回取扱いたいデータはGoo…

システム開発の上流工程において，業務プロセスのモデリングを行う目的として，最も適切なものはどれか。 業務プロセスで取り扱う大量のデータを，統計的手法やAI手法などを用いて分析し，データ間の相関関係や隠れたパターンなどを見いだすため 業務プロセスを可視化することによって，適切なシステム設計のベースとなる情報を整備し，関係者間で解釈を共有できるようにするため 個々の従業員がもっている業務に関する知識・経験やノウハウを社内全体で共有し，創造的なアイディアを生み出すため プロジェクトに必要な要員を調達し，チームとして組織化して，プロジェクトの目的の達成に向けて一致団結させるため 解答・解説 (adsb…

ポイ活のお得情報まとめです。 ※短縮URLです！招待コードは赤字！ TOHOKUFanClub これをコピーして▶️KXZ2DJ アプリインストール！▶️is.gd/U3zUHO 無料登録し、招待コード入力欄に1でコピーしたコード(KXZ2DJ)をコピペ！ 無料登録完了後、初回アンケート(2,3分で終わる程度のもの)に回答！ 東北を支援でき、あまぎふもゲット！ Powl これをコピーして▶️PRT8N8CBGGB アプリインストール！▶️is.gd/6WOmfR 無料登録し、招待コード入力欄に1でコピーしたコード(PRT8N8CBGGB)をコピペ！ あまぎふやPayPayなどをゲット！ みんな…

ビックデータ（Big Data）とは、従来のデータ処理システムでは扱いが困難な程の大量で複雑なデータ集合を指します。ビックデータは、単にデータ量が大きいだけでなく、そのデータが持つ特性（多様性、高速性、不確実性など）によって特徴づけられます。 ビックデータは、しばしば以下の3つの特徴（3V）で説明されます： 1. Volume（容量）：データの量が膨大である。テラバイトやペタバイト単位のデータが対象となります。 2. Velocity（速度）：データが高速で生成・処理される。リアルタイムやニアリアルタイムでのデータ処理が求められます。 3. Variety（多様性）：データの種類や形式が多岐に…

データマイニングとは、大量のデータから、意味のあるパターン、関係性、傾向などの有用な情報を抽出し、分析するプロセスを指します。データマイニングは、統計学、機械学習、人工知能、データベースシステムなどの分野の手法を組み合わせて行われます。 データマイニングの主な目的は以下の通りです： 1. 予測モデルの構築：過去のデータから、将来の結果を予測するモデルを作成します。例えば、顧客の購買履歴から、将来の購買行動を予測するモデルを構築できます。 2. パターンの発見：データ内の興味深い関係性やパターンを見つけ出します。例えば、スーパーマーケットの購買データから、一緒に購入されることの多い商品の組み合わ…

タイトル： 最新ITトレンドから人材育成まで!ITの全てがわかる完全ガイド メタディスクリプション： ITがもたらす変革と可能性、ビジネス、医療、教育などさまざまな分野でのIT活用例、人材不足問題と育成方法、5G/IoT/AIなど最新のIT動向を徹底解説。ITの基礎から最前線までを網羅した必読の記事です。 slug(URL末尾)： latest-it-trends-to-talent-development-the-complete-guide-to-it 記事本文： はじめに 私たちの生活は、情報技術(IT)に深く依存しています。ITは、コンピューターやネットワークを活用して情報を処理・伝達…

著者の徳山先生は，以前にもとりあげたように私が伊理研の時に数学科から来られていて，こちらが一方的に知っているという関係です． データマイニングという言葉も昨今あまり聞かなくなりました．いわゆる頻出マイニングのようなアルゴリズムがだいたい落ち着いて，そこから先は機械学習とかの話になってくるので分野として融合されてしまったということでしょうか．データマイニングはもともとデータベース研究から発した言葉ですが，目的そのものはデータベースというよりは機械学習に近い感じもします． ECMLPKDD はまさに機械学習とデータマイニングがくっついた会議で，何回か参加しました．一度は 2009 年だと思いますが…

著者：石川 博［いしかわ・ひろし］(1956-) ソーシャル・ビッグデータ、データベース、知能情報学、Web情報学。 Cover Design：小山 巧［こやま・たくみ］ Shiki Design Office 件名：ビッグデータ--データ処理 件名：仮説 NDC：007.609 情報学．情報科学 >> データ処理．情報処理 >> データ管理 仮説のつくりかた - 共立出版 仮説のつくりかた: 多様なデータから新たな発想をつかめ作者:石川 博共立出版Amazon 【目次】 口絵写真（17枚） [/] はじめに（2021年8月 柿生にて 石川博） [iii-iv] 目次 [v-vii] 第1章 …

こんにちは！TECH Street編集部です。 連載企画「ストリートインタビュー」の第46弾をお届けします。 「ストリートインタビュー」とは TECH Streetコミュニティメンバーが“今、気になるヒト”をリレー形式でつなぐインタビュー企画です。 企画ルール：・インタビュー対象には必ず次のインタビュー対象を指定していただきます。・指定するインタビュー対象は以下の2つの条件のうちどちらかを満たしている方です。 “今気になるヒト”長野さんからのバトンを受け取ったのは、ファインディ株式会社 佐藤さん。 ご紹介いただいた長野様より「ファインディ株式会社の取締役 CTOの佐藤 将高さんを紹介します。フ…

AI時代を生き抜く1プラグラミング的思考が身につくシリーズAI〈人工知能〉のきほん土屋誠司創元社2020年9月20日 第１版第１刷発行 順番が、逆になっているけれど、５，２，３もよかったので、シリーズ１に立ち返って図書館で借りて読んでみた。 megureca.hatenablog.com そもそも、AI時代を生き抜くシリーズなんだから、やっぱり、AIについて学ばないとね。 表紙をめくると、”第1巻のテーマは、AI〈人工知能〉。その歴史や問題点を踏まえつつ、人工知能がもつ主要なはたらきである「知識」「推論」「探索」「分類」「学習」について学びます。”と。 目次１ AIとその歴史２ 人間とAIの関…

先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼ…

ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル（Large Language Model: LLM）を日常的に使用したり、表題にあるようにSREのためのLLM（L…

UnivDatos Markets Insights が発表した新しいレポートによると、 BI および分析市場は 2022 年から 2028 年にかけて約 9% の CAGR で成長すると予想されています。 分析は、コンポーネント (ソリューションとサービス)、業界 (情報通信技術、銀行および金融サービス、製造、小売および電子商取引、その他)、地域/国に分類されています。 サンプルレポート（グラフ、チャート、図を含む）にアクセスします。 univdatos.com/report/bi-and-analytics-marke.. BI および分析市場レポートは、市場の推進要因、制約、機会など、さ…