データマイニング

〜ニュースに取上げられない、独自の生態系を貫く株式銘柄への集中投資〜 ＊本内容は株式会社日本取引所グループが開催している「日本取引所グループ ニュース分析チャレンジ」に関したブログです。2021年4月27日 2020年ニュースで取り上げられなかった、独自の生態系を貫く上場企業とは 上場企業3,711社中、257社はニュースとして取り上げられず 日本には3,711の上場企業があります。上場には一定の基準が設けられており、それを超えて上場できた企業はいわば日本を代表する企業の中の企業といっても過言ではなく、そんな上場企業でニュースで取り上げられない企業があるのでしょうか？！実はあるのです。株式会社…

〜ニュースに取上げられない、独自の生態系を貫く株式銘柄への集中投資〜 ＊本内容は株式会社日本取引所グループが開催している「日本取引所グループ ニュース分析チャレンジ」に関したブログです。2021年4月26日 ニュースは株価にとって”ノイズ” ニュースとはなんだろうか？ 株価はさまざまな要因で変動します。極東証券によると、その要因には次のようなものがあります： 全ての企業や全ての国に関する情報を取得するのは現実的ではなく、ニュースが1つの情報ソースとしての役割を果たしています。では、ニュースとはそもそも何なのでしょうか。学校などで新聞を教材として活用する活動を進めているNIEはジャーナリズムを「…

最近、身近なスモールデータをさくっと分析してみる機会があったので、過程をまとめてみました。スモールデータの解析であっても、前処理、可視化、示唆出しなどデータ分析に必要な所作というのは変わりません。ステップに分けながら紹介したいと思います。 今回はツールにGoogle Spreadsheetしか使っていないので、ノンエンジニアのビジネスサイドの人であっても同じ分析を回すことができます。Google Workspace(Gsuite)を使っている企業であれば紹介した生データも取得ができるかと思いますし、30分くらいしかかからないので、試してみると面白いかもしれません。 今回取扱いたいデータはGoo…

2021年は、教授の分野で言いますと、ゲノム情報をAIで大規模にデータマイニングする時代が本格化に到来したと考えています。 英語で造語をするとしたら、「Genomic AI Data Mining」(GAIDM)とかになるのでしょうか？たとえば、「ガイダム」とか呼ばれるような大きな手法に育って行きように思われます。 そこに向かっていち早く準備をして、どんどん実証実験的な研究始めることが重要と思われます。

総務省統計局が無料で開講している「データサイエンス・オンライン講座」を受講してみた。比較的大きめのフォントサイズで社会人のためのと書いてあるが、小学2年生の息子と一緒に受講してみた。貴様は本当に日本語が通じないやつだな。 [目次] データサイエンスとは 難易度が高くても本物に触れることが大事 データサイエンティストという仕事 社会人のためのデータサイエンスの概要 社会人のためのデータサイエンス入門 社会人のためのデータサイエンス演習 データサイエンスとは データサイエンス(data science)とは、統計学やAI（機械学習）などの理論を使って、データを分類⇒予測⇒最適化を行う学問である。こ…

技術士試験とは 技術士試験は、技術士法に基づいて行われる国家試験であり、優れた技術者の育成を図るための資格認定制度です。 試験は20の技術部門に分かれて行われますが、ここではその内「情報工学部門」について取り上げます。 技術士試験の第二次試験においては、各分野の重要な技術や、最新の技術動向について出題されます。情報工学部門においても例外ではありません。 そこで、最近の情報工学部門の第二次試験（筆記）で取り上げられている題材について、解説していきたいと思います。 なお、第一次試験についてはこちらの姉妹サイトで紹介（過去問解説あり）していますので是非ご覧ください。 qe.hpeo.jp (adsb…

８月に入ってからは、時々気まぐれに晴れるものの、長雨が続く。 期末試験も、早くに済ませたが、勉強モードは維持をして。 なぜかというと、頭が怠けるから。時間は有効に使いたいものです。 ところが、寝具が合わなかったのか、眼精疲労が治らず、ろくに本も読めない状態が続き、物は試しで、テレビショッピングでたまたま紹介していた、エアーベッドなるものを買ってみた。耐久性は低いものらしく（一年くらいなものと考えた方が良いとネットの記事にあった）、物にもよるが、一般的には、お勧めできないというのが大体の結論（ネット）。しかしこの度買ったものは、使ってみて、そんなに悪くはなかった。私にとっては、一時凌ぎにしてもよ…

問題 Ⅱ-1 Ⅱ-1-1 AIOps（AIを利用した運用管理）について，提唱された背景と特性，導入に当たっての留意点を述べよ。 Ⅱ-1-2 データマイニング手法の多くは，従来の統計分析手法と近年利用局面が大きく進展した機械学習とに大別できる。両者の違い，及び特徴を説明せよ。また，具体的なデータマイニング手法を2つ挙げ，それぞれの目的と方法について述べよ。 Ⅱ-1-3 当初，暗号資産（仮想通貨）の基礎技術として利用されてきたブロックチェーンは，他の領域へも適用が拡大しつつある。ブロックチェーンの特徴と，その特徴を生かした暗号資産以外への適用事例について述べよ。 Ⅱ-1-4 アジャイル開発手法のプ…

意思決定や計画立案のために、データを収集して加工・分析することがますます重要になってきている。以下の文章の空欄Ａ～Ｄに入る語句の組み合わせとして、最も適切なものを下記の解答群から選べ。 意思決定や計画立案のために、組織内で運用される情報システムやデータベースなどからデータを集めて格納しておく場所を Ａ と呼ぶ。この Ａ から、必要なものだけを利用しやすい形式で格納したデータベースを Ｂ と呼ぶ。 このような構造化されたデータに加えて、IoT 機器や SNS などからの構造化されていないデータを、そのままの形式で格納しておく Ｃ が利用されつつある。膨大なデータを蓄積する必要があるため、比較的安…

経営の情報化において、意思決定者を支援するために、必要なデータの取得や分析などを行うシステムが求められることがある。 意思決定のためのデータ支援に関するａ～ｃの記述と①～⑤の用語の組み合わせとして、最も適切なものを下記の解答群から選べ。 【記述】 ａ 企業のさまざまな活動を介して得られた大量のデータを目的別に整理・統合して蓄積し、意思決定支援などに利用するために、基幹業務用のデータベースとは別に作成するもの。 ｂ 多様な形式で蓄積されている生データに対して、データ形式統一、欠損値補完、単位統一などの処理を行い、横断的な解析ができるように整えること。 ｃ スライシング、ダイシング、ドリルダウンな…

前置き 本編 原宿 お店 服 メイクの話 撮影タイム 終わりに 前置き こんにちは、pLotsです。 隣の席の人から本の紹介を受け、タイトルは忘れちゃったけど 「手広くすることが生命の戦略だ」ということを学んだのだ。 2022年になってからはお金を稼ぐようになり、未体験のことに挑戦してきたなぁ やりたかったこともできたし、知りたくなかった現実も知った。 というわけで今回は女装に挑戦して生命の戦略を広げてみようかな(笑) 本編 原宿 まずは若者のファッションを観察するために原宿にgo ここで若い女の子の服を分析してインスピレーションを得るのだ 今日の女装テーマはずばり、アイドルが休日に着てそうな…

こーしょん！ 想定対象読者以外は全くためにならない可能性があります わかりやすくするために厳密でない表現をもちいることがあります 想定対象読者 1類のこれからプログラム分けを行う学生向け 類未配属の方も参考にできると思います 自分の合うプログラム/類を探したい人向け サークルやバイト，個人開発やコンテストなどを頑張りたい人向けではないかも 意志強めに決まってる人は別にいらないと思う どちらかといえば大学の勉強とかを頑張りたいひと向け？ 単位取って卒業できればなんでもヨシ！はここまでする必要多分ない こーしょん！ 想定対象読者 本題！ 僕から見るMICSとメディア経営． これ，どこのプログラムの…

2022年7月24日，ISUCON 12に参加しました．結果は予選敗退でした．本記事はその参加記です． はじめに 本番前の練習を含め本コンテストを通して，Webアプリケーションのボトルネックの発見や様々なチューニング方法を知ることができたほか，Go言語を楽しく勉強することができました． 本コンテストを開催してくださったISUCON運営関係者の方々に感謝いたします．また，一ヶ月以上前から練習に付き合ってくれたチームメイトである@_u017 ，@donkooo00 に感謝いたします．そして，過去のISUCON参加記を書かれた方々含めコミュニティに感謝いたします． 競技に使用したリポジトリ チームメ…

編入体験談です。 ラノベみたいなタイトルですが、もう公開したので後悔しても仕方ありません。 スペック 席次 TOEIC 勉強時間 きっかけ 1年 2年 3年 4年前期 出会い 4年後期 4年春休み 5年 一次試験前日 一次試験 英語 数学 二次試験まで 二次試験 まとめ スペック 席次 1～4位をウロウロしてました TOEIC 2年1月：715点 3年12月：820点（IP） 4年6月：855点（提出） 4年12月：795点（IP） 勉強時間 4年から始めたStudyplusの記録時間は1445hでした。 夏休みや春休みよりも、何故か10月の勉強時間が一番多いです。 きっかけ 東大編入を決意し…

7/30に『 文系でもわかるＡＩ時代の数学 』（祥伝社）が出ます。 出版社の内容紹介 どういう本か ＡＩは人間の仕事を奪う？ ＡＩにも苦手はある ＡＩリテラシーに必要な数学 統計 微分・積分 線形代数 トポロジー 「Sociery 5.0」世代との共通言語は数学 イロハの「イ」にこだわりました 目次 サンプルページ 謝辞 出版社の内容紹介 以下は出版社がつけてくれた内容紹介です。 政府が掲げる「Society 5.0」では、人とＡＩが共存する社会が謳われています。 そんな数理資本主義ともいわれる時代に、人とＡＩの共通言語となるのが「数学」。本書は、個別指導塾で数学の面白さを伝えてきた著者が、Ａ…

夏休みに入った為か（皮肉です）メディア様は毎日小学生以下の絵日記（情報量は件数だけの１次元情報：情けない：）で感染者拡大（死亡者の比較で無い単なる感染者：重傷者含む：がポイント）をしきりに煽っておられるそうだがメディア様とは縁遠いメディア様過疎・僻地の私には毎度の日経さんのデータマイニングサイト（と言明してしまおう：日経さん予算削減せずに頑張って（心から））によると↓ vdata.nikkei.com 武漢肺炎亜種死亡者数（令和四年文月） 情報表示方法を日々改善されている様で対象時間軸を設定可能となっている。上記チャートは２０２０年３月〜２０２２年７月の約２年のスパンで左のチャートが新規感染者…

はじめに: 『R環境で小説のテキストマイニング』の連載シリーズです。 テキストマイニングは、テキストデータを定量的に扱って、有益な情報を抽出するデータマイニング手法の1つです。 このようなテキストの情報解析では、自然言語処理、形態素解析、キーワード抽出、共起分析、ネットワーク可視化、機械学習、感情分析など、様々な分析手法が用いられます。 近年では各種のAPIやWebスクレイピングなどを利用して、ウェブやSNS、地図上のクチコミからテキストデータを取得して、テキストマイニングに活用されています。 この記事は、夏目漱石の「坊っちゃん」が対象小説で、 形態素解析と品詞のルールベースの複合語抽出、py…