データの扱い

このＩＩＪ?っていうのかな…会社のおエライサン?オヤッサンわかっていますね。私も同意と言いたい。データが引っこ抜かれるっていうのも、かなり痛いですが、データを扱う技術やアイディアも一緒にどんどんアメリカや中国に先を越されるとほんとに痛いんだよね。 その痛さが今はわからないかもしれないですが数年先はとんでもない差になるんですよ。それが怖いし悔しいんです。時間は無限じゃないのでまじで大切に使いたい。 今私はデータというものにフォーカスして世界規模でどの会社がデータセンターを持っているか、どの会社がデータの料理技術が優れているか調べています。面白いので。 皆さんはどうお考えですね。AI時代のビジネス…

今回は、「振動工学の基礎 新装版 森北出版」のレビューです。 運動する機械には、振動現象が発生します。振動現象は、材料の破壊や騒音などの問題につながってしまいます。このような振動現象を、人間の理解できる形で体系化したのが振動工学です。振動工学という道具で、振動現象の理解を深めることができます。 この本では、振動工学の基礎をしっかり学ぶことができます。 表. レビュー内容のまとめ レビューの項目 内容 オススメ度 ★★★★★ 5/5 こんな人にオススメ ①振動工学を初めて学習する方②振動現象の理解が必要な技術者 前提知識 ①古典力学の知識②微分積分学の知識（常微分方程式レベル） レビューする本 …

【概要】 チョコボールの銀のエンゼル出現確率を時系列データとして扱い、状態空間モデルを使って推論してみた 状態空間モデルの推論はパーティクルフィルタを利用し、潜在変数の確率モデルとしてノンパラメトリックに推定した密度関数を利用してみた 結果としては毎月だいたい5%くらいの出現確率で一定していると予想できた 【目次】 はじめに モデリング 前提/仮定 モデル設計 ベータ分布の利用 数値的な推論 実装 観測モデルとシステムモデル パーティクルフィルタ 実装コード全体 実験 データ 推論結果 まとめ 参考文献 はじめに 当ブログではこれまで、チョコボールのエンゼル出現確率は、ある確率で一定であると仮…

1: オーバーテクナナシー 投稿日：2010/09/23(木) 18:25:54 id:ah6kjyVF「そんなに残してどうすんだ」ってツッコミも当然あるだろうが・・・まあ、未来の人類のためでも人類絶滅後の知的生物に伝えるためでも、動機は何でもいいから、億年レベルの情報保存技術を考えてみよう。2: オーバーテクナナシー 投稿日：2010/09/23(木) 19:08:44 id:aRn1rAXQ石に刻んで宇宙に射出するといいかもよ3: オーバーテクナナシー 投稿日：2010/09/23(木) 20:33:26 id:hna/HHcX地表に大陸：海洋の２値で書き込む。4: オーバーテクナナシー …

19日、政府の入管法改正案が国会に提出された。 《政府は19日の閣議で、在留資格がなく国外退去処分になった外国人が、入管施設に長期間収容される問題の解消に向けた入管法改正案を決定した。送還まで施設に収容する同法の原則を見直し、施設外で生活できる「監理措置」を創設する。併せて、出国を求める新たな命令制度をつくり、違反者に罰則を科すなどの送還強化策も取り入れた。 非正規滞在の外国人は、国外退去とするか否かを決める審判から送還までの間、入管施設に原則無期限で収容される。審判で国外退去となった外国人は、自ら出国するか、強制的に送還される。ただ、日本に家族がいるなどとして帰国を拒んだり、難民認定申請を繰…

www.amazon.co.jp 実際には30分では分かりませんが、だいたい4時間くらいでデータマネジメントをするにあたって出てくる問題や要素などの全体像を見渡せるライトな本でした。 手に取った理由 読書メモ 1章：データアーキテクチャ 2章：データストレージとオペレーション 3章：データ統合と相互運用性 4章：データモデリングとデザイン 5章：マスターデータ管理 6章：ドキュメントとコンテンツ管理 7章：データセキュリティ 8章：データ品質 9章：DWHとBI 10章：メタデータの管理 11章：データガバナンス おわりに 手に取った理由 仕事でデータを扱う部分に携わる機会が多くなり、その中で…

はじめに 2020年の12月から2月にかけてkaggleでRainforest Connection Species Audio Detectionというコンペが開催されており、最終的に5位を取ることができました。この記事ではコンペの概要や取り組みを記録しておこうと思います。 コンペとタスク コンペ概要 今回のコンペは熱帯雨林で録音された音声から24種の匿名の鳴き声を検出・分類するというものでした。データはtrain/testともに音声ファイル(60s)１つにつき、複数種の鳴き声が存在するためmultilabelで学習・予測を行う必要がありました。 音声認識について 今回のタスクに似たコンペと…

発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読し…

以前にサブシステムについてまとめていた訳ですが、 mk3008net.hatenablog.com 最近、サブシステムを大量に扱うことがありまして、そろそろ簡単に管理できるようなものを作らないとマズイなと思い、ライブラリ化しました。 github.com さっそく使い方を説明したいところですが、その前段として、KeyMapSyncがどういうものかを説明します。 実現できること 本フレームワークを使用せずに実現する方法を考える 本フレームワークを使用するとどうなるのか SingleTableDatasourceクラス MappingNameプロパティ DatasourceQuery プロパティ …

はじめに はじめまして！ラクマの小田です。 大量のデータにアクセスして処理を行う場合、 メモリ不足で処理が中断されないよう、少しずつメモリに展開したい 途中で処理が中断されても問題ないよう、一定件数ごとにコミットをしたい と考えることがあると思います。 そんなときにRailsで役に立つのがfind_eachやfind_in_batchesですね。 ただしこの2つのメソッドには弱点があり、id(主キー/primary key)の昇順(ASC)でしかデータを扱うことができません。 ※Rails v6.1.0時点での情報です。 # NOTE: Order can be ascending (:asc…

思い浮かんだアイデアをどう書き留めて、蓄積して、活用して、何かを生み出すか、という「知的生産」のワークフローは、そのための「道具」も含めて、すごく悩み続けています。いろいろ試しては挫折し、また新しいことを試して、を繰り返してきました。 メモ用紙等にも凝っていた時期もありバレットジャーナル等も試しましたが、最近は紙はやめて最初から最後までデジタルで処理するフローになってきました。これは自分の職が変わってデジタル比重が高まったことと、Apple Watchの登場（購入）が大きいかも。 ということで、最近の「アイデア蓄積のワークフロー」はこんな感じです。 ポイントは、最初の「受け皿」をDraftsと…

こんにちはPyQサポートです。 今回はPythonでファイルを読み込む時に使うf.read()とf.readlines()の違いを解説します。 質問 f.read()を使って読み込んだコード 実行結果 f.readlines()を使って読み込んだコード 実行結果 回答 f.read()とf.readlines()の違い print(f.read())の実行結果 print(f.readlines())の実行結果 文字列のcount()について まとめ 質問 f.read()とf.readlines()はどちらもファイルから読み込む時に使うことは分かりますが、明確な違いがわからないので教えてくだ…