データ基盤

表題の通りです。Embulkでプラグインをインストールする際にはembulk gem installコマンドをよく使うと思うのですが、このコマンドはパッケージのインストールに失敗してもexit statusが0になりません。本家のissueを見ると、この現象はembulk gemとembulk bundle以下の全てで発生するようです1。現在stableのv0.9では直らず、v0.11で直るだろうと書かれています。 これで何が起こるかというと、DockerでEmbulkを動かしている時に、コンテナを動かすまでイメージビルドが失敗していることに気がつけません。つい最近その事故に遭って、依存パッケ…

最近Embulkを使ってMySQLのデータをBigQueryに転送する仕事をよくやっています。データに基づく意思決定を促進するための大事な仕事です。これをやっている時にたまに以下のようなエラーに出会います。 org.embulk.exec.PartialExecutionException: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet successfully received fr…

この本を読んだ。 Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]作者:下田 倫大,寳野 雄太,饗庭 秀一郎,吉田 啓二発売日: 2021/02/18メディア: Kindle版 前の記事の通り、メモりながら読んでみたので、それを参考にしつつ読書メモをブログにも残す。 ck-fm0211.hatenablog.com 読書メモ この本はBigQueryを中心としたデータ基盤について書かれた本。 BigQueryの強みを紹介しつつ、周辺プロダクトとの連携などもかんたんなハンズオンを交えながら紹介されている。 章立てとサマリ 章立てとしては以下の通り。そ…

登壇は明日ですが、スライドと発表に至った経緯や発表内容決めるまでに考えたことをまとめておきます。 オープンセミナー岡山 これから始めるデータ活用 from syou6162 発表タイトルに至った経緯 直接の経緯はオープンセミナー岡山の実行委員長であるid:a-knowさんに登壇してもらえないかと打診を受けたからです。同僚のid:a-knowさんからの打診であり、二つ返事でokしました。しかし、発表時間40分もあるし、聴講者もデータ関連の人に限らない、ということで内容をどうするかは結構迷いました(最近は結構専門性の高めのイベントでの登壇が多かったので)。 データ活用、目につく機会も増えて当たり前…

こんにちは。MackerelチームにおいてCRE（Customer Reliability Engineer）をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 最近、はてな社内のさまざまなチームでデータ活用が進んでいます。しかし、そういったデータ活用の知見は、それぞれのチーム内でとどまってしまいがちです。この記事では、チームを横断したデータ活用を推進するため、昨年の秋から開催している「突撃! 隣のダッシュボード」という会の企画を紹介します。 データ活用についてラフに議論できる場所 ダッシュボードの事例：種類といくつかの観点 ダ…

こんにちは、エムスリー エンジニアリンググループ / 製薬企業向けプラットフォームチームの鳥山 (@to_lz1)です。 これは エムスリー Advent Calendar 2020 の19日目の記事です。 エムスリーでは現在、各システムのオンプレ環境からクラウドへの移行を急ピッチで進めているところです（勉強会の配信アーカイブをYouTubeでもご覧いただけます。公式テックチャンネルのご登録、ぜひお願いします!） これに関連して私のチームでも最近「データ基盤（Digdag + Embulk）のクラウド移行」を行ったため、そのときに考えたことや移行して良かったことを共有したいと思います。 エムス…

エムスリーエンジニアリンググループAI・機械学習チームの木田です。これはエムスリー Advent Calendar 2020の18日目の記事です。 Advent Calendar 2020 15日目の笹川の記事 でも紹介があったとおり、弊社ではBigQueryを中心としたデータ基盤を活用しています。BigQueryの利用コスト管理の一環で、BigQueryのベータ版機能であるINFORMATION_SCHEMAを利用したクエリコストの集計を試みましたので、それを紹介させていただきます。 INFORMATION_SCHEMAとは なぜ使おうと思ったのか どのように計測するか 制限・注意点 まとめ…

データ基盤と分析とツールDXの指導をする側とされる側、と大別する。韓国人は新人の分際でベテランを指導したがる。どういう意味なのかわかっていない企業とわかっている企業、と大別する。ようは、グローバルに経営をしていなくてもかまわんが、グローバルな視点を持っているかどうか？私には肌身で感じられるのだが、大宇宙との統合、という現象と会社の経営は直結するハナシなのだが、清水建設なら確実にこのことを理解されるだろうが、他ではどうか？バイオセントリズムや金剛禅、オカルトが理解できるかどうか？私はホワイトハウスの施策によって今日も、今も、敵兵に囲まれスマートダスト攻撃を受けていながら、まだクタバラないでいる。…

エネルギーのことは専門企業が詳しい筈だ、という私の期待どおりの課題のコーナーになっていた。当期の日本瓦斯は、ビッグデータ基盤を十分に充実させ、データを分析するスキルを持つ人財や責任者の配置も終えており、専門ツールを使いこなして分析を進めてきて、その答えを出して主張する段階にあるようである。油の乗った年齢のスキルフルなツール使いに変わった担当者は、今後、増え続けるデータに対応するために人数を増やせば足りる、と判断していたようでもある。だが、データ量とか以前に中国とロシアを滅ぼし、役に立たなくなったビッグデータを持つハイテク企業へ反トラスト法とG7による徹底的な追い込み、そして、地球を宇宙陣地地球…

https://localletter.jp/articles/sponsored_yahoo/より複雑な条件や深い分析が必要な場合は、↓DS.ANALYSISがオススメです。 DS.INSIGHTが “検索” と“位置情報” のビッグデータから分析を行う↓のに対して、 ↓DS.ANALYSISは、↓検索・位置情報にとどまらず、Yahoo!ニュース、Yahoo!ショッピング、 Yahoo!知恵袋など多岐に渡るデータを活用するだけでなく、➕ヤフーのデータサイエンティストが分析を行い、➕事業への活用支援を行う＝コンサルティングサービスです。これにより、↓個々のニーズに合わせてさまざまなビッグデータ…

ビッグデータの普及を急増させた原動力の1つである↓大規模デジタル化↓は、個人と組織の力関係をも変えた。力を持った↓顧客や一般人↓を組織が理解し、価値を提供するには、↓顧客を個人として知ることに集中しなければならない。また、個々の顧客のやりとりや嗜好に対する洞察をより的確に把握するには、↓新たなテクノロジーや高度なアナリティクス↓に投資する必要がある。しかし、↓今日の顧客(最終消費者や企業間取引の顧客)は、↓ただ理解してもらうだけでは↓満足しない。↓顧客と有意義な関係を効率的に培うためには、↓顧客が↓有益であると考える方法↓で顧客とつながる必要がある。よりタイムリーで、より多くの↓情報に基づいた…

×1207 Nintendo Switch『ナビつき！ つくってわかる はじめてゲームプログラミング』は本日発売。レッスンで学べるゲームを詳しくご紹介。 | トピックス | Nintendo ×72 Screenshot - 639c7b783a26331f14544b51ef1889bc - Gyazo ×59 WEB+DB PRESS Vol.123｜技術評論社 ×57 VM時代からコンテナ時代へストレージ管理の移り変わり - Speaker Deck ×48 Cloud Native時代のデー…

こんにちは。クックパッドでエンジニアをしている @morishin です。Bdash Server というデータ分析 SQL を共有するアプリケーションを作って社内で使い始めたのでその紹介をします。 クックパッドのサービス開発は「仮説を立てる」→「作ってリリース」→「効果検証」の繰り返しで進んでいます。ここで言う効果検証というのは作ったサービスが狙い通りの使われ方をし、ユーザーに価値を提供できているかどうかの確認のことです。その手段は複数あり、実際に使っていただいたユーザーさんにインタビューをさせていただく場合もあればアプリケーションから送信されたアクセスログ等を分析することで評価する場合もあ…

※長いです。あと、画像少ないです(すみません)。。(約6,700字：読了5分~10分) 目次リンクを置いておくので、特定の情報を探している方はリンク遷移してご覧ください！ 本記事について インハウスでデータ活用をする際の業務フロー いろんなデータポジション集めてみた データサイエンティスト データアナリスト データエンジニア データアーキテクト 機械学習エンジニア(AIエンジニア) データコンサルタント データマネジメント/データガバナー その他の職種 なぜポジションがこんなにたくさんあるのか おまけ 本記事について こんにちは！データ戦略室の小山です。 データアナリストとして事業部のデータ活…

IoTとは 様々なものがインターネットに繋がる技術（リアルタイムで監視・操作・制御できる） ‐ クローズIoT（企業内限定） オープンIoT（誰でも利用可） M2M（モノ同士が相互に情報やり取り）←機械制御のみ IoTの仕組み データ収集（センシング）→蓄積（クラウド）→分析（AI活用分析）→フィードバック センシング・・・センサーで集めること HEMS （Home Energy Management Systems） 住まいのエネルギーを消費者が管理し、制御するシステム ダイナミックプライシング 消費者の需要と供給に応じて価格を変動させること →「見える化」することでダイナミックプライシング…

https://www.itmedia.co.jp/enterprise/spv/2105/17/news124.html日本のAIビジネスは新局面へ向かうか、SOMPOとABEJAの資本提携が持つ意味AI系のTechベンチャーとして注目を集めるABEJAが、損害保険大手SOMPOホールディングスと資本業務提携を発表した。両者の関係は日本のAIビジネスの新局面と見ることができる。[指田昌夫，ITmedia2021年4月、SOMPOホールディングス（以下、SOMPO）はAI（人工知能）ベンチャー企業のABEJAとの資本業務提携を発表した。SOMPOはABEJAの発行済み株式の21.9％を既存株主…

３つのログ（スタディログ・ライフログ・アシストログ）をマイナンバーで紐づけ⁈税務情報まで追跡⁉～教育再生会議提言～ 2021/6/4教育再生会議が「新たな学びの在り方について」という第12次提言をしたとの朝日新聞デジタルの記事。 www.asahi.com 政府の教育再生実行会議（座長＝鎌田薫・前早稲田大総長）は３日、子どもの学習や成長のデータを利活用し、指導や行政に生かすことなどを盛り込んだ第１２次提言を菅義偉首相に渡した。（中略）学習や生活・健康に関するデータを個々の学びのふり返りや指導に生かすことを進言。国には、データを元にした政策立案を求めた。マイナンバー制度などを活用し、転校時に学習…

注意: ポエム成分多めです、自社のデータ基盤チームの話です。 今日はチームの振り返り会で「ユーザー問い合わせは宝の宝庫」的な話題*1が出て、めっちゃ分かる〜となった。データ基盤チームへの問い合わせなので XXXデータセットにYYYの権限を付与してください ZZZが動かないのですが、どうしたらよいですか VVVを分析したいんですが、目的に合うデータセットありませんか といった内容が多い。特に意識しないと一個一個は淡々と処理してしまいそうになるんだけど、何件も見ていると、色々情報が透けて見えてくる。 これまで問い合わせがあまりなかった部署からの問い合わせだ。何か新しいデータ活用始めようとしているん…

5月に読んだ本。Kindle多め。 5月の読書メーター読んだ本の数：10読んだページ数：1814ナイス数：36図解でなっとく！トラブル知らずのシステム設計の感想KindleUnlimited本。アウトオブメモリ発生や、ブラウザ操作でのリクエスト処理の重複、SQLの実行について。SQLは知識がないため後半部分はちょっと理解が難しかった。UATを行うので参考にしたい。読了日：05月18日 著者：野村総合研究所,エアーダイブ図解でなっとく！トラブル知らずのシステム設計 エラー制御・排他制御編の感想前半が画面や項目でのエラーのIF/実際のデータ処理のチェック方法についてと、後半がDB更新時に気を付けた…