データ分析基盤

エンジニアのためのデータ分析基盤入門 2.2 データの世界のレイヤー より データ分析基盤のレイヤー コレクティングレイヤー(データを集める) プロセシングレイヤー(データを処理する) ストレージレイヤー(データを保持する) アクセスレイヤー(データを利用する) コレクティングレイヤー ストリーミング：絶え間なくデータを処理 バッチ：一定以上の塊でデータを収集 プロビジョニング：仮にデータを配置 プロセシングレイヤー ETL データラングリング 暗号化・難読化 データ品質計算/メタデータ計算 ストレージレイヤー マスターデータ管理 データのライフサイクル管理 メタデータストア データのゾーン管…

エンジニアのためのデータ分析基盤入門 2.4 プロセシングレイヤー データを変換する より 意味 非構造データを構造データにしたり、付加価値を付ける作業を行うこと。 ラングリングはこねくり回すという意味である。 データプレパレーション[data preparation]とも呼ばれる。 どちらも同じ作業内容を指す。データラングリング自体非常に難易度が高く、 プログラミング言語を習熟していること(Pythonが多い)、 社内のドメイン知識が必要になってくる。 データサイエンティストやデータエンジニアリングが担当することが多い。 海外では、CTOやCDO自身が行うケースもある。 主な3つの作業(本書…

はじめに こんにちは、データエンジニアリングチームの島田です。私はユニファ入社後1年程は主に機械学習エンジニアとして仕事をしてきました。その後、私自身の希望もあり2020年の春頃から徐々にデータ分析職に軸足を移し、今は業務の大部分をデータアナリストとして仕事をしています。この記事ではUnifaでのデータアナリストとして仕事をしてきたことを振り返ってみたいと思います。

こんにちは、リンクアンドモチベーションのデータサイエンティストの東山と芦田です。 今回、先日発表されたMicrosoft Fabricを検証してみたので、そのレポートを行おうと思います。 先に率直な感想ですが、すごい時代が来たなぁと言う感じです！ (削減できた工数を先に知りたい方はFabricの効能を参照) Microsoft Fabricとは？ Fabric1の公式ドキュメントによると、 Microsoft Fabric は、データの移動からデータ サイエンス、Real-Time Analytics、ビジネス インテリジェンスまでをカバーする企業向けのオールインワン分析ソリューションです。 …

こんにちは！Dataintelligenceチームの垣内です。 前回、公開した「【PySpark】Pythonで分散処理を体験してみよう」では、簡単にPySparkの書き方をご紹介いたしました。 実務でPySparkで分散処理を実行するとなると、クラウドサービスを使うことになると思います。本連載ではAWSの分散処理サービスである「AWS Glue」を使って、分散処理を実行してみます！第一弾の今回は、AWS Glueとはなにか？そしてローカルでの開発方法や開発に使うサービス・ツールをご紹介します。 AWS Glueとは Jobの作成方法 価格 DPUとは Jobの実行時間と料金の注意事項 AWS…

こんにちは。ユニファでデータ分析基盤の開発をリードしている浅野です。「Unifa Advent Calendar 2022」21日目のこの記事では、「せっかくデータ分析基盤をつくったのに使われない」という悲しい(けどよくある)事象の発生確率を減らすために実践してきたことを書いてみます。 adventar.org

ご縁があって、「Data Polaris Bootcamp」というSnowflakeを学ぶ企画に参加しました。この記事では、企画の概要を紹介するとともに、参加して得られた知見、感想について書き留めます。 桂川 大輝(カツラガワ ダイキ)プロダクトのバックエンドや機械学習を扱う機能の開発を担当しています。 Snowflakeとは？ SnowflakeとはSnowflake株式会社（以下、Snowflake社）が提供するクラウドサービスです。 www.snowflake.com Snowflakeはデータクラウドというグローバルネットワークを提供しています。データクラウドはデータを管理するプラット…

バックナンバー読んだ記録。 特集1 データベース入門 初心者にはSQLの書き方よりも、スキーマの設計や、正規化といった、考え方を重点的に教える方が良いかもな。 Apatch Sparkもデータベース扱いで、最後だけ一気に難易度アップ。データ分析基盤については初心者なのでためになった。 特集2 ゼロから学ぶTerraform Terraform標準ファイル構成は知らなかった。シンプルで、小規模のインフラならこれで良さそう。 terraform-docsも初見。ただ、モジュールのドキュメントを生成するツールっぽい。Terraformのリソース依存関係を解析して、インフラ図を生成してくれるツールが欲…

こんにちは、大和総研CCoEの守屋です。 大和総研ではクラウドを通じてお客様に価値を提供すべく、2021年度よりパブリッククラウドの推進組織（CCoE: Cloud Center of Excellence）を設置し、クラウド活用を推進しています。 2023年7月20日に、Google 渋谷オフィスとオンライン配信でのハイブリッド形式で開催されたイベント「CCoE Summit '23」で、パネルディスカッションに登壇しました！ 開催概要 名称：CCoE Summit '23 日時：2023年7月20日（木） 13:00 ～ 18:40 主催：グーグル・クラウド・ジャパン合同会社 開催方法：ハ…

業界最大規模の医療ビッグデータを取り扱っているJMDC。この膨大なデータを格納して、匿名化処理などを行い、分析するための基盤を開発しているのがデータウェアハウス開発部です。健康保険組合や調剤薬局、医療機関などからお預かりする秘匿性の高いデータを取り扱う大切な基盤を開発する上で、エンジニアのみなさんはどのようなことを心がけているのでしょうか。上席執行役員兼CDPOの足立さんとデータウェアハウス開発部 部長の山下さんにお話しを伺いました。 ■インタビュイー紹介 足立昌聰（あだち まさとし） 株式会社JMDC 上席執行役員兼CDPO（Chief Data Protection Officer：最高デ…

はじめに GLB事業部Lakehouse部の陳（チェン）です。 本日はDatabricks社より公開されたEnglish SDK for Apache Spark（以下English SDK）を利用し、気象情報を可視化することを試してみました。 本記事では、DatabricksのMarketplaceからのデータ取得から、ノートブック上でのAPI設定、データの可視化までの流れをご紹介いたします。 目次 はじめに 目次 English SDK for Apache Sparkというのは データ取得 English SDKの設定 (with Databricks Secret) 気象情報を可視化し…

こんにちは、ジョンです。 今回初めてtrocco®を使ってデータの転送を行った経験をブログに投稿させていただきます！ まず、皆さんtrocco®についてご存知でしょうか？ trocco®は日本発のデータ分析基盤総合支援サービスです。 trocco®はデータ転送や変換、加工などのさまざまな機能をビジネスユーザの使いやすさに最適化したUI（User Interface）として提供することで、既存のデータ総合エンジニアリングの工数を90%以上削減できる強みを持っています。 （200社以上の企業が導入しているそうです。） 今回ジョンが担当しているプロダクトで社内で利用しているチームの方から毎日のデータ…

はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 Databricks Lakehouse Platformが提供するデモであるdbdemosの中で、患者の再入院を減らすための医療予測モデルの構築するデモを紹介したいと思います。 デモ名: Lakehouse for HLS: Patient readmission www.databricks.com 今回の投稿はdbdemosを活用して医療データを探求し、予測モデルを作成することを目標にしています。 目次 はじめに 目次 医療分野での予測 デモの紹介 再入院の予測の価値 EDA dbdemosデータの探索的データ分析 pati…

​データ分析基盤グループでデータエンジニアをしている平川です。 DataVaultに関する記事の第2回目となります。(第1回の記事はこちらです) 第2回の記事は、DataVaultモデリングの中心となるHub/Link/Satelliteをdbtのパッケージを利用して作っていくという内容です。 2,3回目の内容が当初と少し変わっていますので、再掲いたします。 第1回: DataVaultってなに？どんな特徴があるの？ 第2回: automate_dvを使ってDataVaultモデリングの中心となるテーブルを作ってみてわかったこと ← 今回はここ 第3回: BusinessVault、発展的なS…

この記事に登場する人 島澤 甲（Kou Shimazawa） ウイングアーク１ｓｔ株式会社取締役執行役員事業統括担当 兼 CTO 1981年東京生まれ。大学時代にはスーパーコンピュータを駆使した遺伝子解析に打ち込み、遺伝子操作プログラムで特許を取得する。SIerにて大手企業向け生産管理パッケージシステムの開発を経験したのち、ベンチャー企業に転職。自ら高品質パッケージ製品を開発し、営業から開発まで幅広く取り組む。2010年にウイングアーク（現ウイングアーク１ｓｔ）に入社後は製品開発をメインに手掛け、2016年にウイングアーク１ｓｔ執行役員CTOに就任。2021年より現職。最近の趣味は機械工作、金…

1. はじめに こんにちは、Ops-dataチームの上村(@contradiction29) です。データアナリストとして入社したのち、ダッシュボード作りに没頭し、テーブル作成にのめりこみ、データエンジニアリングに夢中になり、今はデータエンジニア兼アナリティクスエンジニアをやっています。 つい最近、弊社Algoageで運用しているデータ分析基盤のリプレイスを実施しました。その際、私は言い出しっぺ兼リードエンジニア兼ちょっとしたプロジェクトマネージャーのような役割をしていました。いろいろ思うところがあったため、考えをまとめてみようと思います。 2. イントロダクション チャットブーストCVは「日…

こんにちは！estieで事業開発を担当している田中陸と申します。 この記事はestie 真夏のアドベントカレンダー13日目の記事となります。 私は2019年8月にestieに入社をしておりまして、この8月を以てestieにおけるキャリアの5年目に突入をしました。日々多彩な経歴を持った方々が入社をし、輝かしい入社エントリを書かれているのですが、私は実をいうと入社エントリをちゃんと書いておらず、日々広報の田渕からいつ陸は入社エントリを書くのか、と2ヶ月に1度くらい突上げを食らっていました。そんな戦いに終止符を打つべく（？）、4年間を振り返って入社エントリを書いてみようかと思います。 特に最近はビジ…

はじめに GLB事業部Lakehouse部の鄭(ジョン)です。 Databricks Lakehouse Platformが提供するデモであるdbdemosの中で、dbt jobsの調整と実行をするデモを紹介したいと思います。 www.dbdemos.ai 今回の投稿はdbdemosを初めて使う初心者に参考になるガイドを作成することを目標にしています。 以下の内容は前回の記事に続きます。 techblog.ap-com.co.jp 前回に作成されたフォルダとdbt_c360_gold_churn_featureの作業について学びましょう。 目次 はじめに 目次 dbt jobsの流れ Repo…