データ基盤

こんにちは、OLTA（オルタ）プロダクトグループの北川です。OLTAでデータサイエンティストとして与信モデル開発やデータ分析、データ基盤周りの開発を担当しています。2021年には、人生初のウェブアプリ開発も行いました。 前編ではなぜウェブ開発に取り組んだかの背景と目的についてお話しました。当記事ではウェブ開発に取り組んだ結果、得られたことをデータサイエンティストの視点からお伝えできればと思います。 良かったこと データサイエンティストのキャリアを考える上で、ウェブ開発に取り組んで良かったことはたくさんありました。当初の目標である「バックエンド側の業務フローロジック変更とアプリからデータレイクへ…

こんにちは、OLTA （オルタ） プロダクトグループの北川です。OLTAでデータサイエンティストとして与信モデル開発やデータ分析、データ基盤周りの開発を担当しています。2021年には、人生初のウェブアプリ開発も行いました。 まだ比較的新しい職種のデータサイエンティストという領域において、何を意図してウェブ開発をしようと思ったか、その効果や感想など、データサイエンティストのキャリアパスの参考になれば幸いです。 ウェブ開発に取り組もうと思ったきっかけ OLTA入社直後に私がモデル開発に着手したときにはデータ分析基盤は整備されておらず、データレイクにあらゆるリソースからのデータが蓄積されていくという…

個人開発（趣味プロジェクト）でプロダクトを作りながら, 本職の仕事でソリューションアーキテクトっぽいことをしているマンです*1. 最近は個人開発のネタとして, プロ野球選手の成績予測プロジェクト ヘルスケア周りの自分専用プロダクト開発 この2本軸で週末エンジニアリングをしているのですが, これらの事をしているうちに, Webアプリケーション + 分析用のデータ基盤の最小セット, みたいなパターンが見えてきた クラウドにおけるサービスの選び方・スケール（=拡張）するときに気をつけるべき勘所 みたいなのがまとまってきました. せっかくなので, 言語化した上で再現性をもたせよう！という主旨でこのエン…

『クラウドでデータ活用！データ基盤の設計パターン』（川上 明久，小泉 篤史，大嶋 和幸，石川 大希，堀 義洋，角林 則和，日経クロステック，2020年7月28日）を読了。 カナダのトルドー首相の名言に次の言葉があります。 「今ほど変化のペースが速い時代は過去になかった。だが今後，今ほど変化が遅い時代も二度とこないだろう」（位置 No. 3） すべてが「加速」する世界に備えるしかない。 king-masashi.hatenablog.com データレイクのメリット（位置 No. 137） データを一元管理できること インプット側のシステムとアウトプット側のシステムを完全に分離できること 疎結合な…

Nature でデータエンジニアをしている原( @toohsk )です。 データ分析を行う一方で、Nature に所属しているメンバーが幅広くデータの参照、分析ができるようになるためにデータ分析基盤の構築も行っています。 今回は、Nature で構築しているデータ分析基盤を紹介したいと思います。 どのようなデータ基盤にしたいのか Nature の重要なカルチャーでもありますが、Nature においてProduct Driven で事業が進みます。 speakerdeck.com Nature におけるプロダクトは、スマートフォンのアプリのみならず、ハードウェアやファームウェアなどの開発が含まれ…

こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。 開催に至った背景 モノタロウ社内では広くデータ活用が進んでおり、GCPのプロジェクトは数百以上運用され、その中の多くのプロジェクトでBigQueryも使われています。社内に広く提供するDWHやセキュリティなど全社的なデータ基盤に関することはデータ基盤グループが運用/管理を行…

はじめに データ基盤の3構成 データレイクとは何か データレイクの思想 データレイクの要件 1. 多様なデータを一元的に保存する(Single Source Of Truth) 2. データを失わない 3. サイズ制限からの解放 4. 決められた方法でアクセスが可能 まとめ 参考 はじめに データ基盤は役割別に3構成に分けることができる。その中でも今回はデータレイクの概念についてまとめる。 データ基盤の3構成 データ基盤はデータ活用用途別に1.データレイク層、2.データウェアハウス層、3.データマート層に分けることができる。 データ基盤の三層構造 ここで各層は役割(用途)を示し、特定の製品を使…

はじめまして、DMP (データマネジメントプラットフォーム) グループの すぎみつ です。 最近はスキルアップ手当*1で昇降デスクの購入を検討しています。電動式昇降デスクのすゝめによると自分に最適なデスクの高さは74cmでした。 さて、DMP グループでは現在 GCP のリソース管理に CDK for Terraform を利用していまして、CDK for Terraform の利用例についてご紹介します。 はじめに CDK for Terraformとは サンプルの紹介 プロジェクトの作成 実装 デプロイ 結果確認 懸念するところ おわりに はじめに DMP グループはレアジョブグループのデ…

はじめに 普段の業務はバックエンドエンジニアなのだが、最近になって データ基盤 を作るようになりました。 データ基盤 と言うと大規模なものだと思われがちですが、新規サービスの基盤なので大きくはありません。 なので、まずは データを効率良く見える化 するためにデータ基盤作成初心者が Glue Studio を使ってノーコードで作成しました。 もともとのGlueの知識として ジョブ クローラー スケジュール があることを認識していたのですが、クローラーを定義せずになぜ作れるのか？という疑問になったのでそのメモとなります。 環境 AWS Glue ※記載時点での最新バージョン 前提条件 Glue S…

前回 kako351.dev もう少し紐解きたい HealthConnectのアーキテクチャ HealthConnect はSDKとHealthConnectAPKがIPC（プロセス間通信）を介してクライアントアプリから接続します。 Health Connect アーキテクチャ図 クライアントアプリにSDKを使うとHealthConnectAPIを利用できるようになります。 まあ普通ですね。 そうすると、クライアントアプリはSDKによってIPCを介してHealth Connect APKと通信ができます。 Health Connect APK Health Connect API の中身であり…

はじめに こんにちは、ML・データ部推薦基盤ブロックの寺崎（@f6wbl6）と佐藤（@rayuron）です。 ZOZOTOWNのホーム画面は2021年3月にリニューアルされ、「モジュール」と呼ばれる単位で商品が表示されるようになりました。 本記事ではユーザーごとにパーソナライズされたモジュール（以降、パーソナライズモジュール）のロジックやシステム構成、および導入時に実施したA/Bテストの内容と結果をご紹介します。 先に結論から言ってしまいますが、今回のパーソナライズモジュールでは機械学習モデルを使わず、ユーザーの回遊行動を分析した結果を元にしたルールベースのロジックを使用しています。本記事のポ…

無から勉強を始めたとき(2021.1~3あたり)に読んだ記事をNotionでリスト化していたので、記念に遺しておく。 A Tour of Go go-tour-jp.appspot.com

医療ビッグデータを活かした事業を幅広く展開しているJMDCでは、様々な分野のスペシャリストが活躍しています。今回、インタビューを実施した松原さんはデータ基盤開発のスペシャリスト。なぜJMDCを選んだのか、具体的にどんな業務を行っているのかについて聞きました。 ＜プロフィール＞松原 （まつばら）開発本部 データ基盤開発部 医療機関基盤グループSIerでWebアプリケーション開発、インフラ構築などを担当。リブセンスに転職後、異動をきっかけにデータ基盤開発のスペシャリストを志向し、2021年12月にJMDC入社。テックリードとして、クラウドなど技術面の課題解決に取り組んでいる。 異動をきっかけにデー…

《 社保審・障害者部会 13日 》 障害者への支援の充実に向けた議論を進めてきた審議会が13日にまとめた報告書 − 。厚労省はこの中で、障害福祉サービス報酬の見直しの方向性にも言及している。【Joint編集部】 報酬の多寡などを評価する際のプロセス指標やアウトカム指標について、「利用者に対するサービス内容そのものを一層評価することに資する」と明記。今後の報酬改定を見据え、「プロセス評価をより充実させつつ、アウトカム評価の導入も研究・検討していくことが必要」との認識を示した。 あわせて、「データの十分な蓄積・分析を図る」「障害福祉サービスの目的・特性を踏まえる」「アウトカム評価の手法が適切なサー…

今日のテーマ 仕事もプライベートもよくGoogle Cloud（GCP）を使っている人です. 最近はGoogle Cloudの資格取得, 頑張ってます*1. ちょっとしたSlack Botを作りたい ちょっとしたデータ収集クローラー（Webクローラー&スクレイピング）がほしい ちょっとした「CSVとかJSONのファイルをBigQueryに放り込む）簡単なETLがほしい なんて時に, Cloud FunctionsというGoogle Cloudのサーバレスな従量課金FaaS（Function as a Service）でシュッと関数作って運用しているのですが, つい最近そんなCloud Func…

プロダクトマネージャーの鈴木 @kecholです。前回のアプリの紹介記事に続き、今回は「Assured」のインフラ基盤をご紹介したいと思います。 「Assured」のインフラ構成 インフラ基盤は大まかに分けて以下のような構成になっています。今回は以下について簡単にご紹介したいと思います。 IaaS: Google Cloud Platform (GCP) アプリケーション(コンテナ)基盤: Google Kubernetes Engine (GKE) インフラ構成管理: Terraform モニタリング: Datadog CI (テスト): CircleCI CD (デプロイ): CloudB…

先週、Data Engineering Study という勉強会でざっくりとモダンデータスタックの話をした。 イベント参加登録者は400人超で最大同時接続数は180くらいだったそうな。 forkwell.connpass.com こちら第14回 #DataEngineeringStudy の発表資料です。Overview of The Modern Data Stack / モダンデータスタック概論 - Speaker Deck https://t.co/k4GK5QQcBq— 🐘 (@satoshihirose) June 7, 2022 感想 発表のために調査して自分も色々勉強になった。良…