データエンジニアリング

このエントリーは、2022年6月に開催された「Engineers in CARTA vol.3 #データエンジニアリング」の中で、株式会社Zucks アドプロダクト事業本部の 近森 淳平 ( @pei0804 )がセッションした 「データをモデリングしていたら、組織をモデリングし始めた話」の書き起こし記事となります。 cartaholdings.connpass.com 資料はこちら speakerdeck.com www.youtube.com データをモデリングしていたら、組織をモデリングし始めた話 近森 淳平：『データをモデリングしていたら、組織をモデリングし始めた話』という題でお話しし…

爽やかなOGP 皆さんこんにちは。データサイエンティストの阿部です。 Yappli Tech Conference 2022にて、表題のテーマで登壇しましたので、発表した動画とスライドを紹介します。また、今回のテックカンファレンスには運営メンバーとしても関わったので、そこで工夫したポイントをお伝えします。 アーカイブ動画 スライド 運営メンバーとして データ系職種はイベント運営のとき、アンケートを担当しがちかと思いますが、やはり私もアンケート担当に立候補しました。 単にアンケートを収集するのではなく、回答者にギフトボックスを抽選でプレゼントするという僕にとって、キャリア初の試みを実施したので、…

業務で必要になって調査したら意外と使えそうだったのでメモ。 Procedure内でカスタムエラーを実装して、問題ない場合のみ実行させたくなりました。 ここで言う「問題ない場合」とは以下の2つがあると思います。 パラメータにTypoがない 使用するテーブルに不具合がない（データ連携が遅れていない、欠損がない） この2つの項目を満たせないままProcedureを実行すると、思わぬ事故につながる可能性があります。 例として、カスタムエラーでProcedure実行を止められないとどうなるか考えてみましょう。 deleteとinsertを行うProcedureを仮定します。 もしdeleteしてしまった…

こんにちは、データエンジニアの石井です。 先日公開した記事「社内向けのデータ基盤から集計結果をReverse ETLしてサービスに組み込んだ話」で、ダッシュボード機能のリリースにより、Classiのデータ基盤が「社内用データ基盤」から「ユーザー影響あるシステムの一部」へ進化した話をしました。「ユーザー影響あるシステムの一部」への進化に伴い、データ基盤の品質担保は必要不可欠です。今回は、データ基盤の品質向上に取り組んだKANTプロジェクトについてご紹介します。 KANTプロジェクト 背景・課題 Classiのデータ基盤がユーザー影響あるシステムの一部になる前、つまり社内用データ基盤だった頃には以…

こんにちは、データプラットフォームチームでデータエンジニアをやっている滑川(@tomoyanamekawa)です。 以前紹介したデータ分析基盤であるソクラテスの改善のためにCloud Composer(Airflow)で行っている処理のdbtへの置き換えを検討しましたが、導入を見送りました。 調べてみてdbtに対するわかりみも深まったので、その供養のために検討内容を公開します。 同じように検討している方の参考になれば幸いです。

イントロ お疲れ様です。ゾルタンです。 イングリウッドでは現在全社のデータ基盤を構築しています。 「エンジニアが本質作業に集中しやすいように」のコンセプトのもと外部ツールのデータ集約は基本的にTroccoに任せようとしていますが、対応していないツールや方式など自前構築がどうしても必須な部分が存在します。 拡張性も運用性も高い方式としてAirflowをK8sで選択したので、今回のブログポストでは具体的で便利なセットアップ方法を紹介します。 Airflowとは ワークフローのスケジューリング・実行・モニタリングを行うオープンソースなソフトウェアです。 スケーラビリティ、ダイナミックなワークフロー構…

こんにちは、データプラットフォームチームでデータエンジニアをやっている滑川(@tomoyanamekawa)です。 データプラットフォームチームはデータAI部のメンバーで構成されていて、データ分析基盤を中心としたデータ活用に関するシステムに責務を持つチームです。 データAI部が出来てから3年が経ち、データ分析基盤を今の形で運用をして1年半が経過しました。 データエンジニアの採用活動の中でデータ分析基盤を紹介する必要がある一方、説明コストが高く困っていました。 そこで今回は「ソクラテス」と呼んでいる社内のデータ分析基盤について紹介します。 （データAI部ではシステム基盤に哲学者の名前をつける慣習…

一般社団法人データサイエンティスト協会が実施する「データサイエンティスト検定(リテラシーレベル)」の2022年度秋試験に受験し、無事合格したので、今回はその話をします。 www.datascientist.or.jp 受験動機、背景 当時、経済産業省主催のデジタル推進人材育成プログラム「マナビDX Quest」に参加しており、折角ならば得た知識を横展開するか...という動機で受験。また、既に情報処理技術者試験の「ソフトウェア開発技術者(現: 応用情報処理技術者)」と、日本ディープラーニング協会の「G検定」を所持していたため、本資格に合格すると「デジタルリテラシー協議会」が定義する、現代のビジネ…

問題 趣味として、所属している社会人アメフト部の出欠確認・備品管理アプリをスクラッチで書いているのだけれど、あるときGitHub Actionsで動いている自動化デプロイが、以下のエラーを出して失敗していた。 # 前略 Beginning deployment of service [dev]... ╔════════════════════════════════════════════════════════════╗ ╠═ Uploading 44 files to Google Cloud Storage ═╣ ╚════════════════════════════════════…

はじめに こんにちは、2022年10月入社の中島です。 異業種フィールドエンジニアから未経験ITエンジニアとして転職を志し、ご縁があってFLINTERS BASEに入社してから3ヶ月経ちました。 入社後からの研修が終了しましたので、研修期間で得た経験や会社の雰囲気についてお伝えできればと思います！

はじめに Secure Agent とは Secure Agent構築 環境 Secure Agent インストールプログラムのダウンロードとインストール Secure Agentの起動とIICS接続 おわりに はじめに 近年企業のデータ活用が行われており、オンプレミス、クラウドサービス問わず様々なサービスや、ツールが存在しています。Informatica 社の提供するInformatica Intelligent Cloud Service (以降、IICS)と呼ばれるデータ活用のプラットフォームもその一つです。データの加工を定義し、データウェアハウスなどにデータを格納するといったジョブ開発…

自己紹介 はじめまして。リンクアンドモチベーション プロダクトデザイン室 データユニットに所属している みく@Ryo Koizumi です。好きな食べ物はチョコレートです。 データユニットはヘルススコアを用いた既存事業の収益改善から、データを用いた新規事業の模索まで幅広く行うユニットです。チーム内でもデータサイエンティストをはじめPdMやデータエンジニアなどさまざまな役割のメンバーがおり、社内スタートアップという自己定義のもとに日々邁進しています。 その中でも自分はアプリケーション開発の経験が長いため、データサイエンティストが作成したモデルのアプリケーションへの組み込みや、DevOpsの整備、…

を使うのに、今一度Juliaプログラミングクックブック ―言語仕様からデータ分析、機械学習、数値計算まで作者:Bogumił Kamiński,Przemysław Szufelオライリー・ジャパンAmazonで使い方を整理する。 前回 注意 2. Juliaによるデータエンジニアリング 2.7 オブジェクトのシリアライズ 2.8 Microsoft Excelファイルを読み書きする 次回 前回 power-of-awareness.com 注意 参照文献はかなり古い(2019年)ため、現在のバージョンでは動作しない関数などが多いとの評判がある。そこでそういった齟齬があった場合は随時コメントす…

はじめに Google Cloud の機械学習の知識を問う資格であるProfessional Machine Learning Engineerに合格したので、どのような問題が出たか共有します。

を使うのに、今一度Juliaプログラミングクックブック ―言語仕様からデータ分析、機械学習、数値計算まで作者:Bogumił Kamiński,Przemysław Szufelオライリー・ジャパンAmazonで使い方を整理する。 前回 注意 2. Juliaによるデータエンジニアリング 2.6 日付と時刻を扱う 2.6.1 月計算の注意 2.6.2 タイムゾーンの扱い 次回 前回 power-of-awareness.com 注意 参照文献はかなり古い(2019年)ため、現在のバージョンでは動作しない関数などが多いとの評判がある。そこでそういった齟齬があった場合は随時コメントする。なお筆者の…

【デジカルチーム ブログリレー1日目】 こんにちは、デジカルチームの鳥山（@to_lz1）です。 プロダクト開発の傍ら、人事チーム（=ピープルサクセスグループ）向けに内製したデータ基盤の開発も担当していたりします。 今回は主務の話から逸れますが、こちらの話です。Google Cloud Workflowsを採用した処理基盤が比較的うまく回っているため、開発・運用の中で得られた知見をご紹介したいと思います。 システムの概要 Google Cloud Workflowsについて 具体的に利用している機能 Sub WorkflowによるBigQuery SQLの実行 parallel stepsによ…

コミュニティの代表を務めたりカンファレンスでキーノートを任されるソフトウェアエンジニアともなれば、代名詞ともなるプロダクトやサービスを何かしら持っているものです。そういった意味で、株式会社リクルートのデータエンジニアリング組織でマネージャーを務める竹迫良範さんは少し変わったキャリアを歩んできたのかもしれません。 Webアプリケーション開発の初期にプログラミング言語Perlのコミュニティで代表を務め、Webセキュリティの領域でも活動し、今でもブログで技術的な投稿をしながら、未踏事業やセキュリティ・キャンプといった若手エンジニアの育成にも積極的に取り組んでいます。むしろ自分が手を動かしてプロダクト…

を使うのに、今一度Juliaプログラミングクックブック ―言語仕様からデータ分析、機械学習、数値計算まで作者:Bogumił Kamiński,Przemysław Szufelオライリー・ジャパンAmazonで使い方を整理する。 前回 注意 2. Juliaによるデータエンジニアリング 2.4 RESTfulサービスの作成 2.5 JSONデータを処理する 次回 前回 power-of-awareness.com 注意 参照文献はかなり古い(2019年)ため、現在のバージョンでは動作しない関数などが多いとの評判がある。そこでそういった齟齬があった場合は随時コメントする。なお筆者の環境は、 ア…

はじめに ブラボー！！ nikkieです。 今週木曜日2/16は19時からオンラインでみんなのPython勉強会 (a.k.a stapy)「新刊本から知る機械学習の今」！ 予習リストエントリを公開し、予習を進めています。 2月のみんなのPython勉強会は"機械学習新刊特集"！予習積ん読リスト📚 #stapy - nikkie-ftnextの日記 読書ログ | 『Kaggleに挑む深層学習プログラミングの極意』石原さんによる1章・2章は極意と例が目白押し！（2月の #stapy 予習） - nikkie-ftnextの日記 今回は『評価指標入門』について現時点の感想をアウトプットしちゃいます…