データ分析基盤

こんばんは、のび汰です。 教科書と現実のシステム 今日は、クライアントのプロジェクト推進に関する現状把握と、 課題の発見に時間を費やしつつ、 あい間には先輩コンサルタントからクライアントのデータ分析基盤に関するレクチャ。 ここまでマンツーマンで教えてもらえる体制で本当にありがたい！ マジで僕はツイてる。いつも人に恵まれてんだよなぁ。なんだか、複雑すぎる全体システム。 「全体図」と言いながら、作成した部署や担当者によって図面の粒度がバラバラ。図面を書こうという意思だけはすばらしい！と思いつつ、 なんでこんなにバラバラなんだろうと思ったら、 自分の担当システムを中心に一番詳しく書いているからという…

はじめに こんにちは。レバレジーズ、データエンジニアの森下です。 レバレジーズではBigQueryを中心にデータ活用基盤を構築しています。ELT処理は今までEmbulkを使用していましたが、データ更新頻度の向上による社内ユーザーの利便性向上とデータエンジニアの運用負荷軽減を考えて、今年度中に全てFivetranへ移管する予定です。すでにいくつかのRDBやSaaSの更新はFivetranにまかせており、日々その便利さを噛み締めています。 今回は、Fivetranを使った便利なポイントや困ったポイント、注意するべきポイントを紹介いたします。 Fivetranとは？ ELT専用のSaaS…

こんばんは。データ分析基盤グループ所属の大室です。 セーフィーではデータドリブン経営を推進すべく、2021年頃からデータ分析基盤のシステム開発が始まり、2022年に専門の組織「データ分析基盤グループ」が立ち上がっています。 システムも組織も産声を上げたばかりのデータ分析基盤。本記事ではその歴史や背景、組織やアーキテクチャにスポットライトを当てたいと思います！ そもそもデータ分析基盤とは？ データレイク DWH ETL BIツール セーフィーのデータ分析基盤ヒストリー データ分析基盤グループについて 所属組織 所属メンバー 開発手法 セーフィーのデータ分析基盤アーキテクチャ 旧基盤 新基盤 最後…

こんにちは。 研究開発部Architectグループにてデータエンジニアとしてデータ分析基盤の開発・運用をしている中村です。 今回はBigQuery上で利用可能な祝日対応したカレンダーテーブルを作成する方法についてご紹介いたします。

エンジニアのためのデータ分析基盤入門 2.2 データの世界のレイヤー より データ分析基盤のレイヤー コレクティングレイヤー(データを集める) プロセシングレイヤー(データを処理する) ストレージレイヤー(データを保持する) アクセスレイヤー(データを利用する) コレクティングレイヤー ストリーミング：絶え間なくデータを処理 バッチ：一定以上の塊でデータを収集 プロビジョニング：仮にデータを配置 プロセシングレイヤー ETL データラングリング 暗号化・難読化 データ品質計算/メタデータ計算 ストレージレイヤー マスターデータ管理 データのライフサイクル管理 メタデータストア データのゾーン管…

エンジニアのためのデータ分析基盤入門 2.4 プロセシングレイヤー データを変換する より 意味 非構造データを構造データにしたり、付加価値を付ける作業を行うこと。 ラングリングはこねくり回すという意味である。 データプレパレーション[data preparation]とも呼ばれる。 どちらも同じ作業内容を指す。データラングリング自体非常に難易度が高く、 プログラミング言語を習熟していること(Pythonが多い)、 社内のドメイン知識が必要になってくる。 データサイエンティストやデータエンジニアリングが担当することが多い。 海外では、CTOやCDO自身が行うケースもある。 主な3つの作業(本書…

はじめに こんにちは、データエンジニアリングチームの島田です。私はユニファ入社後1年程は主に機械学習エンジニアとして仕事をしてきました。その後、私自身の希望もあり2020年の春頃から徐々にデータ分析職に軸足を移し、今は業務の大部分をデータアナリストとして仕事をしています。この記事ではUnifaでのデータアナリストとして仕事をしてきたことを振り返ってみたいと思います。

AIテストエージェントSparkによる自動ソフトウェアテスト 個人開発サービスの成功事例 格安Androidタブレットレビュー AI搭載コードエディタCursorの使い方 Python入門学習 Webフロントエンド開発におけるアクセシビリティとSPAの落とし穴 Anker Prime Charger (250W)レビュー 生成AIによるシステム開発の取り組み JAXAへのサイバー攻撃と中国系ハッカー集団 AWS Patch Managerを使ったEC2への自動パッチ適用 Llamaライセンス契約のリスク AIの台頭による雇用への影響 世界初のチャットボットELIZAの復活 Homebrewを装…

こんにちは、データアナリストの田代です。 2024年7月から、データアーキテクトグループでリーダー業務を担当しています。 初めてのリーダーということもあり、考えるべきことが増えて苦労も多かったため、この半年間の振り返りをしてみたいと思います。あくまで自己評価ですので、ご容赦いただければ幸いです。 前提 データアーキテクトグループ 主に以下2つのプロジェクト・タスクを扱っており、アナリティクスエンジニア的な業務内容が多いです。 事業成長に必要なデータ分析基盤（DWH/データマート/モニタリング）の整備 データを使った意思決定を事業に浸透・推進させること メンバーの働き方 グループ内のメンバーは、…

こんにちは、リーナーの小久保 id:yusuke-k です。 この記事は、リーナーという会社の名前は知ってるけど、どんな会社なのかもうちょっと知れるといいな、という人向けの簡潔な紹介記事です。内容についてより詳しく聞いてみたいことがあればお近くのリーナーメンバーに気軽にお声がけください。 プロダクトとチームの現状と課題 リーナーは調達購買領域で、BtoB SaaSを開発提供しているスタートアップです。 調達購買とはいわゆる「企業の買い物」です。複雑なプロセスが絡み合う領域ですが、現在はその中でも、見積や購買（発注）における業務を中心に扱っています。 現在のプロダクトラインナップ リーナー見積 …

参加申し込みはこちら techplay.jp こんな方におすすめ ・データ分析基盤に携わるエンジニア・その他、本テーマに興味関心があるITテクノロジービジネスに携わる方 開催概要 データ分析基盤 エンジニア勉強会 〜各社の取り組みや課題から学ぶ会〜 ITテクノロジーに関する様々な職種やテーマをピックアップして「他社・他の人ってどうしてるの？」を学ぶ、TECH Streetコミュニティ恒例の事例・知見共有勉強会。今回は2社のデータ分析基盤に携わるエンジニアが集まり、それぞれの知見を発表し、学びあう勉強会を開催します！ 今回も質問コーナーをたっぷり設けますので、いろんな「知りたい！」に応えられる会…

データ分析基盤の未来対応型アーキテクチャ こんにちは、稗田利明です！ データ分析基盤の構築において重要な「未来対応型プラットフォームアーキテクチャ」について解説します。大規模なデータ分析基盤には、データパイプライン生成、SQLエンジン、機械学習エンジン、ストレージ管理など、多岐にわたる共有サービスが必要です[1]。これらのサービスを論理的に一元化し、データへの接続性を確保したアーキテクチャを「コネクテッド・アナリティクス・アーキテクチャ」と呼びます。 このアーキテクチャでは、ドメインが管理するデータ製品がコネクテッド・データ基盤に保存され、様々なコンピュートサービスがこれらのデータ製品を共有し…

こんにちは。techtekt編集部です。 パーソルキャリアのエンジニアリング業務を積極的に発信し、リアルに、わかりやすくユーザーの皆様へお届けしたエンジニアやデータサイエンティストなどを称える、“techtekt テクニカルライティングアワード”。これまでも技術発信に貢献した社員を表彰してきました。 実は昨年から記事投稿にチャレンジするメンバーもググっと増え、本Awardの選考もより難易度が高くなってきております。そんな中で栄えある2024年のtechtektテクニカルライティングAwardを授賞したのは…デジタルテクノロジー統括部 リードエンジニア、梅本誠也さんです🎉🎉🎉 おめでとうございま…

TOYOと日本IBM、EPCデータ統合基盤を強化 こんにちは、稗田利明です！ 東洋エンジニアリング株式会社（TOYO）と日本アイ・ビー・エム株式会社（日本IBM）は、プラント建設業務のEPC（設計、調達、工事）における関連データを統合管理・活用するための基盤「EPC Hub（プロジェクトデータ統合ハブ）」の機能強化を完了しました[1][2]。この開発では、EPCプロジェクト分野のさらなる効率化・強靭化を目指し、業界標準のデータモデルを組み込み、Microsoft Azure上に基盤を構築することで、低コストかつ堅牢で拡張性の高いプラットフォームを実現しました[1]。 EPC Hubの主な特徴は…

はじめに Iceberg とは？ Iceberg Table for BigQuery Iceberg Table を作る 用意するもの テーブル作成 データを入れる Time Travelできないし、なんだかメタデータがめっちゃ少ない！！！ 次へ はじめに 当記事を開いていただきありがとうございます。電通総研 エンジニアリングオフィスの徳山です。 この記事は、テーブルフォーマットの Iceberg についての初歩的な内容を説明します。 BigQuery で Iceberg 形式のデータを作成し、実体ファイルの中身をお見せすることで、Iceberg が一体どういうものなのか実感を持つきっかけに…

はじめに CRM の開発・運用状況 「システムリプレイスにおける複数DBアクセスの課題と解決策」の振り返り 既存システムのアーキテクチャと技術スタック アーキテクチャ 技術スタックの比較 データの整合性における課題と対策 データ不整合を未然に防ぐための対策 データ不整合が発生した場合の対策 トランザクション管理や排他制御における課題と対策 トランザクション管理における課題と対策 排他制御における課題と対策 最後に はじめに こちらはバイセルテクノロジーズ Advent Calendar 2024の23日目の記事です。 昨日は千棒さんによる2024年情シスの業務改善とセキュリティ強化の成果を振り…

こちらはエムスリー Advent Calendar 2024の20日目の記事です。 デジスマチームの田口です。 デジスマ診療（以降デジスマ）はQRコードによるチェックインや自動後払い、オンライン診療など新しい医療体験を提供するサービスです。 www.youtube.com ありがたいことにサービスは成長し続けており、これに伴ってKPIの深掘りや施策の効果検証のためのデータ分析もより積極的に行われるようになってきました。 デジスマチームではデータ分析基盤にBigQueryを利用しており、Amazon Auroraや各種ログデータをBigQueryに連携し、様々な分析をしています。 多種多様なデー…

冬休みの自由研究として何かやりたいとは考えている。が積んだ記事が溜まりすぎている。 データアナリストがネガティブなことを伝えなければならない時に気を付けていること - エニグモ開発者ブログ 意思決定の質を高める支援をする職なのだから、伝えるべきことは伝えつつ、支援ということを忘れないようにしたいね 【AWS re:Invent 2024】RAG 関連の5個のセッションの学びを濃縮してお届けします - カミナシ エンジニアブログ RAG などを活かした LLM サービスを提供する、っていうところでいうと、まだまだ AWS は大変そうだなー Elastic CloudでObservabilityを…

この記事は株式会社エス・エム・エス Advent Calendar 2024の12月18日の記事です。 qiita.com こんにちは、株式会社エス・エム・エスで全社の業務改善を推進するBPR推進部で責任者をしている稲留（いなどめ）です。今日はAdvent Calendarの場を借りて、エス・エム・エスのBPR組織についてお話したいと思います。 まずはじめに、簡単な自己紹介 大学卒業後のファーストキャリアはSIerで、エンジニアとITコンサルタントとして、合計10年程度キャリアを積み重ねました。その後、事業会社で全社横断プロジェクトの推進や事業管理・管理会計・人事などのバックオフィス部門を経験…