データ分析基盤

こんばんは、のび汰です。 教科書と現実のシステム 今日は、クライアントのプロジェクト推進に関する現状把握と、 課題の発見に時間を費やしつつ、 あい間には先輩コンサルタントからクライアントのデータ分析基盤に関するレクチャ。 ここまでマンツーマンで教えてもらえる体制で本当にありがたい！ マジで僕はツイてる。いつも人に恵まれてんだよなぁ。なんだか、複雑すぎる全体システム。 「全体図」と言いながら、作成した部署や担当者によって図面の粒度がバラバラ。図面を書こうという意思だけはすばらしい！と思いつつ、 なんでこんなにバラバラなんだろうと思ったら、 自分の担当システムを中心に一番詳しく書いているからという…

はじめに こんにちは。レバレジーズ、データエンジニアの森下です。 レバレジーズではBigQueryを中心にデータ活用基盤を構築しています。ELT処理は今までEmbulkを使用していましたが、データ更新頻度の向上による社内ユーザーの利便性向上とデータエンジニアの運用負荷軽減を考えて、今年度中に全てFivetranへ移管する予定です。すでにいくつかのRDBやSaaSの更新はFivetranにまかせており、日々その便利さを噛み締めています。 今回は、Fivetranを使った便利なポイントや困ったポイント、注意するべきポイントを紹介いたします。 Fivetranとは？ ELT専用のSaaS…

こんばんは。データ分析基盤グループ所属の大室です。 セーフィーではデータドリブン経営を推進すべく、2021年頃からデータ分析基盤のシステム開発が始まり、2022年に専門の組織「データ分析基盤グループ」が立ち上がっています。 システムも組織も産声を上げたばかりのデータ分析基盤。本記事ではその歴史や背景、組織やアーキテクチャにスポットライトを当てたいと思います！ そもそもデータ分析基盤とは？ データレイク DWH ETL BIツール セーフィーのデータ分析基盤ヒストリー データ分析基盤グループについて 所属組織 所属メンバー 開発手法 セーフィーのデータ分析基盤アーキテクチャ 旧基盤 新基盤 最後…

こんにちは。 研究開発部Architectグループにてデータエンジニアとしてデータ分析基盤の開発・運用をしている中村です。 今回はBigQuery上で利用可能な祝日対応したカレンダーテーブルを作成する方法についてご紹介いたします。

エンジニアのためのデータ分析基盤入門 2.2 データの世界のレイヤー より データ分析基盤のレイヤー コレクティングレイヤー(データを集める) プロセシングレイヤー(データを処理する) ストレージレイヤー(データを保持する) アクセスレイヤー(データを利用する) コレクティングレイヤー ストリーミング：絶え間なくデータを処理 バッチ：一定以上の塊でデータを収集 プロビジョニング：仮にデータを配置 プロセシングレイヤー ETL データラングリング 暗号化・難読化 データ品質計算/メタデータ計算 ストレージレイヤー マスターデータ管理 データのライフサイクル管理 メタデータストア データのゾーン管…

エンジニアのためのデータ分析基盤入門 2.4 プロセシングレイヤー データを変換する より 意味 非構造データを構造データにしたり、付加価値を付ける作業を行うこと。 ラングリングはこねくり回すという意味である。 データプレパレーション[data preparation]とも呼ばれる。 どちらも同じ作業内容を指す。データラングリング自体非常に難易度が高く、 プログラミング言語を習熟していること(Pythonが多い)、 社内のドメイン知識が必要になってくる。 データサイエンティストやデータエンジニアリングが担当することが多い。 海外では、CTOやCDO自身が行うケースもある。 主な3つの作業(本書…

はじめに こんにちは、データエンジニアリングチームの島田です。私はユニファ入社後1年程は主に機械学習エンジニアとして仕事をしてきました。その後、私自身の希望もあり2020年の春頃から徐々にデータ分析職に軸足を移し、今は業務の大部分をデータアナリストとして仕事をしています。この記事ではUnifaでのデータアナリストとして仕事をしてきたことを振り返ってみたいと思います。

こちらはエムスリー Advent Calendar 2024の20日目の記事です。 デジスマチームの田口です。 デジスマ診療（以降デジスマ）はQRコードによるチェックインや自動後払い、オンライン診療など新しい医療体験を提供するサービスです。 www.youtube.com ありがたいことにサービスは成長し続けており、これに伴ってKPIの深掘りや施策の効果検証のためのデータ分析もより積極的に行われるようになってきました。 デジスマチームではデータ分析基盤にBigQueryを利用しており、Amazon Auroraや各種ログデータをBigQueryに連携し、様々な分析をしています。 多種多様なデー…

冬休みの自由研究として何かやりたいとは考えている。が積んだ記事が溜まりすぎている。 データアナリストがネガティブなことを伝えなければならない時に気を付けていること - エニグモ開発者ブログ 意思決定の質を高める支援をする職なのだから、伝えるべきことは伝えつつ、支援ということを忘れないようにしたいね 【AWS re:Invent 2024】RAG 関連の5個のセッションの学びを濃縮してお届けします - カミナシ エンジニアブログ RAG などを活かした LLM サービスを提供する、っていうところでいうと、まだまだ AWS は大変そうだなー Elastic CloudでObservabilityを…

この記事は株式会社エス・エム・エス Advent Calendar 2024の12月18日の記事です。 qiita.com こんにちは、株式会社エス・エム・エスで全社の業務改善を推進するBPR推進部で責任者をしている稲留（いなどめ）です。今日はAdvent Calendarの場を借りて、エス・エム・エスのBPR組織についてお話したいと思います。 まずはじめに、簡単な自己紹介 大学卒業後のファーストキャリアはSIerで、エンジニアとITコンサルタントとして、合計10年程度キャリアを積み重ねました。その後、事業会社で全社横断プロジェクトの推進や事業管理・管理会計・人事などのバックオフィス部門を経験…

こんばんは。データ分析基盤グループ所属の大室です。 この記事はSafie Engineers' Blog! Advent Calendar18日目の記事です！ はじめに 登壇内容 セッション概要 当社のご紹介 プロジェクト背景 プロジェクト始動 CData Syncの採用ポイント 今後の展望 余談 会場風景 We are hiring!

ソーシャル経済メディア「NewsPicks」SREチームの美濃部です。 NewsPicksでは複数のサービスでAurora MySQLをメインのデータベースとして利用しています。これまでAurora MySQL 2（MySQL 5.7互換）を使用してきましたが、2024年2月から順次クラスタのアップグレードを開始し、2024年11月にすべてのクラスタをAurora MySQL 3（MySQL 8.0互換）へのアップグレードを完了しました。この記事ではそのアップグレードプロセスについて解説します。 アップグレードの背景 アップグレードを決断した主な要因は、Aurora MySQL 2のサポートが…

こんにちは！千株式会社ものづくり部CTO室のSAWAです。 この記事はSEN Product Blog アドベントカレンダー 2024 の14 日目の記事です。 はじめに（自己紹介） こんな場面、身に覚えはありませんか？ エンジニアも非エンジニアもごちゃまぜの「GA4勉強会」はじめました。 ＜勉強会の目指す姿＞ 主催者としての「学習コミュニティ活動」アシストをまるっと記載 おわりに はじめに（自己紹介） データ分析基盤を構築するプロジェクトメンバーとして千株式会社にジョインしました。「データに基づいた意思決定と戦略の立案の支援」がミッションです。BIツールを使って、視覚化や課題の提案、解決をし…

こちらの記事は「コドモンAdvent Calendar 2024」と「TROCCO® Advent Calendar 2024」の14日目の記事です🎅🎄 こんにちは、Analyticsグループの若鶴です！ Analyticsグループは開発部ではなく社長室に所属していますが、開発部の皆様のご好意により、コドモンのAdvent Calendarに参加させてもらってます🎉 コドモンのAnalyticsグループは、データ分析基盤の整備・データパイプラインの作成・ダッシュボード作成の3つをメインで実施しています。 外部の方から「コドモンのデータ分析基盤、今どんな感じになってます？？」という質問をもらった…

データエンジニアのみっつと申します。 この記事はSnowflakeアドベントカレンダーの11日目の投稿です！ 今回は、我々のプロジェクトで進んでいるAIの活用と、Snowflake社と共同で実施したブートキャンプを通じた、AI/ML導入への取り組みについて紹介します😃 （ここの文章の大半はAIの力を借りて生成しました😃） はじめに 近年、AI（人工知能）進歩は目覚ましく、私たちの開発現場でも活用が進んでいます。特に、開発者やデータ基盤利用者の支援において、AIの導入は生産性の向上や新たな価値創出につながっています。

はじめに こんにちは。 レバレジーズデータ戦略室、データアーキテクトグループの鵜飼です。 今回は、データ分析基盤の再整備プロジェクトについてお話できればと思います！ こちらは、以前田代が投稿した記事『データ分析基盤再構築への道！～レバレジーズの挑戦～』に記載されているアーキテクチャを元に、実際にデータ基盤を整備してみた話になりますので、プロジェクトが始まった経緯やアーキテクチャに関しては田代の記事をご覧いただけますと幸いです。 データ分析基盤を綺麗にしたいと考えている方の参考になると嬉しいです！ プロジェクトの概要 本プロジェクトは、すでにBIツールを活用したモニタリング体制が整備されている事…

ブログ運営担当の海野です。 11月のブログアクセス数ランキングをご紹介します！！ （2024年11月1日~11月30日計測） 11月アクセス数TOP10 第1位 AI時代のITエンジニアの付加価値について tech.nri-net.com 第2位 『データ分析基盤を作ってみよう ～性能設計編～』というタイトルで勉強会を開催しました tech.nri-net.com 第3位 カバレッジの種類～C0・C1・C2・MCC～ tech.nri-net.com 第4位 『S3を安全に使うための10の約束』 技術書典17向けに書きました tech.nri-net.com 第5位 【Java】static修…

プロンプト例 xoBlos（ゾブロス）という製品を、データドリブン経営に活用したいです。 デジタル技術の活用とプロセス標準化、BI、DX、ビジネスモデル変革とAI活用などの観点も含め、xoBlos の活用計画を立案してください。以下の２つのWebサイトをデータソースとして参考にしてください。 xoBlos 商品サイト https://www.xoblos.com/ xoBlosのブログ https://xoblos.hatenablog.jp/ 生成AI回答例 xoBlos（ゾブロス）は、Excel業務の自動化プラットフォームであり、複雑な処理を高速・安全・正確に自動化することで、大幅な業務効…

主に一般向け製品やサービスを提供している企業等からのリリース、お知らせを不定期に収集しています。対象企業は徐々に数を増やしていく予定です。キャンペーン情報、イベント情報等の関連する情報も掲載しています。※当分の間、各社からのリリースのタイトル一覧のみ掲載します。（決算情報、メンテナンスのお知らせ等も含まれています。） ランキング参加中インターネット Hamee モバイルアクセサリーブランド「iFace（アイフェイス）」「iFace Look in Clear」シリーズからGalaxy Z Flip 6専用のオールクリアスマホケースが登場！ 「Pixio」 から27インチ／240Hz／Fast …