Data Engineer

今は違うのですが、前はデータサイエンスなこともやっていたのでデータエンジニアリングな部分は 地味に重要な役回りだなと感じていたので、この認定の取得を行おうと思いました。 他のクラウドベンダーだと関連しそうな認定がなかったり、英語限定だったりしたのでこの認定にしました。 これから受験しようと思っている方々のために、受験に向けてやったことや教材について書いていきます。 cloud.google.com 勉強前のスペック 勉強に使用したもの Google Cloud Skills Boost - Data Engineer Learning Path 良かったところ 悪かったところ（気になるところ）…

KADOKAWA Connected / ドワンゴの @saka1 です。最近はデータ基盤の保守等に携わっています。 今回はStreamlitというWebアプリケーションフレームワークを使い、Snowflake上のテーブルの利用状況を測定するダッシュボードを作ってみました。 データの需要はいつの間にか変化している問題 データ活用を進めるためには、データの整備が必要です。無いデータは分析できないので……。一方で、ただデータを基盤上に整備するだけだと、そのデータがどれぐらい有用なのかは判断が難しいです。 整備当初は有用でみんなが見ていた（かもしれない）テーブルも、しばらく経つと人気がなくなっている…

こんにちは。FLINTERS BASE 開発部 小杉です。 早いもので、配属されてから7ヶ月、入社してから10ヶ月が経ちました。ようやく自社ドメインの知識が増えてきてエンジニアという仕事に慣れつつあります。（まだまだポンコツの域を抜けませんが、、、） 今回は以前から整理したいなと思っていたメタデータをテーマに書いていきたいと思います！

テックタッチアドベントカレンダー 13 日目を担当しますデータエンジニアの acchan です。 この間完全個室型のサウナに初めて行ってきまして、贅の極みを堪能してきました。みなさんもこの 1 年間頑張ってきた自分のご褒美にいかがでしょうか。 はじめに Elementaryとは チュートリアルをやってみる 下準備 パッケージのインストールと Elementary の初期設定 Elementary テストの追加 テストの実行とレポートの生成 Slack通知を試してみる さいごに はじめに 弊社では最近、データ分析基盤のモデリング用途として dbt を使い始めました。まだ間もないですが、モデルの共…

はじめに LLM-as-a-judge 対象のタスク 実験概要 実験のプロセス Generative AI on Vertex AIでの実装 評価結果の確認 追加実験 まとめ はじめに こんにちは、Analysisチームの宇佐見です。 こちらはCADDi プロダクトチーム Advent Calendar 2024 6日目の記事になります。 adventar.org 皆さん、機械学習モデルの精度を追ってますか?PoCの話ではなく、デプロイした後の話です。 CADDiが展開するCADDi Drawerの一機能の図面解析も機械学習を用いて行われており、デプロイしたモデルの精度が期待していたよりも低け…

なぜやるか データエンジニアとしてキャリアを積んでいきたいと考えています。普段業務でGoogle Cloudを使っていることもあり、Google Cloudが発行しているProfessional Data Engineerの認定資格を取得するのも良いなと思い立ち、勉強のログを残します。 こちらですね。 cloud.google.com 試験で問われる能力は大体この辺りだそう。 データ処理システムの設計 データの取り込みと処理 データの保存 分析用データの準備と使用 データ ワークロードの管理と自動化 試験時間は2時間で、税抜$200。 高いですねえ。 記事を見ていると、このような方も見つけまし…

カケハシには、あらゆるプロダクトのデータ活用を一手に担う、データ基盤のスペシャリストチームが存在します。今回は、チームの中核となる3人のエンジニアに、「入社の決め手」「入社後の衝撃」「今後の展望」そして「求めるエンジニア像」を語ってもらいました。 事業・領域によって、扱うことのできるデータはさまざま。特に「自分の仕事が社会の何に貢献しているのか」「その課題解決が誰の役に立っているのか」モヤモヤを抱えているエンジニアの方にお届けしたい記事なりました。ぜひご一読を！ きっかけは「データを活用して世の中の役に立ちたい」という想い データチーム / Engineering Manager / 松田健司…

はじめに こんにちは。クラウド事業部の早房です。 先日 AWS Certified Machine Learning Engineer - Associate(MLA-C01) を受験し、合格しました！ 本記事では、学習に利用した教材や、実際の試験の感想を綴らせていただきます。 本投稿が受験を考えている方々の何かしらの一助となれば幸いです✨ AWS Certified Machine Learning Engineer - Associate(MLA-C01) ついて 2024年10月に正式リリースされた Associate レベルの試験です。 出題範囲は以下です。 • 第 1 分野: 機械学…

こんにちは、CADDiの図面解析チームで機械学習エンジニアをしている宇佐見です。 このブログでは先日行われたチーム合宿について書かせて頂きます。 はじめに 全体の流れ D&A戦略理解 & チーム説明 マシュマロチャレンジ ハッカソン 最後に はじめに CADDiは「製造業AIデータプラットフォームCADDi」を提供しています。 私が所属するData&Analysis部（以下、D&A）は文字通り集約されたデータを分析するのがメインの業務です。 Drawerに集まるあらゆるデータを対象とはしていますが、私が所属するチームは図面データ活用クラウドであるCADDi Drawerというプロダクトに集まっ…

ITエンジニアと一口に言ってもフロントエンド、サーバーサイド、インフラ、QA、マネジメント……など、ポジションやキャリアにはさまざまなルートが。使う技術やツールはもちろんのこと、おもしろさや考え方も異なります。「なぜ、どういうきっかけでその道に進むことになったのか」「何がやり甲斐なのか」には、人それぞれの答えがあるものです。 いろいろな人から自分なりのキャリアの選び方を伺うことで、テックの世界の知見を共有する本企画。今回は株式会社ギックス おがたさんが、気が付いたらデータエンジニアになっていた理由をLT形式で発表していただきました。 自己紹介 株式会社ギックスで、データエンジニアをしているおが…

G-genの杉村です。Google Cloud（旧称 GCP）の認定資格である Associate Data Practitioner 資格の試験対策に有用な情報を記載します。 基本的な情報 Associate Data Practitioner とは 難易度 出題傾向 試験対策 ETL と ELT ETL と ELT の基本 オープンソースツールとフルマネージドサービス Cloud Data Fusion イベントドリブンアーキテクチャ データベースの選択 BigQuery BigQuery の基本 ELT と ETL 半構造化データの扱い（JSON 型） パーティションとクラスタリング 外…

ここ最近はAWS認定資格の取得に取り組んでいました。5月に「SysOps Administrator - Associate」、6月に「Data Engineer - Associate」、7月に「Machine Learning - Specialty」、9月に「Advanced Networking - Specialty」、そして11月に「AI Practitioner」を取得し、AWS認定資格の受験ラッシュも落ち着き始めています。 Amazon CloudFrontのOrigin Access Control（OAC）用に、新しいAWS CDK L2コンストラクトが利用できるようになり…

はじめに こんにちは、愛猫リンゴちゃん大好きのローです。 今回は入社して半年間のAWS資格受験を振り返り、最近気づいた学習法をお伝えします。 ※以下は個人的な見解ですので、参考程度にご覧ください。 筆者のAWS受験歴 資格名 取得日 AWS Certified Cloud Practitioner - Foundational 2023/11/10 AWS Certified Data Analytics - Specialty 2024/04/07 AWS Certified Database - Specialty 2024/04/29 AWS Certified Solutions Ar…

こんにちは。okodoooonです🌵 ラスベガスに来てから、同行しているメンバーと手分けをしてセッションを聞いて、知見をまとめる作業に追われており、なかなかハードな日々を過ごしておりました。 今回は初日に聞いた5つのセッションがどれも知見に溢れるものだったので、そちら紹介していきたいと思います💪 スライドが公開されたり他メンバー担当分の記事が上がり次第リンクなど追って貼っていきます。(2日目以降のやつも頑張って書いております) 目次 Data alone is not enough（訳：データだけでは不十分である） 概要 セッション内容の紹介 感想 Breaking the mold: A s…

ブログ運営担当の小嶋です。 9月のブログアクセス数ランキングをご紹介します！！ （2024年9月1日~9月30日計測） 9月アクセス数TOP10 第1位 あなたの上司や部下が見ている世界 tech.nri-net.com 第2位 カバレッジの種類～C0・C1・C2・MCC～ tech.nri-net.com 第3位 【Java】static修飾子ってなに？ tech.nri-net.com 第4位 キャッシュ制御の観点で見る CloudFront tech.nri-net.com 第5位 EC2からS3へアクセスする4つのルートとコスト tech.nri-net.com 第6位 有料化したFi…

目次 目次 はじめに 結果 筆者の受験時のスペック AWS Certified Machine Learning Engineer - Associateの学習方法 1回目の公式模擬問題の実施 SageMakerの公式ドキュメント確認 2回目の公式模擬問題の実施 AWS Certified AI Practitionerの学習方法 公式模擬問題 おわりに お知らせ はじめに こんにちは、クラウド事業部のサカタニです。 先日、AWS Certified Machine Learning Engineer - AssociateとAWS Certified AI Practitionerのベータ試…