Databricks

はじめに こんにちは。株式会社エブリーの開発1部の村上です。 弊社ではClaudeを非エンジニアも含めた全社に展開しており、業務のあらゆる場面で生成AIの活用を推進しています。 弊社のデータ基盤は、昨年TreasureDataとDatabricksを併用していた構成からDatabricksに統一しました。（この移行の話は今週の 「第3回 Youは何しにDatabricksへ！？」 で「データ基盤をTreasureData + DatabricksからDatabricksへ統一する話」として弊社のデータエンジニアの吉田がお話しする予定なので、ぜひご参加ください。）基盤が統一されたことで、次のステ…

Databricks Japan主催のコミュニティ貢献認定プログラムで、 最高位「Master」を含む2名が初選出されました。 プレスリリースにも掲載されておりますので、 詳しくはこちらをご覧ください。 prtimes.jp ※プレスリリースでは旧社名「CCCMKホールディングス（CCCMKHD）」を使用していますが、本ブログでは4月1日付で社名変更後の「Vポイントマーケティング株式会社」と表記します。

こんにちは、VポイントマーケティングAIエンジニアの三浦です。 いつの間にか近所の並木道の桜が満開になっていました。朝早くの、少し肌寒い時間に見に行くのが好きです。 AIを使った開発で最近必ずと言っていいほどAgent Skillsを活用しています。Agent SkillsはAIにやってほしいワークフローをまとめたもので、Agent Skillsとして定義しておけば必要な時にいちいち指示を出すことなくAIがそのワークフローを定められた手順に従って実行してくれるようになります。 Github CopilotでAgent Skillsを導入する方法は以前こちらの記事でまとめています。 techbl…

自己紹介 はじめに system.query.history とは 導入の背景 技術選定の理由 設計上の意思決定 Step 1：クエリ履歴の収集・蓄積 コード全体 ポイント解説 UTC → JST 変換が必要な理由 mergeSchema=true を指定する理由 運用：Databricks Jobs による自動化 なぜ 22:30 に実行するか Cron 式 Job 設定のポイント Step 2：SELECT クエリのテーブル参照状況を解析・記録 出力テーブルの構成 コード全体 ポイント解説 sqlglot による SQL 解析 mapInPandas で分散処理 temp テーブル・CTE…

Databricksのリリースノートを見てふーんと思ったのでメモ Databricksはさまざまなクラウドで動作するのでリリースノートはどうなっているんだろうなって思ったので調査してみたところ どうやらクラウド毎に分かれているようです。 Databricks on AWSの場合 docs.databricks.com Databricks on Google Cloudの場合 docs.databricks.com Azureの場合はMicrosoft Learn経由で参照できるみたいです。（あれ、同じページにないなと思ったら別のところに？！） そもそもAzure Databricksなので …

Databricksのアカデミーサイトについて調べてみた いくつかわかったことがあるのでメモしておく。 わかったこと カスタマー向け、Partner向け、従業員向けで3つの選択肢がある Go Learnというアプリかブラウザを使ってアクセスする いずれかの選択肢でログインするとサイン・アウトしたとしてもほかの選択肢でログインできない（後述） カスタマー向け、Partner向け、従業員向けで3つの選択肢がある Databricks Training Login: Data Engineering & AI Learning でどのロールでログインするかが選択できます。 www.databrick…

はじめに こんにちは。開発本部 開発1部 デリッシュリサーチチームの江﨑です。 本記事では、これまでHive Metastore上のDeltaテーブルで管理していたデリッシュリサーチ用データ（約40テーブル）をUnity Catalogへ移行したプロジェクトの全体像を、インフラ整備からAthena連携・Databricks Managed MCP活用まで紹介します。 はじめに 背景：なぜ Unity Catalog に移行したか 課題 1：テーブルスキーマが「コードを読まないと分からない」 課題 2：データリネージを Mermaid で管理していた Unity Catalog とは マネージド…