Databricks

こんにちは、VポイントマーケティングAIエンジニアの三浦諒一です。 あっという間に桜の時期が過ぎて、いつの間にか気温が高くなってきました。外で体を動かすときなんかはもうTシャツだけで十分なくらいです。 アプリケーション開発にClaude CodeやGithub Copilot、Codexなどを活用しているのですが、それ以外にもドキュメントを書いてもらったり調査をしたりといった用途でもこれらのエージェントがとても便利だと感じるようになりました。 ただこういったエージェントは便利な反面扱う側も気を使わなければいけないことがあります。使うツールに制限をかけるとか、動作するための専用環境を用意するなど…

すーだらです。 「AGIはもうすでに来ている」—— Databricksの共同創業者でCTOのマテイ・ザハリア氏が、コンピュータ科学界のノーベル賞とも言われる「ACMプライズ・イン・コンピューティング」を受賞し、その場でこんな発言をしました。 AGI（汎用人工知能）論争に、また新しい声が加わりました。

はじめに こんにちは。株式会社エブリーの開発1部の村上です。 弊社ではClaudeを非エンジニアも含めた全社に展開しており、業務のあらゆる場面で生成AIの活用を推進しています。 弊社のデータ基盤は、昨年TreasureDataとDatabricksを併用していた構成からDatabricksに統一しました。（この移行の話は今週の 「第3回 Youは何しにDatabricksへ！？」 で「データ基盤をTreasureData + DatabricksからDatabricksへ統一する話」として弊社のデータエンジニアの吉田がお話しする予定なので、ぜひご参加ください。）基盤が統一されたことで、次のステ…

Databricks Japan主催のコミュニティ貢献認定プログラムで、 最高位「Master」を含む2名が初選出されました。 プレスリリースにも掲載されておりますので、 詳しくはこちらをご覧ください。 prtimes.jp ※プレスリリースでは旧社名「CCCMKホールディングス（CCCMKHD）」を使用していますが、本ブログでは4月1日付で社名変更後の「Vポイントマーケティング株式会社」と表記します。

自己紹介 はじめに system.query.history とは 導入の背景 技術選定の理由 設計上の意思決定 Step 1：クエリ履歴の収集・蓄積 コード全体 ポイント解説 UTC → JST 変換が必要な理由 mergeSchema=true を指定する理由 運用：Databricks Jobs による自動化 なぜ 22:30 に実行するか Cron 式 Job 設定のポイント Step 2：SELECT クエリのテーブル参照状況を解析・記録 出力テーブルの構成 コード全体 ポイント解説 sqlglot による SQL 解析 mapInPandas で分散処理 temp テーブル・CTE…

こんにちは。クラウド事業部の遠見です。 本記事は、Datadogの「Data Observability」を実際に検証したエンジニアが、内容をできる限り客観的に共有することを目的に作成しました。 近年、インフラの可観測性（Observability）と同じように、データの健全性を可観測にする「Data Observability」が注目されています。 今回は、Azure Databricksを使って、Datadogの「Data Observability」を試してみました。 セットアップからカタログ同期、そして意図的にデータを汚染させる「破壊検証」の結果までをレポートします。 はじめに：Dat…

Databricksのリリースノートを見てふーんと思ったのでメモ Databricksはさまざまなクラウドで動作するのでリリースノートはどうなっているんだろうなって思ったので調査してみたところ どうやらクラウド毎に分かれているようです。 Databricks on AWSの場合 docs.databricks.com Databricks on Google Cloudの場合 docs.databricks.com Azureの場合はMicrosoft Learn経由で参照できるみたいです。（あれ、同じページにないなと思ったら別のところに？！） そもそもAzure Databricksなので …