Hatena Blog Tags
はてなブログ トップ
データ基盤
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

データ基盤

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
サーバーワークスエンジニアブログ•1ヶ月前

Databricks Apps で AI エージェント (RAG) を構築する

データドリブンな人間を目指している香取です。 最近 Databricks では生成 AI 関連のアップデートがどんどん追加されており、AI エージェントを簡単に構築できるようになってきています。 そんな中 AI エージェント構築の一連の流れを体験できる公式チュートリアルを発見したので、Free Edition で実践してみました。 はじめに チュートリアルの流れ 前提 構築するアプリのイメージ 0. デモに必要なパッケージ一式をインストール 1. ツールの作成 2. エージェントのデプロイと評価 2-1. エージェントの作成と登録 2-2. エージェントの評価 ./ai-agent/confi…

#Databricks#Databricks Apps#生成 AI#データ基盤

関連ブログ

サーバーワークスエンジニアブログ•2ヶ月前

DatabricksのUnity Catalogで実現するデータガバナンス

Databricks とは データガバナンスとは Unity Catalog によるデータガバナンス アクセス制御 監査 データ発見可能性 データリネージ ER 図 AI によるコメント生成 データ共有 データ品質 おわりに 参考 アプリケーションサービス本部の鎌田(義)です。 本稿では、Databricks が提唱するデータインテリジェンスプラットフォームを支える要素技術の一つである Unity Catalog の主な機能について紹介します。 Databricks とは Databricks は、 エンタープライズレベルの大規模なデータ分析や AI ソリューションを構築、デプロイ、共有、保守…

#Databricks#データ基盤
楽天モバイル最高☆•2ヶ月前

通信業界におけるAIの進化：魔法から実践へ（楽天シンフォニー）

ご訪問ありがとうございます。ただいま楽天グループでは楽天従業員からの楽天モバイル紹介キャンペーンを実施中です。下記からログインして楽天モバイルにご契約いただくと、最大14,000ポイントプレゼントいたします！よろしくお願い申し上げます。https://r10.to/hYYGNa【楽天従業員から紹介された方限定】楽天モバイル紹介キャンペーン！回線お申し込みごとにポイントプレゼント！上記URLからどなたでもお申し込みいただけます。 通信業界におけるAIの進化：魔法から実践へ楽天シンフォニーが語る「通信業界での現実的なAI活用」の核心とは2025年6月、コペンハーゲンで開催された「DTW Ignit…

#楽天シンフォニー#RakutenSymphony#通信業界#AI#エージェント型AI#データ基盤#Site Management 2.0#大規模通信事業#エージェンティックAI
MicroAd Developers Blog•2ヶ月前

Parquet形式への変換処理におけるストレージI/O削減

はじめに マイクロアドでサーバサイドエンジニアをしているタカギです。 この記事は、JSON形式の生ログをParquet形式へ変換する際に発生する膨大なI/Oを削減した話になります。 背景 マイクロアドではデータ基盤移行プロジェクトを進めてきました。 様々な検証が進められるなか、懸念点として浮上した話が、ストレージI/O問題でした。 当時のデータ基盤の処理をそのまま移行した場合、I/O性能が処理量に追い付かない可能性がありました。 しかしながら、新データ基盤ではS3互換ストレージ（非常に高価）を使用しており、増設は可能な限り避けたい状況でした。 ということで、いかにしてI/Oを減らすことができる…

#Python#Pyspark#データ基盤
ROXX開発者ブログ•2ヶ月前

Zキャリア AI面接官の技術紹介

はじめに ROXXのZキャリア プロダクト開発部 R&Dチームでテックリードをしている梅本と申します。今回は、私が開発推進しているZキャリア AI面接官の技術的な裏側をご紹介します。 Zキャリア AI面接官は、当初はZキャリアプラットフォームとの連携システムとしてスタートしましたが、現在では単独利用も可能なAI面接システムとして進化しました。Zキャリアプラットフォームをご利用の企業様はもちろん、直接導入を希望される求人企業様にも幅広くご利用いただいております。候補者との自然な対話を実現し、面接結果を自動的に評価・分析することで、採用業務の効率化と質の向上を実現しています。 参考: prtime…

#AI面接官#LLM (大規模言語モデル)#AIエージェント#データ基盤#Realtime API#オブザーバビリティ#プロンプトエンジニアリング#Remix#Python
サーバーワークスエンジニアブログ•3ヶ月前

データレイクハウスとは

従来、データ基盤は「データレイク」と「データウェアハウス」を組み合わせるのが一般的でした。 しかしこの構成は、システムの複雑さや運用コストの増大といった課題を抱えていました。 データレイクハウス（以下、レイクハウス）は、これらの課題を解決するために登場した新しいアーキテクチャです。 本記事では、その概要と、実現の鍵となる「Delta Lake」について紹介します。 レイクハウスとは レイクハウスの特徴 Delta Lakeとは まとめ 参考 レイクハウスとは レイクハウスとは、一言でいえば「データレイク」と「データウェアハウス」を統合させた、新しいデータ基盤のアーキテクチャです。 まず、レイク…

#Databricks#データ基盤
サーバーワークスエンジニアブログ•3ヶ月前

Databricks の公式チュートリアルで Databricksの基本を学ぼう

こんにちは。エンタープライズクラウド部 松田です。 今回は、Databricks公式チュートリアルを通して行った結果、得られた知識や、 やや理解しにくかった概念も含めて、できる限りわかりやすくお伝えできればと思います。 前提 チュートリアルの構成 チュートリアルを行うことで得られる知識 やや理解しにくかった概念 言語マジックコマンド 権限の考え方 1. 所有者 (Owner) 2. プリンシパル (Principal) 3. 権限 注意点 カタログとワークスペースの概念 1. ワークスペース 2. カタログ まとめ 前提 Databricks初心者向けの内容となります こちらの公式チュートリア…

#Databricks#データ基盤
サーバーワークスエンジニアブログ•3ヶ月前

Databricks の料金体系についてまとめてみた

Databricks では DBU (Databricks Unit) という独自の単位で課金されます。この記事では、Databricks on AWS の料金体系について整理し、実際に利用する際の考慮事項をまとめてみました。 前提 まずは Databricks のアーキテクチャを理解する DBU (Databricks Unit) とは DBU の単価はコンピュートタイプによって決まる DBU の消費量はコンピュートのスペックによって決まる サーバーレスを使うか否か 料金計算の例 ケース1 : 小規模開発チームで汎用コンピュートを利用してノートブックを実行 ケース2 : 小規模開発チームでサ…

#Databricks#データ基盤
サーバーワークスエンジニアブログ•3ヶ月前

Databricks 環境で学ぶ Delta Lake タイムトラベル

タイムトラベル機能とは タイムトラベルの利点 Delta Lake の構成 Databricks でタイムトラベル機能を検証 テーブル作成 データ追加/更新/削除 過去のバージョンを表示する (タイムトラベル) データ削除について 予測的最適化 おわりに 参考 アプリケーションサービス本部の鎌田 (義) です。 データレイクで使用されるオープンテーブルフォーマットである Delta Lake, Apache Iceberg, Apache Hudi が提供する代表的な機能として以下があります。 ACID トランザクション タイムトラベル スキーマ強制と進化 本稿では、 Databricks が…

#Databricks#データ基盤
サーバーワークスエンジニアブログ•5ヶ月前

AWS Marketplace 経由で Databricks セットアップとリソース構築をする

はじめに AWS 上で Databricks を利用するには、2つの主な方法があります。 AWS Marketplace 経由でのサインアップ AWS Marketplace から Databricks のサービスを選択し、サブスクリプションを開始します これにより、Databricks の請求と AWS の請求を統合することができます Databricks の公式サイトからのサインアップ Databricks の公式サイトから直接アカウントを作成し、AWS 上にワークスペースをセットアップします この方法では、Databricks の請求は Databricks から直接行われ、AWS の請…

#Databricks#データ基盤