Hatena Blog Tags
はてなブログ トップ
Redshift
このタグでブログを書く

Redshift

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
サーバーワークスエンジニアブログ•3ヶ月前

Amazon Bedrock ナレッジベースの構造化データストアを試してみる

こんにちは！ カスタマーサクセス本部 CS4課 櫻庭です。 今回は、Bedrockナレッジベースの構造化データストアについて紹介させて頂きます。 はじめに 従来のBedrock ナレッジベース（ベクトルデータストア）について 従来のBedrock ナレッジベースでは、OpenSearch Serverless等のベクトルデータストアと連携したRAG（検索拡張生成）が実現できます。ユーザーが自然言語で質問すると、システムが自動的に必要情報をS3等に配置した社内文書から検索し（実際にはS3に都度アクセスしている訳ではありませんが）、その結果をもとに自然言語で回答を提供する、という流れとなります。 …

#Bedrock#Redshift

ネットで話題

もっと見る
302ブックマーク最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログtechlife.cookpad.com
301ブックマークムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に...opendatabaselife.blogspot.com
290ブックマーク［速報］Amazonクラウド、新サービス「Redshift」発表。データウェアハウスの価格破壊へwww.publickey1.jp
279ブックマーク複数のデータソース(Redshiftや主要RDBMS等)及びOS(Mac/Windows/Linux)対応の無償SQLクライアントツール『DBeaver』 | DevelopersIOdev.classmethod.jp
204ブックマーク［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Franciscowww.publickey1.jp
161ブックマークZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQueryspeakerdeck.com
159ブックマークFluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドで...developer.smartnews.be
155ブックマークMPP on Hadoop, Redshift, BigQuery - Go ahead!Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれ...repeatedly.github.io
123ブックマークAmazon Redshiftによるリアルタイム分析サービスの構築www.slideshare.net

関連ブログ

一瞥即解•6ヶ月前

RedshiftでNL2SQLを使って自然言語でデータ分析を行う

目次 目次 はじめに NL2SQLの価値 Amazon Q generative SQLとは？ Amazon Q generative SQLを利用してみる Amazon Q generative SQLの有効化と価格 下準備：Redshiftにデータを取り込む 自然言語でクエリする 1. 特定の時期に不正利用が集中しているか 2. 不正取引が特定の取引種別に集中しているか 3. 取引種別がインターネットショッピングで、取引金額が大きい不正取引が最も多い州はどこか 4. より自然な言葉で指示するより自然な言葉で指示する まとめ はじめに ここ数年、生成AIのビジネス利用の波が止まりません。私は…

#Amazon Q#NL2SQL#Redshift
クラウドワークス エンジニアブログ•1年前

Aurora MySQLとRedshiftのゼロETL統合が本番導入出来るか検証しました

Aurora MySQL Zero ETL Integrations クラウドワークスのSREチームに所属しています@ciloholicです。 2023年11月にAurora MySQLとRedshiftのゼロETL統合がGAされました。この度、ゼロETL統合が本番導入可能かを検証する機会があったので、その検証結果を記載します。 aws.amazon.com 2024年7月時点での検証結果ですので、時間経過によって内容が変わっている可能性があります。その点は十分ご注意ください。 背景 まず、ゼロETL統合の検証しようと考えた背景について軽く説明したいと思います。クラウドワークスでは、MySQL…

#SRE#MySQL#Redshift#AWS
JTP Technology Port•1年前

Redshiftのデータ共有機能とAWS Lake Formationでアクセス制御してみた(3.コンシューマーアカウント編)

「Redshiftの「データ共有」とAWS Lake Formationを利用して一元的にアクセスを制御してみた」シリーズの第3回目となります。 前回の「2.ガバナンスアカウント編」に引き続き、「3.コンシューマーアカウント編」を解説していきます。 ここでは、主にコンシューマーアカウントでの設定手順を紹介します。 また、コンシューマーアカウント設定手順の後に、追加設定と手順に利用していたリソースのクリーンアップも記載してますので、ぜひ最後まで読んでいただければ幸いです。 AWS Lake Formationで管理するRedshift「データ共有」機能の設定手順の流れ 1.データプロデューサーア…

#Redshift#LakeFormation#AWS
JTP Technology Port•1年前

Redshiftの「データ共有」とAWS Lake Formationを利用して一元的にアクセスを制御してみた(2.ガバナンスアカウント編)

「Redshiftの「データ共有」とAWS Lake Formationを利用して一元的にアクセスを制御してみた」シリーズの第2回目となります。 前回の「1.プロデューサーアカウント編」に引き続き、「2.ガバナンスアカウント編」を説明していきます。 ここでは、主にガバナンスアカウントでの設定手順を紹介します。 AWS Lake Formationで管理するRedshift「データ共有」機能の設定手順の流れ 1.データプロデューサーアカウントでデータ共有作成（「1.プロデューサーアカウント編」） 2.データガバナンスアカウントでDB作成及び権限設定（「2.ガバナンスアカウント編」※本記事） 3.…

#Redshift#LakeFormation#AWS
JTP Technology Port•1年前

Redshiftの「データ共有」とAWS Lake Formationを利用して一元的にアクセスを制御してみた(1.プロデューサーアカウント編)

皆さん、突然ですが、Amazon Redshift「データ共有」機能というものをご存知でしょうか。 Amazon Redshiftの「データ共有」機能は、Redshiftのクラスター内のデータを複数のAWSアカウントの間で安全に共有できるようにする機能です。Redshiftの「データ共有」機能を使用すると、複数のアカウントで共通のデータを共有することができます。さらに、Amazon Redshift データ共有で設定したデータベース、テーブル、列、行レベルのアクセス許可の定義をAWS Lake Formationで一元管理が可能です。 本記事では、今回業務で検証する機会があり、AWS Lake…

#Redshift#LakeFormation#AWS
ENGINEERING BLOG ドコモ開発者ブログ•2年前

AWS re:Invent 2023 Las Vegasの参加報告と生成AI, データ分析, ETL系の新サービスを触ってみる！

NTTドコモ R&Dイノベーション本部 サービスイノベーション部 ビッグデータ基盤担当 3年目社員の小澤です. 普段の業務では, 1日数百TBにわたる弊社のLTE/5GSA基地局の通信制御信信号をリアルタイムで分析可能とし, ネットワークエリア品質向上に役立つデータへ変換するシステムの研究開発業務に携わっており, いわゆるデータエンジニア的な業務に携わっております. 2年前は自身の業務に関連するロードバランサ関連技術やOSS, 昨年は, 東京ディズニーシーの混雑分析について投稿しました.今年は, 11/27〜12/2にアメリカのラスベガス現地で参加させていただいたAWS:re:Invent20…

#AWS#生成AI#Amazon Q#Redshift#CloudWatch Logs Insights
KAYAC Engineers' Blog•2年前

Zero-ETL integrationの実用を試みた。 しかし、Aurora MySQLの中身の〇〇が多すぎて失敗した。

SREチームの池田です。 Redshiftが大好きなバケツアイコンの人です。 先日、Aurora MySQL と RedshiftのZero-ETL integrationがGA(Generally Available、一般提供開始)しました。 aws.amazon.com この記事は、早速Zero-ETL integrationの実戦投入を試してみたという内容です。 なお、この記事は失敗事例になりますが、Zero-ETL integrationはとても素晴らしい機能ですので、皆様も是非お使いください。 はじめに Zero-ETL integrationは、Aurora MySQLのデータをニ…

#Redshift#Zero-ETL#Amazon Aurora#MySQL
データエンジニアのものこと•2年前

【Redshift】ユーザーにアクセス権を付与するときのハマったこと

目的 Redshiftにおいて、あるユーザーでSELECTを実行したときに以下のように怒られました。 Invaild operation: permission denied for schema このエラーを解決するしたときのメモとして残しておきます。 概要 上記のエラーは現在使用しているユーザーに権限がなく、クエリが実行できないことを示しています。これを解決するためにはユーザ―に権限を与えます。 解決方法 GRANTを実行して、指定のユーザーに指定の権限を付与します。 以下のクエリを実行します。 GRANT USAGE ON SCHEMA [権限許可をするスキーマ名] TO [権限付与をさ…

#AWS#Redshift#DWH#権限