Data Firehose

このタグでブログを書く

言葉の解説

ネットで話題

Data Firehose

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

GAT技術ブログ•2ヶ月前

低コストで完全性を確保するAWS Session Managerログ保管方法

こんにちは！インフラ事業部のナガレダキです。今回は、EC2インスタンスのSession Manager（セッションマネージャー）セッションログを、CloudWatch Logs・Firehose経由でS3バケット（以降S3と表記）に保管する方法をご紹介します。「わざわざCloudWatch LogsとFirehose使わなくてもSession ManagerのセッションログならS3に直接出力できるのでは？」と思われた人。そのとおりです。しかしながら、コストを抑えてSession Managerのセッションログの完全性を確保しつつログ保管するためには、CloudWatch Logsの経由が…

#AWS#Session Manager#Data Firehose

ネットで話題

102ブックマーク GoとKinesis Data Firehoseで非同期の検索基盤を構築─モノリス化した「カオナビ」はアーキテクチャ改善にどう取り組み始めたか - はてなニュース

hatenanews.com

30ブックマーク Building a scalable log solution aggregator with AWS Fargate, Fluentd, and Amazon Kinesis Data Firehose | Amazon Web Services

aws.amazon.com

29ブックマークセンサーデータを分析するデータ基盤候補として、Data Firehose + S3 Tables + Athenaを試してみた | DevelopersIO

dev.classmethod.jp

23ブックマーク CloudWatch LogsのログデータをKinesis Data Firehose経由でS3に出力する | DevelopersIO

dev.classmethod.jp

18ブックマーク Amazon Kinesis Data Firehose で Apache Parquet または ORC フォーマットのデータをリアルタイムでストリーミング

aws.amazon.com

16ブックマーク Kinesis Data Firehose をゼロからざっくり理解する | DevelopersIO

dev.classmethod.jp

10ブックマーク AWS DMS と Amazon Kinesis Data Firehose を利用した Aurora PostgreSQL データベースへのストリームデータのロード | Amazon Web Services

aws.amazon.com

9ブックマーク [アップデート] AWS Lambda のログが CloudWatch Logs の Vended Logs としてサポートされるようになり、今後は使用量に応じた従量制割引が適用されたり S3 や Data Firehose も出力先に選択できるようになりました | DevelopersIO

dev.classmethod.jp

8ブックマーク AWS WAFのログから特定Cookieの機密情報をKinesis Data Firehose + Lambda関数でマスクしてS3に保存するIaCをCDKで実装する - Qiita

qiita.com

関連ブログ

every Tech Blog•1年前

【2024最新】AWS Data Firehoseを使った際の4つの問題とその解決策

【2024最新】AWS Data Firehoseを使った際の4つの問題とその解決策背景こんにちは、開発本部 DELISH KITCHEN Retail HUB NetSuperグループに所属するフルスタックエンジニアをやらせていただいています、ホーク🦅アイ👁️です。2024/2/9、Amazon Kinesis Data Firehose から Amazon Data Firehoseに名称変更されてから半年ほど経過しておりますが最新の設定情報などが公開されていることが少ないと感じたため今回記事を書くに至りました。前提今回の記事を書くにあたっての前提条件は以下のようになっております。…

#Data Firehose#Terraform#Dynamic Partitioning#Decompression#CloudWatchLogProcessing

LayerX エンジニアブログ•1年前

Snowpipe StreamingとAmazon Data Firehoseを使用してSnowflakeにストリームデータをロードする #ベッテク月間

こんにちは。バクラク事業部機械学習・データ部データグループの@civitaspoです。みなさんは「人生で一番美味しいと思ったキムチ」に出会ったことはありますか？キムチって美味しいですが、あまり強い感情は抱かないですよね。ところが先日、近所のスーパーの駐車場の端っこに、謎のプレハブ小屋があるのを発見しました。興味本位で中を覗いてみると、そこはキムチ屋でした。そのキムチ屋が販売する自家製キムチは絶品で、私にとって「人生で一番美味しいと思ったキムチ」でした。みなさんも「人生で一番美味しいと思ったキムチ」を探してみてください。さて、先週に引き続き、Snowflakeに関する記事を書こうと思います…

#Snowflake#Data Firehose

雑記帳•2年前

Amazon Kinesis シリーズ

簡易比較表名称主目的 Video Streams ストリーム動画の保存、再生、分析 Data Streams ストリームデータを高速に加工、配信 Data Firehose ストリームデータの配信 Data Analytics ストリームデータの分析便宜上、Amazon Kinesisは省略して記載 Data AnalyticsはAmazon Managed Service for Apache Flink に名称変更各機能の主な機能およびキーワード Amazon Kinesis Video Streams 取込(カメラ、ゲートウェイ) 保存(フラグメント、チャンク、フレーム、暗号化)…

#Data Streams#Data Firehose#Video Streams