Hatena Blog Tags
はてなブログ トップ
Kinesis Data Streams
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Kinesis Data Streams

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
ForgeVision Engineer Blog•10日前

Amazon Kinesis Data Streams の「オンデマンドモードのデータストリーム数」を上限緩和した時のお話

こんにちは、AWS チームの平原です。 「夏草や 兵どもが 夢の中」 夏草が青々と生い茂ってる風景を近所でも見る季節となりましたね！ と言ったところで全然関係ないですが、今回は Amazon Kinesis Data Streams の「オンデマンドモードのデータストリーム数」を上限緩和した時のことをブログにします。 Service Quotas にないクォータの上限緩和を行う際の参考になると幸いです。 はじめに 現在携わっている案件で、Amazon Kinesis Data Streams を使用しており、オンデマンドモードで作成しています。 Amazon Kinesis Data Stre…

#AWS#Kinesis Data Streams#AWSサポート

ネットで話題

もっと見る
32ブックマークAWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い －Serverless(Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference、OpenSearch Service)、オンデマンドモード(DynamoDB、Kinesis Data Streams)－ - NRIネットコムBlogtech.nri-net.com
28ブックマークKinesis Data Streams + Lambdaが詰まった時の対処法(RecoChoku Tech Night 5社合同 AWS re:Invent 2019 参加報告会 登壇資料) - でこてっくろぐ ねおdekotech.dekokun.info
16ブックマークAWS Application Auto Scaling を使用した Amazon Kinesis Data Streams のスケーリング | Amazon Web Servicesaws.amazon.com
14ブックマークKinesisとSQSの比較検討のため、Amazon Kinesis Data Streams のチュートリアルをやってみた | DevelopersIOdev.classmethod.jp
14ブックマークManaged Streaming Data Service – Amazon Kinesis Data Streams FAQs – AWSaws.amazon.com
13ブックマークAmazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity | Amazon Web Servicesaws.amazon.com
12ブックマークAmazon Connectのフローでの離脱箇所と放棄呼をKinesis Data Streamsを用いて取得し、DynamoDBに保存してみた | DevelopersIOdev.classmethod.jp
12ブックマークAWSサーバーレスサービスのオンデマンドモードの特徴・比較・まとめ・プロビジョニングモードとの違い －DynamoDB、Kinesis Data Streams－ - NRIネットコムBlogtech.nri-net.com
12ブックマークAWS Lambda がストリーミングを高速化する Kinesis Data Streams の拡張ファンアウトと HTTP/2 をサポートaws.amazon.com

関連ブログ

血と汗となみだを流す•7ヶ月前

Aurora MySQL のテーブルを Database Migration Service (DMS) → Kinesis Data Streams → Amazon Data Firehose (旧: Kinesis Data Firehose) → S3 でデータ出力してみた

以下の構成で Amazon Aurora MySQL 上のテーブルのデータを Amazon S3 にエクスポートします。 Architecture Aurora MySQL 上のテーブルは以下のような形です。 use kajihirodb; select * from dms_source_table; id title keyword 1 風の谷のナウシカ ナウシカ 2 となりのトトロ トトロ 3 天空の城ラピュタ パズー 4 ハウルの歩く城 ハウル 5 千と千尋の神隠し 千尋 ここから DMS を利用してテーブルデータを取得し、Kinesis Data Streams に流します。 Kin…

#AWS#s3#Kinesis Data Streams#Kinesis Data Firehose#DMS
ZOZO TECH BLOG•2年前

ZOZOTOWNカート機能のリプレイスPhase1裏側を大公開

こんにちは、カート決済部の佐藤です。普段はZOZOTOWNカート決済サービスの新機能開発、既存改修、運用保守を担当しております。 弊社はモノリスからマイクロサービスへのリプレイスを進めており、カート決済サービスも先日リプレイスPhase1の記事を掲載いたしました。 techblog.zozo.com 本記事ではカートリプレイスPhase1全体を振り返りつつ、リプレイスプロジェクトを進める中で苦労した点や得られた知見等の、リプレイスの裏側をご紹介したいと思います。 カート機能はECサイトの中核を担う機能であり、障害のリスクを考えるとドラスティックな改修には中々手を出しにくい機能だと思っています。…

#AWS#Kinesis Data Streams#Kinesis Client Library#DynamoDB#負荷対策#マイクロサービス
ZOZO TECH BLOG•3年前

ZOZOTOWN カート投入の分散キューイングシステム 〜 プロダクションレディまでの歩み

はじめに こんにちは。家系らーめん好きが高じて鶏油を自分で取得するようになり、金色に輝く液体を見るだけでパブロフの犬的に涎が止まらない、SRE部の横田です。普段はSREとしてZOZOTOWNのリプレイスや運用に携わっています。 先日、弊社の高橋が執筆したZOZOTOWNカート機能リプレイスに関する記事が公開されました。 techblog.zozo.com 本記事では、上記記事で紹介したリプレイスのキーポイントとなる、キューイングシステムに焦点を当てます。キューイングシステムをDeep Diveし、サービス選定からプロダクションレディにするまでの取り組みを紹介します。 目次 はじめに 目次 キュ…

#AWS#Kinesis Data Streams#Kinesis Client Library#k8s
asoview! Tech Blog•4年前

Amazon Kinesis Data Streams + Protocol Buffersで実現するイベント駆動アーキテクチャー

アソビュー！ Advent Calendar 2020 の18日目です。 初めまして、アソビュー！SREのkirimaruです。最近Amazon Kinesis Data Streams用の社内向けライブラリ「Pelican」を開発したのでその話を書こう！と思ったのですが、Amazon Kinesis Data Streamsの活用事例と合わせて、そもそもこのライブラリを開発する経緯をまず書こうと思います。 余談ですが僕のアイコンはこのライブラリ用のアイコンとして作ったのものです。 tech.asoview.co.jp アソビュー！ Advent Calendar 2020 の2日目に上記の記…

#AWS#Kinesis Data Streams#Protobuf#ProtocolBuffers#イベント駆動アーキテクチャ
サーバーワークスエンジニアブログ•9日前

【AWS認定試験】無理やり覚えるAWS 〜WA6本柱&紛らわしいサービス編〜【CLF/SAA】

楽しく勉強したい垣見です。 昔SAAの勉強に使った教科書から、覚えにくいAWSの概念に対する語呂合わせや落書きをたくさん発掘しました。 強制的に頭に入ると（私の中で）評判なので、いくつかご紹介します。 はじめに Well-Architected フレームワーク6本の柱 →「運信持セパコ」 ElastiCache の Memcached と Redis →「猫戦士と不死の精霊使い」 Kinesis の Data Streams と Firehose →「川と消防ホース」 Security Group と Network ACL →「秘書と、自分を自分を入国審査人だと思い込んでいる会社の受付」 G…

ABEJA Tech Blog•2ヶ月前

Eraser AIのポテンシャルを引き出すためにClaudeと組み合わせて使ってみる

こんにちは！ABEJA でエンジニアとして活動している飯嶌です。今年の4月に新卒で入社しました！今回は技術設計やドキュメント作成を支援するAIツールである「Eraser AI」に関して、今まで個人利用で使ってきてその感想とその使い方に関してお話しできればと思います。 Eraser AI とは : 自然言語プロンプトを使用して技術図解やドキュメントを生成できるAIツール 1. 図表生成：4つの種類の図表に対応 2. 無限キャンバス：大規模設計も自由自在 3. Diagram-as-code：バージョン管理が簡単に 4. デザイン性：充実したアイコンやカラーリング Eraser AIの料金体系 1…

サーバーワークスエンジニアブログ•2ヶ月前

〜データ準備編〜 Amazon Managed Grafana を使って Amazon Monitron のデータを可視化する

はじめに Amazon Monitronのデータを使って可視化する機会がありましたので、記事にしました。 本記事の内容は、Amazon MonitronからデータをS3に送信し、Glue Crawlerでテーブルを作成するまでの手順紹介となります。 それ以降のGrafanaでの「〜可視化編〜」は次回記事で紹介します。 基本的にAWSの公式ブログにそって手順を進めましたが、いくつか記載がないようなポイントもあったので参考になれば幸いです。 はじめに 前提 最終ゴール 手順 1. Amazon Monitron から Kinesis data stream export を有効化 2. Kines…

エンジニアの雲日記•2ヶ月前

DynamoDB Streamsとは？

Amazon DynamoDBは、AWSの提供するNoSQLデータベースサービスです。 このDynamoDBには「DynamoDB Streams」という機能があります。 DynamoDB Streamsを使うと、データベースに加えられた変更をリアルタイムでキャプチャして、その変更を他のアプリケーションやサービスで利用することができます。 DynamoDB Streamsの基本 DynamoDB Streamsは、テーブルに対する変更の履歴を記録する機能です。 これにより、テーブルに対する以下の操作をキャプチャできます： 項目の追加：新しい項目がテーブルに追加された時。 項目の更新：既存の項目…

NRIネットコムBlog•3ヶ月前

【10周年前祝い】歴史・年表でみるAWSサービス(AWS Lambda編) －機能一覧・概要・アップデートのまとめ・入門－

小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まった、AWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第8弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridge、AWS KMS、Amazon SQSについて書きました)。 今回は2014年11月にアナウンスされたサーバーレスでフルマネージドなコード実行サービスを提供するAWS Lambdaについて歴史年表を作成してみました。 今年2…

itiblog•3ヶ月前

AWS Summit 2024 の聴講メモ

AWS Summit 2024 が 6 月 20 日、21 日にかけて開催されたので、参加してきました。 多岐にわたるセッションに参加し、多くの学びを得ることができたので、その内容をまとめます。 聴講したセッションの中でも特に自分の学びになったと感じたセッションは以下でした。 AWS-01 Dive deep on Amazon S3 S3 の効率的な利用方法について具体的な知識が得られた AWS-28 大規模クラウドインフラ設計、構築案件の歩き方 大規模インフラの設計と構築における課題を具体化し、対応のために実践的な進め方と方針を示していただいた AWS-57 規模が膨らんで開発スピードが落…

APC 技術ブログ•4ヶ月前

AWS Certified Data Engineer - Associate (DEA-C01) に合格したので所感を綴る

目次 目次 はじめに 関連記事 試験について 点数 勉強期間 教材 試験の感想 お知らせ はじめに こんにちは、クラウド事業部の坂口です。 先月 AWS Certified Data Engineer - Associate に合格したので、ブログを書きだすまでに経っていた時間に驚きながら所感を書いていきます。 関連記事 AWS資格関連の記事は以下ぶり techblog.ap-com.co.jp techblog.ap-com.co.jp 試験について 点数 780 勉強期間 試験日は 4/30 で、試験申し込みは 4/28。勉強に時間を取れたのは 4/29 のみ。 当時開催していた『AWS …

ken3peiのブログ•4ヶ月前

CloudFront の機能を洗い出す

モチベーション CloudFrontを実務で使う機会があったのだが、全体的に何ができるか？なんの設定が必要なのか？何と組み合わせて使うと効果的なのか？がわからなかったためまとめる。 参照 20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive Amazon CloudFront を活用したウェブサイトの可用性向上 | Amazon Web Services CloudFrontの基本機能 AWS global networkを使用することで非キャッシュコンテンツの高速化 CloudFrontを使うとオリジンまでの通信…

sasamuku’s blog•4ヶ月前

＜参加レポ＞アーキテクチャを突き詰める Online Conference

Findy 主催のカンファレンスに参加したので感想をまとめる。 モチベーションとしては、関わっているプロダクトが持続的に成長していくためにどういうアーキテクチャがいいのか考えることが多く、そのヒントになるアイデアが得られたら嬉しいなという感じだった。結果としては、とても学びが多く参加できてよかったです。 findy.connpass.com 大きな泥団子に立ち向かうためのソフトウェア設計 本格入門 とても分かりやすくて話がスッと入ってきた。関心の分離を中心テーマとして、それを実現するアーキテクチャや設計技法について紹介していた。ポートアンドアダプター*1というアーキテクチャパターンを例にとり「…

サーバーワークスエンジニアブログ•5ヶ月前

Aurora のアクティビティストリームについて調べてみた。

こんにちは🐱 カスタマーサクセス部の山本です。 以前からある機能なものの、Aurora のアクティビティストリームについて初めて調べたので記事にします。 アクティビティストリームはデータベース操作の監査を行う機能です。 監査ログ機能は他にもあるので、使い分けについて主に調べて記述します。 2019 年の 5 月に Aurora Postgres 向けに出来た機能です。 Amazon Aurora (PostgreSQL 互換) でのデータベースアクティビティストリームのサポートによりリアルタイムのモニタリングが可能に 2020 年の 6 月に、Aurora MySQL にも対応しています。 デ…

技術っぽいことを書いてみるブログ•5ヶ月前

ソリューションアーキテクトアソシエイト(SAA)の試験対策まとめメモです。

この記事の内容 AWS認定ソリューションアーキテクトアソシエイト(SAA)の試験対策のまとめです。 背景 私自身がSAAの試験勉強をするにあたり、各サービスの抑えるべきポイントをまとめました。 せっかくですので、誰か一人のためにでもなればと思いますので、まとめ資料を公開しておきます。 何かしらのお役に立ったならば、コメントいただけると幸甚です。。。 AWS認定ソリューションアーキテクトアソシエイト(SAA)の試験対策のまとめ S3のオブジェクトロック リテンションモード 一定期間の保護を目的とする ガバナンスモード 特別なアクセス許可を持たない限りはオブジェクトのバージョンの上書きや削除・ロッ…

ZOZO TECH BLOG•5ヶ月前

マルチテナントのAWSアカウントとKubernetesにおけるコストの可視化

こんにちは、カート決済SREブロックの飯島と、ECプラットフォーム基盤SREブロックの織田です。 本記事では複数チームで運用する共通のAWSアカウントとKubernetesにおけるコストの可視化についてご紹介します。 背景 コスト可視化に対する課題 課題解決へのアプローチ AWSリソースのコスト可視化 AWSコスト配分タグ タグの定義と運用ルール タグの付け方 AWS Cost Explorer AWSコスト配分タグの活用例 Kubernetesクラスタのコスト可視化 Kubecost 比較検討 カスタムバンドル採用の決め手 アーキテクチャ 可視化の仕組み ダッシュボード 効果 コスト可視化の…

nozakitakahirokunのブログ•6ヶ月前

AWS Certified Data Engineer - Associate(DEA-C01)試験対策資料

内容 試験には次の内容ドメインと重み付けがあります。 ドメイン 1: データの取り込みと変換 (34%) ドメイン 2: データ ストア管理 (26%) ドメイン 3: データの運⽤とサポート (22%) ドメイン 4: データ セキュリティとガバナンス (18%) ドメイン 1: データの取り込みと変換 1.1: データの取り込みを実⾏ データを取り込むAWSサービスのスループットとレイテンシの特性 Kinesis Data Streams - TB/時のスループットで、数十万のソースから大量のデータを取り込むことができます。データは1秒以内に処理できるため、待ち時間が短くなります。KCLま…