sqs

DX事業本部の木村です。 Socialpittでは2022年10月にInstagramのフィード・リール予約投稿機能がリリースされました。 今回はそのシステムのインフラ、サーバーサイドを含むシステム全体について紹介いたします。 予約投稿について Social Pittの構成 Social Pitt の紹介とサービス支える技術 で紹介した通り、Social PittはCoreと各Serviceに分かれています。予約投稿機能は Socail Pittアカウント運用 の機能で、今回紹介する予約投稿のシステム自体は全てCoreにおける話になります。 Social Pitt アカウント運用では以前からT…

はじめに こんにちは。NTTドコモ サービスデザイン部 @dcm_koshikawa です。 スクラム開発でプロダクトオーナーを担当しており、サービスデザイン部にJoinしてから2年半が経ちます。 サービスデザイン部では、各種ドコモサービスを動かす基盤を提供しており、基盤設計、構築、運用をしています。 代表的なサービス d menu：https://smt.docomo.ne.jp/ docomo Online shop：https://onlineshop.smt.docomo.ne.jp/ 各種WebサービスはAWS上で構築しています。 サービスデザイン部ではQCD向上のため、AWSで提供…

こんにちは! スケールアーキテクトチームの@shgx です。 今回はAWSのSQS（Simple Queue Service）を使って処理をキューイングするシステムを構築してみた話になります。 そもそもキューイングって何なのか？とか言うところもあるかもしれないと思うので、それも含めて最初に軽く説明したいと思います。 キューイングと長所・短所について 「キューイング」は「待ち行列」という意味で、一個一個処理を貯めていってそれらを任意のタイミング(非同期)で順次処理する、という形を実現してくれるシステムです。 こんな感じで、1,2,3,4という順番で箱に詰めていって1,2,3,4と取り出すような処…

絶対に止めれないシステムとは もちろん銀行システムとかのクリティカルなシステムもそうなのですが、今回は、そこまでではないのですが、データ連携上一部のapiは止めれないシステムを指します。僕は直面したのが、Lineでのユーザー登録によるwebhookを受け取るって奴です。昔のキャリアのユーザー登録であれば、止まっていた時には別途データが飛んできてまとめて処理とかも出来ましたが、Lineさんのはありません。ユーザー登録時のwebhookを取りこぼすと２度と受信出来ないのです。同様にSNS等で登録時にwebhookが来て、対応する必要があるシステムもあると思います。 どうすれば良いか？ 先ず思うのは…

はじめに こんにちは。 サーバサイドエンジニアの窪田です。 yappliではweb上でノーコードでモバイルアプリ開発ができるプロダクトを提供しています。 その中の主要機能の1つにpush通知があります。 CMSユーザーがyappliのWebアプリ上でエンドユーザーに対して、いつどんなメッセージを送るかということを設定することができます。 push通知機能では 大量の配信 複数のセグメント条件の分岐 複数の配信方法 を実現しています。 この配信基盤の全容は大規模かつ複雑な仕組みになっています。 その基盤のうち部分的にAWS SQSによるキューの仕組みを使っています。 上の機能を実現するためにpu…

はじめに 前回のエントリーで S3 と SQS の連携を試してみました。本エントリーはその続きで SQS キューに S3 から通知がきた後に SQS キューのメッセージを Lambda で処理してみようと思います。 使用するサービス Amazon S3・・・AWS が提供するオブジェクトストレージサービス Amazon SQS・・・フルマネージド型のメッセージキューイングサービス AWS Lambda・・・サーバーをプロビジョニングしたり管理しなくてもコードを実行できるコンピューティングサービス アーキテクチャ 役割 Amazon S3・・・アップロードするファイルを格納 Amazon SQS…

はじめに AWS認定試験に必ず出題される SQS ですが、今まで触ったことがなかったので本日は S3 と連携させて SQS を試してみたいと思います。 使用するサービス Amazon S3・・・AWS が提供するオブジェクトストレージサービス Amazon SQS・・・フルマネージド型のメッセージキューイングサービス アーキテクチャ 手順 S3 でバケットを作成 SQS キューを作成 S3 でイベント通知を作成 動作確認 1. S3 でバケットを作成 「20220807-sqs-test」というバケットを作成します。設定はデフォルトでOKです。 2. SQS キューを作成 「TestQueue…

これは、なにをしたくて書いたもの？ 前に、ElasticMQを使ってAmazon SQSの可視性タイムアウトを試してみました。 Amazon SQSの可視性タイムアウトをElasticMQで確認する - CLOVER🍀 今度は、デッドレターキューを試してみたいと思います。 Amazon SQSデッドレターキュー - Amazon Simple Queue Service Amazon SQSのデッドレターキュー Amazon SQSのデッドレターキューとは、あるキューで正常に処理できなかったメッセージが送られる、別のキューのことです。 Amazon SQSデッドレターキュー - Amazon …

こんにちは！ 今回は、AWS Certified Cloud Practitioner 試験と AWS Certified Solutions Architect - Associate 試験の両方に一発で合格した勉強方法をご紹介します！世間には1週間とか2週間で一発合格！といった記事も見かけるのですが、私には向いていませんでした。 フルタイム日勤で家事も育児もあります。 この記事では、無理なく3カ月コースで2つの試験を取得した方法をご紹介いたします！ 私のスペック スケジュールと学習時間 Cloud Practitioner 試験向けの学習方法 導入教育 問題集（Webサイト・無料） 入門書…

これは、なにをしたくて書いたもの？ Amazon SQSの可視性タイムアウトというものを、1度見ておこうかなと思いまして。 こちらですね。 Amazon SQS可視性タイムアウト - Amazon Simple Queue Service Amazon SQSの可視性タイムアウト Amazon SQSの可視性タイムアウトとは、コンシューマーがメッセージを取得してから削除するまでの間、他のコンシューマーが メッセージを取得できなくなる期間のことです。 Amazon SQS可視性タイムアウト - Amazon Simple Queue Service Amazon SQSでは、コンシューマーはメッ…

blogを書くまでがYAPCということで、4年ぶりにオフライン開催されたhttps://yapcjapan.org/2023kyoto/:YAPC::Kyoto 2023に参加してきました。 YAPCは以前から年に1回の同窓会的な雰囲気があったのですが、今回は4年ぶりなので懐かしい顔がいっぱいでした。自分のようなベテランにはおなじみの顔だけではなく、初めての人も結構来ていたようで、コミュニティが世代を超えて広がっていく様子が感じられてよかったです。 自分の場合、参加したYAPCは喋ることのほうが多かったのですが、なんとなく若手に遠慮して(最近やったPerlネタもないし…)プロポーザルを出さなか…

AWS設計原則 || Q.大規模なモノリシックアプリケーションをマイクロサービスコンポーネント化して、互いを疎結合にすることで、可用性の高いワークロードを構成する Amazon SQS: フルマネージド型のメッセージキューイングサービス. Amazon SQSにて、疎結合化されたアーキテクチャ構成を実現可能. Amazon SQSはプル型（ポーリング型）のメッセージサービス. Amazon API Gateway: AWS上でAPI を作成、公開、モニタリング するためのAPI管理サービス. フルマネージド型サービスの Amazon API Gateway を利用すれば、デベロッパーは規模にか…

またまたご無沙汰しています。わたなべ です！ 今も変わらず、普段は主に東京都内のアパレルブランド様へ フィッティングモデル のご紹介をしています。さらに範囲が広がりまして、周辺のお困りごと相談も承っております、笑。 皆さまお変わりありませんか。 今日からマスクの着用は、個人の判断が基本となりましたね。 私は...その時の状況に応じてかなと考えています。花粉症の時期ということもあり、手放せない感じではありますが、、、 さて、久しぶりのこちら「はてなブログ」で綴ろうと思ったのは、先日マレーシアから知人が日本に来ていて、お会いした際に求人の話をされたことがきっかけでもあります。 さわりだけアメブロに…

はじめに こんにちは。株式会社サイカでソフトウェアエンジニアをやっているKashitakaです。 サイカでは1年以上の期間をかけて、モノリスで動いていた自社サービスをマイクロサービス(Microservices Architecture)に作り替えました。 今回の記事では、そんなマイクロサービス化の全体像として目的や進め方、得られた結果について紹介します。 マイクロサービスという選択とその目的 複雑化したアプリケーションコードやDBスキーマの作り直し、テストコードの充実、インフラ構成の見直し等にも取り組みつつ、システムアーキテクチャとして適切なものを検討した結果、手段としてマイクロサービスを採…

改めまして、基盤デザイン事業部の小林です。 さて、皆さんは基盤（インフラ）担当というとどういったお仕事を想像されますか？ もちろんこの答えは会社ごと、さらには部署ごとにそれぞれ異なると思いますので、私たち基盤デザイン事業部の視点でお話しさせていただきます。 （なお、これは現在の形であり、時代によってチーム分けなどの形に変遷はありますので、あくまで現時点の話とご理解ください。） 案件によって多少の違いはあるのですが、私たちの仕事には基本的に下記のような作業が発生します。 サーバ上で動作するアプリケーション（アプリ）の開発 アプリが動作するためのAWSサービスやサーバといった環境（インフラ）の設定…

TL;DR 配信遅延を設定すると、メッセージを送信してから受信できるようになるまで配信遅延分のラグを生じさせる 可視性タイムアウトを設定すると、メッセージを受信してから同じメッセージを再度取得するまでのラグを生じさせる 受信したメッセージの可視性タイムアウトを変更することもできる 検証 ドキュメントに従って、Go SDKを用いてキューの動作を検証する。 サンプルコードを実行すると、 1. QUEUE_URLで指定されたキューに対してメッセージを送信 2. QUEUE_URLで指定されたキューからメッセージを受信 される。 なお、2.で受信した際にまだキューにメッセージがない場合、その旨を標準出…

イラストレーター「Re岳」氏によるオリジナルキャラクター「真面目ちゃん」が、ダイキ工業から1/7スケールで立体化♪ 衣服の一部は、着脱可能なキャストオフ仕様。 尚、下半身は「腰」パーツの差し替え後にキャストオフといった流れかと。 フィギュアのサイズは、 1/7スケールの全高：約24.5cm。 原型製作は「ゆずぽん」。 （※敬称略） Re岳 イラスト『真面目ちゃん illustration by Re岳』1/7 完成品フィギュアは、ダイキ工業より2023年09月発売の予定です♪ Re岳 イラスト『真面目ちゃん illustration by Re岳』1/7 完成品フィギュア【ダイキ工業】《202…

AWSで実現するモダンアプリケーション入門 〜サーバーレス、コンテナ、マイクロサービスで何ができるのか 2023年1月に出たばかりの新刊です。著者の落水 恭介さん(@otty246)は現AWSのコンテナソリューションアーキテクト。もう一人の吉田 慶章(@kakakakakku)さんは同じくテクニカルトレーナー。カカカカックじゃなくてカックさんといえばめっさ毎週更新されててよく話題に上がる【kakakakakku blog】の方としてブログ界隈ではお馴染みでしょう。 開発戦略として注目されているモダンアプリケーションについて、最初はRailsのバックエンド主体で作られている設定の架空のアプリをモ…