kafka

この記事は、みらい翻訳 Advent Calendar 2022 の21日目です。 こんにちは。プラットフォーム開発部でアプリエンジニアをしているeinです。 本記事では、MSK (Managed Streaming for Apache Kafka) のConsumerとしてのLambdaを実装してみます。 趣旨 本記事で言いたいこと re:Invent2022でEventBridge Pipesという新しいイベント伝搬の仕組みが発表され、話題になっています。本記事ではPipesを利用してMSKをイベントソースとするLambdaを実装し、従来のトリガーを利用したLambdaとの比較をします。…

はじめに エンジニアの松原です。前回の記事では、簡単にKafkaをローカルでサーバーを建ててHello Worldをする内容を紹介しました。 synamon.hatenablog.com 前回はConsumer側にKafkaJSを利用していましたが、今回は、Karafka を利用して、Rails上からConsumerとして振舞わせることを記事にしました。今回の記事で登場したコードはGitHubにリンクを置いていますので、参考になれば幸いです。 ※今回使用しているKarafkaはLGPL v3.0のライセンスのものを利用しているため、利用の際はご注意ください。 github.com Karafk…

はじめに エンジニアの松原です。普段の開発ではHTTPサーバーを扱うことが多いのですが、負荷軽減のための様々なサーバー側のギミックについて調べていく中で、メッセージキューの仕組みについて目に留まりました。 今回はKafkaについて紹介します。元々メッセージキューに利用できることは知っていたのですが、バックグラウンドでどのような振る舞いをしているかに関しては、あまり詳しく調べられていませんでした。 社内でアドベントカレンダーを今年もやることになったので、この機会にしっかりと勉強しようと思い、この記事ではまずはHelloWorld的に、単純にメッセージキューとしてHelloWorldを試してみまし…

こんにちは、ソリューションアーキテクトの蒸野（ムシノ）です。 今回は、Red Hat Developerのブログ Red Hat OpenShift Connectors: Configuring change data capture | Red Hat Developer の翻訳記事をベースに紹介させて頂きたいと思います。 翻訳記事から内容の一部変更、およびオリジナルにない画面表示や補足事項を追加しています。ご承知おき頂けたらと思います。 はじめに 「Red Hat OpenShift Connectors」 は、レッドハットが提供する新しいクラウドサービスです。このサービスは、システム間…

Overview REST API application 実行 MQ consumer (worker) application 実行 コマンドラインアプリケーション application 実行 定期実行アプリケーション application 実行 まとめ 追記 Overview Spring BootはWebアプリケーションを実行する以外にもいろいろできるのでいくつか紹介する。 REST API MQ consumer (worker) コマンドラインアプリケーション 定期実行アプリケーション REST API application Spring Bootで一番よくあるアプリケーショ…

TOC TOC 目的 やってみた 概要 事前調査 確認手順 Kafka コンシューマ(Java) 結果確認 Consumer(Java)のログ Kafkaのログ 目的 ローカルでコンシューマリバランスを発生させ、その際の挙動を確認します。 Kafkaにおいて、Topic上のPartitionは、Consumer Group上のConsumerに下図の様に紐付けされます。 PartitionとConsumerの関係 リバランスが発生すると、PartitionとConsumerの紐付けが更新されます。 やってみた 概要 PartitionとConsumerの紐づけは、Brokerが管理しており、タ…

仕事で既に稼働しているEC2+RDSのセットが2つあってそれぞれのRDSのデータを同期するかも、という話があったので勉強がてら調べてみる AWS DMS 一般的な方法のように思われる AWS DMS を活用して MySQLからPostgreSQLへの移行とDBリファクタリングをやっている話/osc2018-kagawa-dms-replication DMSを使ったSQL Serverの継続的なレプリケーションを行う データ移行なので基本は1度または何度かの移行タイミングで利用するサービスに思えたけど、 データの更新があったらもう一方のDBへ反映させる継続的レプリケーションという機能があった！…

友人が ChatGPT で論文記事を要約して読んでいると聞き、質問をしたりするだけでなくそういった使い方も出来るのかと驚きました。今日は Confluent 社からの長めの記事を読みたかったので ChatGPT も使いながら読みましたが、非常に便利ですね…。記事本文を読み直すにしても、要約から読み直すと頭に入って来やすいです。要約＋日本語訳も試してみたんですが、さすがにかなり時間がかかっていて要約精度も少し落ちる印象ですが、それでも概要把握には十分でした。 今調べたら ChatGPT は有料版が発表されていて、月20ドルなら個人でも全然使い続けられるなと感じました。学習が進みすぎた結果パラダイ…

皆さん、こんにちは。 デザイアグランプリの虜、おっくんです。 今回は、「Deno で掲示板サイトを作ろう！ with upstash & supabase」企画の 4 回目として、upstash redis の導入と自動デプロイに取り組みます。 前回記事はこちら toranoana-lab.hatenablog.com upstash redis の導入 クラウドにこれまで作成した掲示板アプリをデプロイするにあたり、これまで開発環境ではコンテナで用意していた Redis の代替になるものが必要です。 ここで、今回は upstash redis を導入します。 upstash redis とは？…

気分転換にヘッダを変えてみました。Iittala社のキャンドルホルダーが大好きで、（まだ一応）趣味のカメラと組み合わせてキャンドルを撮影したりしているので、その画像を拝借。冬場にはもちろん、友人が家に来たときなんかに使うと、少しムードが出て良い感じです。 技術記事を読む習慣をつけるために InfoQ の記事を中心に、目に留まったものを紹介します。データエンジニアリング系が中心になると思います。 全然関係ないんですが、DDDの和訳＆要約書が InfoQ で無料で読めます。流石にかなり分量が少ないですが、復習によいかもしれません。前職ではこれとユースケース駆動開発についてなど、ソフトウェア開発やデ…

snowflakeのデータロード ファイルのフォーマットについて ステージについて 一括ロードの概要 ローカルストレージからバッチ処理を行う クラウドストレージからバッチ処理を行う COPY INTOコマンドの代表的なオプション FILES PATTERN FORCE PURGE COPY INTOで変換しながらコピーする COPY INTOのON__ERROEオプション COPY INTOの過去の実行で、ロード中に発生したエラーを確認する VALIDATION_MODEを使用して、検証モードでコピーする snowflakeのストリーム設定方法 REST APIを使用する方法 AUTO-ING…

パイプラインアーキテクチャとは 概要 パイプ フィルター パイプラインアーキテクチャの威力 具体例1:関数型 具体例2:Apache kafka パイプラインアーキテクチャのメリット デメリット 備考 パイプラインアーキテクチャとは ソフトウェアの歴史の中で繰り返し出現するスタイルが、このパイプラインアーキテクチャスタイルだ。 関数型プログラミング言語の考え方を拡張したかのようなアーキテクチャで、 bashやpowershellなどのシェル言語に近い構造を持つ。 今回のアーキテクチャはより高次元に拡張し、ビジネスアプリケーションレベルにも使用できる。 概要 パイプラインアーキテクチャには以下の…

github.com statistics: fix data race in the Handle.IsTableLocked by hawkingrei · Pull Request #40572 · pingcap/tidb · GitHub Handle.IsTableLockedでのレースコンディションを修正しています。 executor,store/copr: trace the buildCopTask and limitExec close duration when it's slow by tiancaiamao · Pull Request #40579 · pingca…

【注意】 レイアウト面の装飾が間に合いませんでした。記事の方は一旦公開しますが、リライトのために一時的に下書きに戻している期間があるかもしれないです。ご了承下さい（記事のURLは変わらないと思います）。 ————————————————— 大体「ランカー下位〜in 10%」くらいを狙う指揮官を対象として、大雑把に書いてます。特に中位・上位ランカーを狙う指揮官や、GFL-Esportsに出場する選手にとっては、あまり参考にならないと思いますので、ご注意下さい。 (執筆者は一応先行鯖でこれくらいの順位を取ってます) この記事では「編成」の話を中心にします。 「ギミック等の基本情報」や「敵・Boss…

ここでは、回帰定理のランキング「ナイトメアラビリンス」に登場する新しい敵の特性を解説をします。 ランキングの「編成ガイド」「基礎ガイド」「参考動画」については、以下のリンクを参照して下さい。 【ランキングの編成ガイドのリンク】 kafka8698.hatenablog.com 【ランキングの基礎ガイドのリンク】（リライト中） docs.google.com 【参考動画集】 docs.google.com ★新規敵分析 今回のランキングでは、計7体の新規パラデウス敵が追加されています。ランキングをプレイする上でこれらの敵の特性を知っておいて損はしないので、以下に簡単にまとめておきます。ランキング…

✨SEASON2 1st Trailer公開✨制作#スタジオカフカCAST🆕#種﨑敦美 #竹内良太 #内山昂輝 #遠藤綾#津田美波 #河瀬茉希 #山下誠一郎 #小林大紀 #上田麗奈 #西山宏太朗#日野聡 #田村睦心👇視聴はこちらからhttps://t.co/p66AS3sDuO#魔法使いの嫁 #まほよめ #mahoyome pic.twitter.com/1Xa0ui1AUL — アニメ『魔法使いの嫁』公式 ＠SEASON2放送決定！ (@mahoyomeproject) 2023年1月12日 www.youtube.com ー ひと為らざる魔法の世界から ひと司る魔術の世界へ、ようこそ。ー …

繰り返すが、日本人のとどまるところを知らない働きすぎ、つまりゆとりのないすさんだ心情は、近代化以降、欧米コンプレックスのなかで形成されたにすぎいない。 処方箋は、自画像の再構築の果てに存在するような気がする。（猪瀬直樹『迷路の達人』文藝春秋、1993） こんにちは。明日から３学期が始まります。５０１回目の投稿のときと同じように、６０１回目も実生活の節目とリンクするかたちで迎えることができたこと、嬉しく思います。まぁ、だからどうしたという話ですが、近代化以降とか、３学期以降とか、６０１回目以降とか、そういった節目節目でそれ以前のことをゆっくり振り返る習慣って、迷路のような世の中をそれなりに楽しく…

データ処理パイプライン（データ収集・集約） fluentd ライセンス: Apache License Version 2.0 特徴: Ruby 製 バッファリング機能 ロードバランス機能 C言語製の Fluent Bit がある C++ ライブラリ ライセンス: BSD 2-Clause license libfluent 参考: libfluetを使ってC++プログラムからfluentdにログをとばす(Qiita) m-mizutani/libfluent(Github) fluent-logger-cpp ライセンス: Apache License Version 2.0 参考: tod…

不定期開催(読む余裕がある時に行われる)コーナー第3回。 次世代メッセージング/ストリーミングプラットフォーム Apache Pulsar紹介 ～Apache Kafkaに比べて何が進歩したのか？ - Qiita ビジネスにとって意味のあるデータとは - Qiita 行政職員のためのデータ活用一歩前｜METI-DX 経済産業省DXオフィス Feed your soul: the 31-day classical music diet for January | Classical music | The Guardian The Japanese call this practice tsun…