Hatena Blog Tags
はてなブログ トップ
kafka
このタグでブログを書く

kafka

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
buto > /dev/null•先月

稼働中RDS同士のデータ同期を考える

仕事で既に稼働しているEC2+RDSのセットが2つあってそれぞれのRDSのデータを同期するかも、という話があったので勉強がてら調べてみる AWS DMS 一般的な方法のように思われる AWS DMS を活用して MySQLからPostgreSQLへの移行とDBリファクタリングをやっている話/osc2018-kagawa-dms-replication DMSを使ったSQL Serverの継続的なレプリケーションを行う データ移行なので基本は1度または何度かの移行タイミングで利用するサービスに思えたけど、 データの更新があったらもう一方のDBへ反映させる継続的レプリケーションという機能があった！…

#DMS#kafka#KINESIS

ネットで話題

もっと見る
613ブックマークRedis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発www.publickey1.jp
570ブックマークApache Kafkaに入門したApache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）...deeeet.com
418ブックマークApache Kafkaを使ったアプリ設計で反省している件を正直ベースで話すmedium.com
223ブックマークApache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システムwww.publickey1.jp
158ブックマークApache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースでwww.publickey1.jp
110ブックマークApache Kafkaで発生した原因不明のパフォーマンス低下と、それを解決するためにやったこと - ログミーTechlogmi.jp
104ブックマークApache Kafkaを使ったマイクロサービス基盤class: center, middle # Apache Kafka<br/>を使った<br/>マイクロサービス基盤 [2016/01/31 Scala Matsuri](https://scalamatsuri.org/) ![CC-BY-NC-SA](https://licensebuttons.net/l/by-nc-sa/3.0/88x31.png) --- class: center, middle 発表後に追記 [当日の発表動画はこちら](https://www.youtube.com/watch?v=64HN...xuwei-k.github.io
104ブックマークApache Kafkaの概要とアーキテクチャ - Qiitaqiita.com
93ブックマークLINEの大規模データパイプラインを支える、Apache Kafkaプラットフォームの運用の裏側 - ログミーTechlogmi.jp

関連ブログ

Repro Tech Blog•先月

Repro のサーバーサイド開発環境を M1 Mac に対応させるまでの道のり(撤退編)

記事執筆中に動かなくなった開発環境 Repro でサーバーサイドの開発をお手伝いしているうなすけと申します。 前回の記事を最後の脚注まで読んでくださった方はご存知でしょうが、記事執筆中にmergeされた変更によって、M1 Mac での開発環境は動かなくなってしまいました。 tech.repro.io この記事では、一体何が原因で動かなくなってしまったのか、回避のために試したことと、結局撤退する判断をした経緯について書きます。 Repro のアーキテクチャについて まず、なぜ動かなくなってしまったのかですが、これには Repro というサービスのアーキテクチャが関係してきます。 Repro では…

#Docker#MacBook#Apple Silicon#Rails
赤帽エンジニアブログ•4 か月前

Red HatのManaged KafkaにQuarkusアプリケーションで接続してみよう！

こんにちは。Red Hatでソリューションアーキテクトをしている杉本です。先日の赤帽のブログ記事では、Red Hatが提供するManaged Kafka、Red Hat OpenShift Streams for Apache Kafka (RHOSAK)を試してみる方法として、Kafkaの環境を数分で構築し、ローカルマシンのkafkacatからクラウド上に構築されたKafkaインスタンスにアクセスする手順を書きました。今回はQuarkusベースのKafkaクライアントからRed HatのManaged Kafka (RHOSAK) に接続する方法について書いていきたいと思います。 Quark…

#kafka#rhosak
Enjoy Architecting•7 か月前

高負荷環境でFluentdを安定運用するための3つの観点

本記事について Fluentdは機能としてはシンプルですが、 高負荷環境で安定的に運用するためにはある程度の知識が求められます。 そこで、本記事ではそれなりにログ流量の高い環境下で私が考慮した観点をまとめました。 本記事では、KubernetesでFluentdの信頼性を担保するための3つの観点に加え、 「高負荷時の安定運用」に焦点を当て、 負荷分散 適切なモニタリング トラブルシューティングとチューニング の3つの観点について整理しています。 前提となるアーキテクチャ アーキテクチャとしては実際に私が構築した図の構成を前提とします。 アーキテクチャの特徴 1つのKubernetesクラスタに…

#fluentd#Kubernetes#kafka
ソトブログ•2 時間前

ブックレビュー“読む探鳥”：池内紀『海山のあいだ』――海山のあいだの黒い鳥たち。

写真はクロサギ。※本文とは関係ありません。 「人ノ運命ハワカリマセン」――カフカの全訳で知られる池内紀さんの遺した、「優しい」文章の、山の本。 海山のあいだの、不思議な黒い鳥たち。 海山のあいだ (中公文庫) 作者:池内紀 中央公論新社 Amazon 「人ノ運命ハワカリマセン」――カフカの全訳で知られる池内紀さんの遺した、「優しい」文章の、山の本。 写真は角川ソフィア文庫版。 鳥の本ではない、山の本だ。 著者の池内紀さんは、カフカ全作品の翻訳などで知られる高名なドイツ文学者であって、山歩きの達人でもあった。2019年に78歳で亡くなられている。この本は、1994年に単行本が刊行され、その年の優…

赤帽エンジニアブログ•17 時間前

Karavan Designerの紹介（その２）

みなさんこんにちは、レッドハットでソリューションアーキテクトをしている暮林といいます。 前回はKaravan Designerがどんなものかということを紹介いたしました。 rheb.hatenablog.com 今回の記事では、前回の予告通りノーコードでapache KafkaのPoCができるような使い方の紹介をしたいとおもいます。 Karavan DesignerにAtlas Mapを組み合わせていきます。 AtlasMapとは 使ってみる プラグインインストール 空ファイル作成 早速マッピングしてみる つなげてみる Karavan Designerから利用する まとめ AtlasMapとは…

joker1007’s diary•7 日前

Kafka入門 第1回 「そもそもKafkaとはなにか」

これは社内向けに書いた、Kafkaってそもそも何やねん、ということをメンバーに解説するための記事を一部編集して公開できる様にしたものです。 第2回以降では、Kafkaを利用したアプリケーション開発のノウハウについて解説していく予定です。そちらも社内の事情を除いた形で公開していくつもりです。 そもそもKafkaとは Kafkaはイベントストリーミングプラットフォームと呼ばれるミドルウェアです。 元々はストリームバッファと呼ばれてたと思います。 公式のドキュメントには以下の様に書かれています。 Kafka combines three key capabilities so you can imp…

じゃあ、おうちで学べる •8 日前

『Learning Dapr』を読んだので感想文

『Learning Dapr』を読んだ。 輪読会ではなく共有会としての読書感想文を記載しました。Dapr に関する素晴らしい書籍だと思うので共有会を通して皆さんに共有したいと思います。 誰が読むべきか？ Dapr の実装が必要な方 分散システムに関して兎に角見聞を広げたい方 Learing Dapr について learning.oreilly.com どんな本なのか？ Daprがステートレス、ステートフル、アクタープログラミングモデルを統合するだけでなく、クラウドやエッジのあらゆる場所で実行される方法を背景からその将来について開発者自ら、説明してくれている書籍。話の主軸がDaprであるためどう…

sotoiwa’s blog•8 日前

Karpener を試す

Karpener を試してみるメモ。 https://karpenter.sh/ Karpenter のご紹介 – オープンソースの高性能 Kubernetes Cluster Autoscaler 公式には Getting Started with Terraform もあるが、eksctl での Getting Started に沿ってやってみる。 コンポーネント バージョン 備考 eksctl 0.79.0 Kubernetes バージョン 1.21 プラットフォームのバージョン eks.4 Karpenter 0.5.4 Karpenter チャート 0.5.4 準備 Karpente…

今日の堕落の路 powerd by はてな•13 日前

2022年1月12日(水)のツイート履歴

ツイート ひろが。 @hiro_ga 回路設計業者の回路図にダンピング抵抗が入っていなかったら、業者変えようと思います。 17:06 坂本カフカ/阪本KAFKA @skafka15 FANZAにある俺の漫画のレビュー、何回読んでも笑ってしまう https://twitter.com/skafka15/status/1481076217055166466/photo/1 17:03 ひろが。 @hiro_ga それにしても、風邪薬で副作用がでるとはなぁ…… 11:21 ひろが。 @hiro_ga 医師からもらった薬がなくなったので、市販品の風邪薬を使用していたのだが、どうやら局所的に蕁麻疹がでる…

Cha道•15 日前

社会的インフラになりつつあるChatwork。その改善が、日本の生産性を支える。

インタビュー中、にこやかな表情で「決して自分はすごい人物ではない」と、プロダクト本部 副本部長の田中佑樹は語りました。しかし、この言葉とは裏腹に、田中はChatworkの開発組織を改善するため、いくつもの課題と正面から向き合い続けてきました。今では、組織の根幹を支える重要な存在です。何を目指して田中がChatworkで働き続けるのか、その想いを聞きました。 ■プロフィール プロダクト本部 副本部長 兼 プロダクトセキュリティ部マネージャー 田中 佑樹 2013年にChatwork株式会社へジョインし、BiwaUIへの刷新プロジェクトのWebフロントエンド開発や外部向けREST API開発、メッ…

BOOKMAN•20 日前

MADE IN CZECH REPUBLIC

今、目の前に小道具がある。「コンパニオン」と呼ばれる、パイプの煙草を押し付けたり、掻き出したり、パイプに付着した炭カーボンを削り取るのに使うのだが、その本体に次の文字が刻印されている。 MADE IN CZECH REPUBLIC 単に「チェコ共和国製」の意味なのだが、500円位の廉価で買えるのに、一本三役をこなしてくれるスグレモノなのだ。構造はシンプルなのに、格子状の文様が彫られていて（アールヌーヴォーとも異なる）、東ヨーロッパのエキゾチックな雰囲気がこの調度品から感じられる。末永く愛用したい逸品である。 そろそろ話題を文学に転じたい。管見ではあるが、チェコに生まれて、その後、世界文学を創造…

まつやんの技術記事•20 日前

エンジニアの手動運用の業務改善はいつやる？

すべての運用が自動化されている会社などありません。ここでいう運用とは何かというとサービスを提供する上で定期的に実行しなければ行けないものだったり、自動化や管理画面の作成が間に合わずに人の手で順番の制御やSQLを実行したりする作業です。他にもいろんな運用はあるのですが（むしろソッチのほうが多いかもしれません）が、ここでは時間があったら改善できるものに絞って話を勧めていきます。 管理画面の実装が間に合わない場合 BtoBtoCの会社などでアジャイル開発をしている会社などによくあるのですが、管理画面を作り切る前に入稿データをGoogleFormなどで情報をもらってそれをSQLにして登録してユーザーに…

愛より重くて恋より軽い•22 日前

2021年現場まとめその2

来年は半期ごとか毎月でまとめ書こうという目標を立てました。 その1（上期）はこっち。 mishu-h.hatenablog.jp 【7月】 Bon Appetit!-ボナペティ!- bpm本公演久しぶりだねぇ。お料理教室で巻き起こるどたばたコメディって感じのお話。 どう見てもその筋の人にしか見えないんだけど実は刑事、っていう役どころの創さんファンの友達と行ったので大体口頭で感想喋ってしまったんだよな…ｗ 創さん本人の人の好さというか、優しさみたいなものがにじみ出てて愛嬌というか愛くるしさあって好きだったんだよなぁ。お料理がテーマなだけあって、結構演じる人のさじ加減によってキャラクターの印象が変…

shiroの知恵袋•22 日前

【Spring Boot 2.6 Release Notes】日本語訳

はじめに 別バージョンの日本語訳へのリンク Spring Boot 2.6.0 リリースノート Spring Boot 2.5からの変更点 Spring Boot 2.4からの非推奨 循環参照がデフォルトで禁止 Spring MVC向けPathPatternベースのパスマッチング戦略 アクチュエータ Env InfoContributor のデフォルト無効 アプリケーションの起動 Webリソースの構成 依存関係管理の削除 JBoss Transaction SPI Nimbus DS HAL Browser Prometheusバージョンプロパティ Embedded Mongo Oracle …

ytake blog•23 日前

Kafka＋Spark Structured Streamingとマイクロサービスアーキテクチャ

Kafka＋Spark Structured StreamingとProtocol Buffers マイクロサービスアーキテクチャというと、 適切なドメインモデルを参考にシステムを切り出して、 小さくしてチームを分けてAPI開発すればいいんだな、と思う方も多いかもしれませんが、 実はこのまま鵜呑みにしてやってしまうと、事業をうまく支えられるかどうか厳しい面が多くあります。 ビジネスを進める上でアプリケーションが動いていることは当たり前ですが、 事業を拡大したり推進していくには、エビデンスとなるデータが必要不可欠です。 つまりAPI連携をしてうまく動いてるように見えても、 あくまでアプリケーショ…

コーヒータイム -Learning Optimism-•先月

［テーマ読書］（未完 26 / 100）世界最高の文学100冊を読んでみた

ノルウェー・ブック・クラブが選出した「世界最高の文学100冊」（原題：Bokkulubben World Library）というものがあることを知り、全作読んでみることにした。 Library of World Literature » Bokklubben 目標は2030年までに全作読破。英語原著はできるだけ原文で読みたいけれど英語以外でも可。ルールはこれだけ。さらにせっかく読むのだから、読む前と読んだあとで自分の思考がどう変わったかをメモしておくと最高。 以下、選出された100タイトル。「ドン・キホーテ」が最高傑作であることを除けばとくに順番は定めていないらしいので、ウェブサイトで公開され…

motacaplaのめう•先月

2021年の雑感

今年の振り返り をしていこうと思いましたが、驚くことに、前回の記事から1年が経とうとしているようです。 今年も起こった出来事や仕事、趣味などについて、覚えている範囲で書き起こそうと思います。恐らく趣味ばっかりになると思います。 昨年たてた目標の振り返り 直近はJANOG47のイベントを成功させることと、仕事で直面している問題を考えたアプローチ解決すること、Kafkaのお勉強をして資料を作ること 達成しました Rustを学び始めることをやっていきます。時間が出来たら、関数型言語のお勉強と競プロの問題解くのをしたいです。 達成できませんでした、もっと勉強しようね 来年の抱負 先に抱負から書こうと思…