Redis

この記事は、NFLaboratories Advent Calendar 2022 4日目の記事です。 こんにちは、ソリューション事業部セキュリティソリューション担当の大沢です。 前回、NFLabs. エンジニアブログに『OpenCTIの日本語化にあたって』というタイトルで脅威インテリジェンスプラットフォームOpenCTIの話をさせていただきました。 今回はそのOpenCTIの検証中に検証サーバーをスクラップにした話をしようと思います。 教訓、あるいは TL;DR 『本番環境でやらかしちゃった人 Advent Calendar』を読もう！ 作業前のスナップショット作成は大事 Redisは自身の…

こんにちは、CRE部 技術支援チームです。 皆さんは、データベース（以下DB）を利用する際、何らかの理由で負荷が高まりサーバーのレスポンスが遅くなった経験がありませんか？ このような時、キャッシュサーバーを有効に活用することで、DBサーバーの負荷低減やリクエストへのレスポンス時間の改善ができるかもしれません。 今回はキャッシュサーバーとして利用できる代表的なオープンソースのインメモリーDBであるRedisのクラスター構成を試してみます。 Redisはデータを全てメモリー内に持つため、非常に高速なパフォーマンスを実現できます。データベースのキャッシュの他、中間処理を行うためのデータストア、セッシ…

こんにちは ハタ です。 Mirrativのインフラ内で実際に開発・運用している内製のRedisサーバについてお話したいなと思っています。 前回の記事 は、今回紹介する内製Redisサーバで起きたメモリリーク対策に関するお話しとなっておりますので、もし未読であればあわせて読んでいただければと思います。 今回はなぜ Redis サーバを内製することにしたのかの経緯や実装についての簡単な紹介が出来たらなと思っています Redis 導入の経緯 課題感: 揮発しないでほしい 課題感: 生存時間が短いデータを保持したい 課題感: 日次データをなんとかしたい 候補 Redis Cluster のヨシアシ:…

こんにちは、TRYT開発課の成阪です。 クラスター有効のElastiCache Redisに接続した際に以下のエラーが発生しました。 Redisを利用するのは今回のプロジェクトが初だったので、今後のために調べたことを残しておきます。 発生したエラー elasticache redis MOVED 11637 192.168.112.18:6379` エラーの原因 MOVED というエラー自体は Redis Cluster のもので、アクセス対象のデータを持っているノードへのリダイレクトらしい。 https://redis.io/topics/cluster-spec MOVED Error f…

こんばんは、エキサイト株式会社の中尾です。 今回は表題の通り、redisで一度に保存するキャッシュサイズ(value)は100kb以下が良い点について説明します。 っと言っても、memcacheでも同じです。 詳しく説明はこちらのリンクを参考にしてください。 docs.microsoft.com 簡単に説明するとシングルスレッドでインメモリデータストアであるため、そんな複雑なデータの取り扱いやサイズの大きいvalueを取り扱うとサーバーの負荷が上がります。 負荷が上がると当然他のアクセスもできなくなります。結果、アプリケーション全体に影響が出てしまいます。 そうならないために、100kb以下に…

概要 旧redis gemの課題 増え続けるコマンドのサポート負荷 RESP2しか対応できていない 新redis-client / redis-cluster-client gemsによる解決 新規コマンド対応の柔軟化 RESP3のサポート その他の背景 redis-rbとしてGitHubのOrganizationを新規に作成した理由 新redis-client gemと新redis-cluster-client gemとを分けた理由 旧redis gemの今後 最後に 概要 インフラストラクチャーグループの春日です。 Ruby で Redis を扱う際は redis gem がよく使われてき…

概要 参考情報 概要 Dragonfly、最近名前は聞いたことあったのですが、全然知らなかったので以下の記事がすごく助かりました。感謝。 Redis互換なので、知っている知識も再利用できますね。 zenn.dev dragonflydb.io github.com まだ、発展途上みたいですがRedisの25倍のスループットは凄い魅力。cluster機能が搭載されたら 参考情報 How to use Dragonfly to store user sessions with Symfony | by Edouard Courty | Jun, 2022 | Medium DragonflyDB,…

1: 以下、5ちゃんねるからVIPがお送りします 2022/03/08(火) 23:14:25.005 id:z9Obu6OS0 なんでもきいてよ

概要 GitHub Actions では、ジョブのサービスとして MySQL や Redis が使える。 volumes ( jobs.<job_id>.services.<service_id>.volumes ) を指定することで、サービス間やステップ間でデータを共有できる。 ただソースコードは通常 actions/checkout を利用すると思うが、リポジトリで管理しているようなファイルパスをそのままマウントしようとエラーになる。 rm: cannot remove '/home/runner/work/your_repo/path/to/mysql/conf.d': Permissi…

これは、なにをしたくて書いたもの？ ふだんDocker Composeをそんなに使っていないのですが、たまに使うとコンテナ間で名前解決するのにどうすればいいのかよくわからなく なるので、ちゃんと見ておくことにしました。 参照ページ 主に、以下のページを見ています。 Networking in Compose | Docker Documentation Compose specification | Docker Documentation 環境 今回の環境は、こちら。 Docker Engine。 $ docker version Client: Docker Engine - Commun…

CodeCraftersというサービスを使い始めたので感想を書いておく。Rustでのスレッド処理など普段やらないことを実装できたので面白かった。 codecrafters.io [きっかけ] [やったこと] [感想] [まとめ]

2022年10月24日に『ふりかえり Kaigi on Rails 2022』と題してイベントを開催しました。イベントでお話した内容を文字起こしレポートでお届けします。 自己紹介 kwappa：そろそろ「ふりかえりKaigi on Rails 2022」を始めます。みなさん、こんにちは。 みんな：こんにちは。 kwappa：Kaigi on Rails、みなさんお疲れ様でした。楽しかったでしょうか？このイベントは、STORES 株式会社のエンジニアを3人もKaigi on Railsの登壇者に送り込むという快挙に成功しましたので、ぜひその登壇者を集めて振り返りながら、また来年も楽しみだなという…

あらためてLaravelの門をくぐろうとしてdocker runコマンドの--pullフラグにつまずく - @ledsun blogの続きをします。 curl -s 'https://laravel.build/example-app?php=82' | bash を実行します。 [+] Running 0/0 ⠋ selenium Pulling 0.1s ⠋ redis Pulling 0.1s ⠋ meilisearch Pulling 0.1s ⠋ mysql Pulling 0.1s ⠋ mailhog Pulling 0.1s error getting credentials -…

Laravelの門をくぐろうとしてdocker runコマンドの--pullフラグにつまずく - @ledsun blog のつづきです。 AIに相談してみます。 version1.3以上が必要だそうです。 ずいぶん昔から使えるフラグのようです。 自分の環境に入ってるdockerが何かおかしそうです。 ていうかこんなことまで知ってるんですね・・・すごい。 WSLにDockerをインストールする - @ledsun blog をみると、ちょっと前ですね。 再インストールしてみましょうか。 Install Docker Engine on Debian | Docker Documentation…

https://laravel.com/docs/9.x/installation#getting-started-on-windows を参考にします。 Dockerはすでにいれてあります。 curl -s https://laravel.build/example-app | bashを実行します。 ledsun@MSI:~/hello_laravel►curl -s 'https://laravel.build/example-app' | bash unknown flag: --pull See 'docker run --help'. bash: line 17: cd: exam…

Redis::Fast のコードをちょろっと読んだので、自分用のメモ。 hiredis 側には adapters/poll.h というものが用意されているが、自前実装している wait_all_responses と wait_one_response はまったく同じ実装である wait_*_responses を呼んだときのみ redisAsyncHandleWrite するので、 POD にあるような Redis がコマンドを処理する間に long_computation(); をするような使い方はできない poll.h の redisPollTick に相当するメソッドがあればイベントル…

背景 Redisにダミーデータを投入するpythonスクリプトを使っていた。 データ件数が少ないうちはよかったのだが、多数のデータを入れるようになると、時間がかかりすぎて辛くなってきた。 パイプラインを使い、Redisとの通信ラウンドトリップを減らす Redisのパイプラインを使うと、複数のRedisへのコマンド実行をまとめて一度に実行することができる。 これにより、ラウンドトリップの回数を減らすことができ、パフォーマンスが向上する。 redis.io サンプルコード 以下のスクリプトでは、時系列データを24時間分、5秒間隔で作成してRedisに入れている。 r = redis.Redis(h…

このブログは別の場所でSOCにも携わっている経験のある株式会社Armorisのseanが、本人の興味範囲に基づいて収集したサイバーセキュリティ関連の出来事をまとめたものです。各出来事に関するコメントは個人の意見です。 １２月１日収集 インシデント対応状況報告 不正アクセスインシデントに関する対応の進捗状況について（株式会社メタップスペイメント） 対応に時間がかかる場合は状況を中間報告していくのは良い取り組みだと思います。 https://www.metaps-payment.com/company/20221129.html 教育機関関連 大学からの情報漏えい、2022年は過去最悪に。累計79…

メトリックプラグインの利用環境ごとの対応一覧です。ミドルウェアのメトリック可視化に公式プラグイン集を使う に記載の手順でプラグインのインストールを行うと、○ の付いているプラグインが利用可能になります。 container-agent に関してはプラグインを同梱した Docker イメージを公開しています。詳しくは コンテナを監視する を参照してください。 ヘルプは順次公開予定です。ヘルプが未公開のプラグインの使い方については README を参照してください。 プラグイン ドキュメント Linux Windows container-agent mackerel-plugin-accessl…