Redis

こんにちは、システム事業部の田丸です。昨今、利活用が目立ってきているNoSQLデータベースですが、携わるプロジェクトでRedis使用時に発生した事象と留意点について、ごくざっくりと紹介したいと思います。少しでも皆さんのお役に立てれば。 【発生した例外エラー】 「redis.clients.jedis.exceptions.JedisDataException:CROSSSLOT Keys in request don't hash to the same slot」 Redisを利用したシステムにおいてアプリケーションでデータ更新をしようとしたところ、アプリケーションログに上記のエラーが出力さ…

redis のバックアップデータからのリストアする方法をここにメモします。 バックアップ dump.rdb 作成 dump ファイル移動 リストア redis 停止 dump.rdb コピー redis 起動 バックアップ dump.rdb 作成 以下のコマンドで、dump ファイルが生成されます。 $ redis-cli bgsave出力先は 「/var/lib/redis/dump.rdb」です。 (※ redis.conf 変更可能) dump ファイル移動 $ mv /var/lib/redis/dump.rdb /data/backup/dump.rdb リストア バックアップデータ…

本業はJavaのバックエンドエンジニアなのですが、Redisを使ったことがないので、素振りします。 今回の記事では、データベース、キャッシュとしての機能を検証することをゴールとします。メッセージブローカー、キューとしての挙動は記載いたしません。 環境 Java 17 Redis 7.0.5 org.springframework.boot 2.6.4 org.testcontainers:junit-jupiter 1.17.4 Gradle Lombok Docker 対応 Gradleを記載する Redisを使えるように、依存関係に含めます。テストについても記載するのでTestContai…

redis のキーの削除方法をここにメモします。サンプルキー登録 $ redis-cli 127.0.0.1:6379> 127.0.0.1:6379> hset sample sample_key sample_val (integer) 1Key の確認 127.0.0.1:6379> keys sample 1) "sample" 127.0.0.1:6379> hgetall sample 1) "sample_key" 2) "sample_val"キーをすべてクリア 127.0.0.1:6379> flushdb OKキーを指定して削除 [command: del {{key}}]…

みそ汁の具はわかめと豆腐が一番！ こんにちは！ みそ汁の美味しさに目覚めた、エンジニアの山元です。 この記事では、先日実施した求人閲覧履歴データのRedisからDynamo DBへの移行についてご紹介したいと思います。 移行の背景 OpenWorkは現在（2022年11月現在）約48000件の求人情報を掲載しております。 そして、求人情報に関連したネイティブアプリの機能として「求人閲覧履歴機能」があります。 求人閲覧履歴機能 この求人閲覧履歴ですが、求人閲覧後すぐに履歴に反映される必要があるため、データアクセスが高速なNoSQLであるRedis上に保存されていました。 しかしRedisは揮発性…

この記事は、NFLaboratories Advent Calendar 2022 4日目の記事です。 こんにちは、ソリューション事業部セキュリティソリューション担当の大沢です。 前回、NFLabs. エンジニアブログに『OpenCTIの日本語化にあたって』というタイトルで脅威インテリジェンスプラットフォームOpenCTIの話をさせていただきました。 今回はそのOpenCTIの検証中に検証サーバーをスクラップにした話をしようと思います。 教訓、あるいは TL;DR 『本番環境でやらかしちゃった人 Advent Calendar』を読もう！ 作業前のスナップショット作成は大事 Redisは自身の…

こんにちは、CRE部 技術支援チームです。 皆さんは、データベース（以下DB）を利用する際、何らかの理由で負荷が高まりサーバーのレスポンスが遅くなった経験がありませんか？ このような時、キャッシュサーバーを有効に活用することで、DBサーバーの負荷低減やリクエストへのレスポンス時間の改善ができるかもしれません。 今回はキャッシュサーバーとして利用できる代表的なオープンソースのインメモリーDBであるRedisのクラスター構成を試してみます。 Redisはデータを全てメモリー内に持つため、非常に高速なパフォーマンスを実現できます。データベースのキャッシュの他、中間処理を行うためのデータストア、セッシ…

読もう・・・ Redis Lua API reference | Redis ARGV ⇒ argument vector HSET ⇒ hash set REM ⇒ remove 忙しくてブログ書く時間がありませんでした。 ここら辺も学習中 redis-cli コマンド操作まとめ - Qiita

そういえば、ChatGPTには長期記憶と短期記憶がありますね。 ChatGPTはニューラルネットワークベースのAIです。そして、ニューラルネットワークではネットワークノードの接続の重みとしてデータが保持されます。この重みがパラメータと呼ばれています。 GPT4ではパラメータが100兆のようなうわさがあったり否定されていたりしますが、そういった量のデータを保持しています。 この重みがなんだかよくわからないけど法隆寺がどんなものかという情報になっていたり、プログラミング言語のルールや計算規則になっていたりします。そのかわり、はっきりとした形は残っていないはずです。 これは時間をかけて学習していて、…

reids でメモリ使用量の多いキーを探す方法を調査したので、ここにメモします。 コマンド --bigkeys キーの型によって出力される情報が異なるようです。(hash ならフィールド数など) $ redis-cli --bigkeys --memkeys [MEMORY USAGE] で調べたバイト数が表示されるようです。 $ redis-cli --memkeys 参考 please-sleep.cou929.numedium.com

はじめに こんにちは。ZOZO DevRelブロックの@wirohaです。3/23にJavaのオンラインイベント「ZOZO Tech Meetup〜Java活用事例紹介〜」を開催しました。ZOZOの開発において「Java」にフォーカスした技術選定や設計手法、設計時の考え方などを紹介するイベントです。 登壇内容まとめ 弊社から次の4名が登壇しました。 ZOZOTOWNの商品の閲覧を支えるJava（技術本部 ECプラットフォーム部 / 藤本 拓也） ZOZOTOWNのカート決済システムのリプレイス〜歩みとこれから〜（技術本部 カート決済部 / 高橋 和太郎） Spring Boot+Redis C…

はじめに こんにちは。エモーションテック SREチームのおかざきです。 以前の記事で紹介した弊社プロダクト「EmotionTech」の実行基盤について、今年2月にAWS Elastic BeanstalkからAWS Fargateに全面的に移行しました。 この記事では移行により解決した課題と移行プロセスについてご紹介したいと思います。 Fargateの導入についてはすでに多くの事例があると思いますが、これから導入する方の参考になればと思い執筆しました。 なお、本記事で触れるプロダクト「EmotionTech」とは、直近でいくつか記事を掲載している「Google CloudでRustおよびNes…

3/24(金), 3/25(土)にPHPerKaigi2023に行ってきました！！ 終始とても楽しく、今後の活力となるような2日間でした！ phperkaigi.jp ということで、振り返ります。 今回見たセッション 今回は、セッションを中心に行動したので、とてもたくさんのセッションを見ることができました！ 詳細な感想などは別の記事で書く予定なので、ここではひとまずオフラインで見たものに関して、ばーっと列挙します！ day1 (3/24) PHPで学ぶ "Cacheの距離" の話 ブラウザの向こう側で「200 OK」を返すまでに何が起きているのか調べてみた 防衛的 PHP: 多様性を生き抜くた…

PHPerKaigi オフライン参加しました！！ よかったこと ちょうぜつソフトウェア設計入門――PHPで理解するオブジェクト指向の活用 | 田中 ひさてる |本 | 通販 | Amazonが当たった！感謝！ちゃんと読みます。 #phperkaigi ゲットしました! pic.twitter.com/Ct5pZohPoE— m_yoshioka (@mstysk) March 25, 2023 反省 荷物選定があまかったと反省。個人用のラップトップPC持ってなかったので、PC不所持で参加するが手持ち無沙汰感があった。その場で何かしたい時はPCがないと何も出来ないと無力感を味わう。持ち運びが出来…

Rundeck とは www.rundeck.com n8n とは n8n.io 乗り換えた理由（Rundeck のつらみ） 重い メモリ 2GB の VPS で Rundeck 専用につかっても重い ジョブの一括削除すると必ずタイムアウトするか 30分 ぐらい待ってエラーとかでどうにもならなくなった 起動が遅い メモリ使用量が常時上限張り付き 乗り換えにあたって要した条件 軽いこと コードベースでジョブが扱えること IFTTT は全部ポチポチ GUI なのでジョブが増えると手に負えなくなる 柔軟性が高いこと n8n は多くの Integration に対応している n8n は多くの node…

[web] Trapped Source [web] Gunhead [web] Drobots [web] Passman [web] Orbital [web] Didactic Octo Paddles [web] SpyBug [web] TrapTrack SSRFからのredisに任意データ差し込み Unsafe DeserializationからのRCE payload作成と攻略へ [Forensics] Plaintext Tleasure [Forensics] Alien Cradle [Forensics] Extraterrestrial Persistence [Fo…

はじめに ZOZOTOWN開発本部の武井と申します。ZOZOTOWNのフロントエンドリプレイスプロジェクトを主に担当しております。ZOZO DEVELOPERS BLOG でも「ZOZOのリプレイスプロジェクトで得られる唯一無二の経験。大規模サービスを進化させるやりがいとは」というインタビュー記事を掲載しておりますので、もしよろしければこちらも併せてご覧ください。 さて、本題です。現在ZOZOTOWNではオンプレミスかつ、モノリスだった既存システムをマイクロサービスAPIに責務を分割したり、インフラをクラウドに移行したりしています。しかし、いわゆるWebのUIを構築するためのシステムは現在も既…

Overview GitHub 上で Multi Platform 対応のビルドをする Docker build に渡す引数 Docker Hub 側の設定 実際の設定ファイル See Also Overview GitHub Actions 上で Multi Platform に対応した Docker Image を作成して Docker Hub に push するまでの備忘録です。 GitHub 上で Multi Platform 対応のビルドをする 公式に手順が載っているのでこれをベースに Actions を構築します。 docs.docker.com Docker build に渡す引…

業務でRailsのセッション周りをかなりハックする機能開発をすることになりました。 関連するgemを読んでいると、こんな風になっているんだーという発見があって結構面白いです。 ほんの一部ではありますが、セッション周りの処理で理解したことを書き留めておこうと思います。 ActionDispatch::Session::RedisStore Rack::Session::Abstract::Persisted 読み出し 書き込み まとめ 参考 Railsではセッションストアからの読み出し・書き込みは下記のように記述します。 # 読み出し session[key] # 書き込み session[ke…