Kubernetesは、コンテナ化されたアプリケーションの展開、スケーリング、および管理を自動化するためのオープンソースシステムである。
こちらは バイセルテクノロジーズ Advent Calendar 2023 の9日目の記事です。 昨日は大舘さんによるKubernetes の Rolling Update の落とし穴 〜replicas の値は余裕を持って設定しよう〜でした。 はじめに こんにちは。バイセルテクノロジーズの開発1部に所属している、BEエンジニアの金澤です。 バイセルでは顧客・買取案件管理システムであるGYROというサービスを開発・運用しています。 最近では、バイセルで目下構築中の総合リユースプラットフォームを目指すプロダクト群“Cosmos“の1つであるCRMというサービスが、GYROの機能を一部移管する形で…
はじめに こちらは バイセルテクノロジーズ Advent Calendar 2023 の8日目の記事です。 前日の記事は那仁さんの運用プロダクトのDataflowをBigQueryサブスクリプションに移行した話でした。 SRE部の大舘です。 バイセルで、とあるプロダクトのインフラを担当しています。 このプロダクトではインフラとして Google Cloud の GKE(Google Kubernetes Engine) を用いてシステムを運用しています。 今回は Kubernetes の Rolling Update が想定通りに動かなかったこと、その原因を調査して、解決方法を見つけた時の話を…
こんにちは、SRE課セトです。 今回はCertified Kubernetes Administrator (CKA)とCertified Kubernetes Application Developer (CKAD)を受験し、合格したためその体験記を共有します。 CKA、CKADとは なぜ受けたか 受験者のスペック 受験するにあたり最低限身につけておいた方が良いこと いつ受験しどのくらい勉強したか 学習に使用したもの Udemy:Certified Kubernetes Administrator (CKA) with Practice Tests Killer.sh Kubernetes.…
こんにちは！エムスリー Advent Calendar 2023 7日目担当の小栗 (@irungo_ic)です。私は東京大学 電子情報工学科で学生(B4)をしており、エムスリーには業務委託で参画しています。 今回はgokartの分散並列化ライブラリkannonをエムスリーの実プロダクトに組み込んだ取り組みについて紹介します。結果として、社内のとあるプロダクトのIntegration TestのJobを7時間30分から2時間20分に短縮するという、約3.2倍の高速化を達成できました！それまでに生じた苦労、kannonへの追加機能などについてお話しします。 kannonとは？ kannonとは、…
本エントリは、Ansible Advent Calendar 2023の6日目の記事になります。 AWXのセットアップがDocker ComposeからKubernetes環境になって手を出しづらくなったとか、インストール方法がわかりづらいなどの声を観測範囲で聞くことがあったので、ローカル環境で簡単に始められる手順についてまとめた。 大まかな手順の流れは以下の通り。 Kubernetesの準備 AWX Operatorのデプロイ AWXのデプロイ (追記) ちなみに2と3は手順としては1回にまとめられる(後述) 本編は解説用に分けてデプロイしている。 Kubernetesの準備 K3sを使った…
色々教えてもらったので備忘録 Microsoftラーニングパス 製品欄のAzure Kubernetes Serviceにチェックをいれた状態のURL learn.microsoft.com AKSクラスターのB/Gデプロイ learn.microsoft.com API の破壊的変更時に Azure Kubernetes Service (AKS) クラスターのアップグレードを自動的に停止する 非推奨のAPIの使用を確認できるKubernetes API deprecationsが便利そう learn.microsoft.com AKSリリーストラッカー AKS は、すべてのクラスターと顧客…
はじめに 全体構成 タスク定義 ContainerDefinitions まとめ はじめに こんにちは、クラウド事業部の梅本です。 こちらは エーピーコミュニケーションズ Advent Calendar 2023 5日目 の記事となります。 お時間あれば以下の弊社アドベンドカレンダーもぜひ！ qiita.com Amazon ECS に入門する前はECSが単体のコンテナ実行環境と思っていたのですが、やっていくうちに概念が Kubernetes に近いものがあったので、今回は ECS をKubenetes に当てはめて理解を深めていこうと思います。「Kubernetes におけるパラメータはこれ…
この記事は MicroAd Advent Calendar 2023 と Kubernetes Advent Calendar 2023 の5日目の記事です。 オンプレあるあるな悩みとして、データセンターと外の通信にはインターネットを経由する都合、１つのアプリで契約している帯域を専有してしまいインターネット通信が輻輳1 （ふくそう）し、他のシステムの本番環境に影響させてしまう事があったりします。 今回は、RKE22 で構築したKubernetesノードにて、Pod発の通信に対して帯域制限をかける方法について紹介します。 環境 種明かし 利用できるか確認する Nodeのセットアップ RKE2のみ…
Google Cloud Champion Innovators Advent Calendar 2023 の 4 日目の記事です。 今年も GKE (Google Kubernetes Engine) には多くのアップデートがありました。 網羅的にアップデート情報を把握したい場合は GKE のリリースノート を見て頂ければと思いますが、定期的なバージョンアップデートの情報なども含むため、それなりのボリュームになっています。 そこで、この記事では「最近の GKE を追っていないので直近どのようなアップデートがあったのかざっくり把握したい」という方向けに、今年の GKE の主なアップデートを振り…
前回の続きでContainerized Data Importer（以下、CDI）を導入してUbuntuの仮想マシンを動かします。 khasegawa.hatenablog.com マニフェストを用意する マニフェストの取得コマンドは省きしますが、マニフェストをkustomization.yamlから参照するように定義しておきます。 --- apiVersion: kustomize.config.k8s.io/v1beta1 kind: Kustomization namespace: cdi resources: - https://github.com/kubevirt/containe…
arthur-1 Mackerel Advent Calendar 2023 マラソン10日目の記事です。 MackerelはOpenTelemetry対応を進めています Mackerelはテレメトリデータを収集・エクスポートすることに関する標準規格であるOpenTelemetryへの対応を進めています。 mackerel.io その第一弾として、ラベル対応メトリック機能をオープンβリリースしています。 2023年12月現在では、OpenTelemetry MetricsのうちgaugeをOTLP/gRPCでMackerelに投稿し、PromQLを用いてグラフ化することができます。ベンダー独自…
この記事は enechain Advent Calendar 2023 の 10 日目の記事です。 はじめに こんにちは！enechain でソフトウェアエンジニアをしている @tomohiko-tanihata です。 これまではモバイルデスクに所属していましたが、現在は 『日本気候取引所 - Japan Climate Exchange』 (以下 JCEX)の主にバックエンドを担当しています。 JCEX とは環境価値取引を実施できるプラットフォームであり、3 ヶ月の立ち上げ期間で開発した新規プロダクトです。 バックエンドは Go を使用し、DB スキーマ管理には Atlas を、ORM に…
Nutanix Kubernetes Engine（NKE、旧称 Karbon）で、Kubernetes クラスタを作成してみます。 今回の内容です。 この NKE 環境について ラボむけの調整 NKE クラスタの作成
こんにちは もしくは こんばんわ！ ANDPADボード プロダクトテックリードの原田 土屋(tomtwinkle)です 最近めでたく戸籍が代わり名字がリネームされました この記事はDebian12 bookwormが正式リリースされ、Debian11 Bullseyeが今までの流れでいうと来年辺りEOLになりそうな雰囲気なので今のうちに切り替えておこうと奮闘した記録とAlpine Linuxからdistrolessに変更したらKubernetesのpreStopが上手く動かなくなった件の対応をした記録の合せ技です。
こんにちは。SRE部の桝谷@hnchn87です。 この記事は、 Chatworkのカレンダー | Advent Calendar 2023 - Qiita の 9日目です。 2023年12月6日に行われた「耐障害性向上・パフォーマンス改善・運用負荷軽減をどう実現する？ 事業を支えるSREのノウハウを共有」の中で「2023年度版！Chatwork流Kubernetesの運用方法」というタイトルでお話しをさせていただきました。 https://enechange-meetup.connpass.com/event/301585/ 当日は時間の関係上、詳しくお話しできなかったので、発表資料を見ていた…
この記事は 10Xアドベントカレンダー2023 9日目の記事です。 昨日はSREの@_tapihさんによるKubernetes のインスタンスコストを 0.6x した話 - 10X Product Blog でした 各言語のgRPC実装にはInterceptor（インターセプター）という機能が存在します。 gRPC Serviceの呼び出しに対してInterceptorが自動で実行される仕組みなので、gRPCのリクエストに対して共通で適用したい処理を記述するのに便利です。 「gRPC interceptor」で検索すると認証・認可やロギングの用途でInterceptorを利用している方の記事が…
バックエンド/インフラ担当のパクです。 前回の記事ではS3管理に関するセッションについて振り返りました。 今回は、AWSの代表的なコンテナサービスであるFargateを取り上げたセッションに焦点を当て、振り返りたいと思います。 AWS Fargate or Amazon EC2:Which launch type should be using? このセッションでは、Amazon Elastic Container Service (ECS) と Amazon Elastic Kubernetes Service (EKS) の両方で動作する、コンテナのためのサーバーレスコンピューティングエン…
🎅GMOペパボエンジニア Advent Calendar 2023の8日目の記事です。 昨日はしおりんさんの寒さを吹き飛ばせ！GASとChatGPTで目指す自動投稿への挑戦🚀 - shiorinのアウトプットでした。たしかにブログを書いたらXに投稿する流れがあるので、自動化できたら便利そうだな〜と思いました。MuuMuu Sites、自分も使ってみます。 2021年12月からWebエンジニアとしてお仕事をいただくようになったので、今月でちょうど2年になります。 この1年は色々とチャレンジさせてもらって、成長できた実感があります。 エンジニア2年目って何ができるの？どんなことができるの？という関…
概要 今年2023年の8月にデータサイエンティストに転職した。 転職してから4ヶ月ほど経ったので、その備忘録をかく。 項目 僕の経歴 なぜデータサイエンティストに転職したのか 僕が入社したRistという会社について Kagglerの凄さ ソフトウェアエンジニアとデータサイエンティストを比較して ソフトウェアエンジニアの経験が生きている話 これから 僕の経歴 Infcurion: 決済システムでソフトウェアエンジニア ヤフー: 検索でソフトウェアエンジニア Rist: データ分析チームでデータサイエンティスト ← new! なぜデータサイエンティストに転職したのか キャリアのどこかで機械学習をき…
10X の Kubernetes おじさん兼娘ちゃん好き好きおじさんこと SRE の @tapih です。 この記事は 10X プロダクトアドベントカレンダー2023 の 8 日目の記事です。昨日は PdM の @enaminnn さんの記事でした。 note.com 本記事では、 2023 年 1 月頃に行っていたインフラコスト削減の施策についての話をご紹介します。 施策を行った背景 Goals / Non Goals Node pool の命名規則 Pod の移行 AOT コンパイル リソース設定 振り返り インスタンスコスト削減 CronJob 実行時間の短縮 リソース使用の安定化 今後…
この記事は、NTT Communications Advent Calendar 2023 8 日目の記事です。 はじめに こんにちは、イノベーションセンターでノーコード分析ツール「Node-AI」開発チームの林です。 業務としては Node-AI のフロントエンドやバックエンド開発、最近では監視/可視化のプラットフォーム開発に携わっています。 本記事ではこの監視/可視化のプラットフォームについて、検討段階ではあるのですがアーキテクチャを中心にまとめていきたいと思います。 Node-AI について Node-AI はノーコード分析ツールとなっていて「予測/異常検知モデルをすぐに・簡単に・わかり…
こんにちは、Red Hatでソリューションアーキテクトをしている石川です。 過去に何度かこのブログの中でOpenShift Data Scienceについて取り上げてきましたが、 直近のリリースバージョンであるv2.4から機械学習における分散学習を実現する機能がTech Previwとして追加されました。 access.redhat.com 今回はこちらの機能をデプロイしてみてどういった仕組みで分散学習を実現しているのか見ていきたいと思います。 なおTech Preview機能についての制約についてはこちらを参照下さい。 またプロダクトの正式名称がRed Hat OpenShift Data …
はじめに Technology Radarとは 項目のピックアップ基準 Techniques 3. Accessibility-aware component test design (Trial) 11. Risk-based failure modeling (Trial) 14. Unit testing for alerting rules (Trial) Tools 50. Chromatic (Trial) 53. Container Structure Tests (Trial) 57. Insomnia (Trial) 65. Terratest (Assess) 76. Ma…
github.com *: upgrade go1.21.5 by hawkingrei · Pull Request #49213 · pingcap/tidb · GitHub Go 1.21.5を利用しています。 server: add test to keep `clientConn` from memory leak by YangKeao · Pull Request #49243 · pingcap/tidb · GitHub clientConnがGCされることを確認するテストを追加しています。 ddl: wrap the sessionctx to public delete…
jaco.udcp.info
qiita.com
blog.inductor.me
blog.father.gedow.net
qiita.com
www.publickey1.jp
blog.inductor.me
ascii.jp
cybozu.github.io
