Kubernetesは、コンテナ化されたアプリケーションの展開、スケーリング、および管理を自動化するためのオープンソースシステムである。
Kubernetesクラスタ(on Raspberry Pi5)にCockroachDBを導入する。DB側がTLS有効かつクライアント側でsslmode=verify-fullで接続しようとした際、ユーザの証明書作成に少し手間取ったので、(正しい方法かはわからないが)その手順も示す。 CockroachDBとは Kubernetesクラスタにデプロイする 動作確認 TLSを無効にしてみる ユーザの証明書作成 終わりに
コードを追いながら「おそらくこういう処理だろう」という感じがわかったのでメモを残す。 正しいかどうかわからないので是非コメントいただければと思います。 ざっくりとした流れ Node が削除されるときの流れは以下ドキュメントに記載があります。 karpenter.sh 1. Add the karpenter.sh/disruption=disrupting:NoSchedule taint to the node to prevent pods from scheduling to it. 2. Begin evicting the pods on the node with the Kube…
皆さんこんばんは。空と地上が融和へと導きそうな話しになりそうな感じです。 今日はタイトルの通りkubernetesの勉強の話しをブログに書いてみたいと思います。 それで宇宙の空と地球の地上をつなぐ、ネット環境の構築で、ユニコーン以上を誕生させてみたいと思ったのが発端ではありました。それで、ネット環境でクラスタ開発を成功させるための、 kubernetesにたどり着いた訳であります。 クラスタ開発がどの程度までいけるのか、自分では、まだよくわからないのですが、仮想環境マネージャーのところまでは行けました。この後がどうなるか次第ではあると考えるわけですが、 開発も仮想環境の時代のようです。 今日は…
Karpenter導入によるメリットとデメリットと躓いた点 こんにちは。SREグループの蜂須賀です。 弊社ではEKSを利用しており、これまでノードのオートスケールにはCluster Autoscaler(CA)を利用していました。 2024年6月頃にCAからKarpenterに移行したので、Karpenter導入によるメリットとデメリット、躓いた点を紹介します。 (Karpenterのバージョンはv0.37になります) karpenter.sh Karpenter導入によるメリット ノードの起動速度が速い CAでは、Amazon EC2 Auto Scalingグループを経由してノードのスケー…
投稿時はSRE船のPlatform Orchestrationヨット(a.k.a みちびき)で内定者インターンをしているpokoです。 私はkubernetesとお友達になりたいので、私は正座しながらKubernetes ドキュメントを読む時間を毎週設けています。 なんの記事？ 記事投稿時、kubernetesのバージョンは1.30です kubernetesでPodをスケジュールする際に利用できるTaint and Tolerationsの仕組みと挙動を説明しています。 最終的には「ドキュメントをお読みください。」に行き着くのですが、少し噛み砕いた説明を意識しています。 あなたはこの記事を読む…
この記事は、CYBOZU SUMMER BLOG FES '24（クラウド基盤本部 Stage）DAY 16 の記事です。 こんにちは、Cloud Platformチームの竹村です。 私たちのチームでは、Necoと呼ばれるKubernetes基盤の開発や運用をしています。 このブログ記事では、大量の通信を行うアプリケーションをKubernetes上で運用する際に発生したネットワーク通信経路の障害に関してお話しします。 障害の概要 Kubernetes基盤を利用するチームから、クラスタ内のDNSサーバで性能問題が発生しているとの相談を受け、調査を開始しました。具体的には以下のような事象が起きてい…
現象 Karpenter をインストールする際に Pod Identity を使うように設定したが、何故か Karpenter Controller が Worker Node の IAM ロールを使って、EC2NodeClass で Failed to resolve AMIs エラーが発生していた。 原因 terraform-aws-modules を使って Karpenter の設定をしていたが、namespace が未指定だったので Service Account などは namespace kube-system に作成されていた。 helm_release モジュールを使って Ka…
こんにちは。SRE/データストアチーム の飯塚です。 私たちのチームでは自社製の Kubernetes Operator である MOCO を用いて 800 インスタンス近くの MySQL を Kubernetes 上にデプロイしており、すでに cybozu.com のかなりの割合のお客様のワークロードを処理しています。MySQL on Kubernetes の経緯や苦労についてはまた別の機会にお話しさせていただくとして、今回は大量の MySQL を Kubernetes にデプロイする際に Jsonnet のハッシュ関数を活用している話をさせてください。 この記事は、CYBOZU SUMME…
やりたいこと 自宅にkubernetesクラスタを作りたい 作った後のことは作った後に考える 構成 クラスタ: VM2台（ControlPlane1台、Worker1台） OS: Ubuntu 22.04 記事作成時点で最新は24.04だけど理由あって22.04を使用している kubernetes: v1.30.3 NW 自宅NW: 192.168.11.0/24 ControlPlaneノード: 192.168.11.110 Workerノード: 192.168.11.115 PodNetworkCidr: 172.244.0.0/16 kubeadm init実行時に指定 クラスタ環境のセ…
こんにちは、研究開発部Architectグループ ML Platformチームの藤岡です。今回はKubernetes上に負荷試験基盤を構築したので、その取り組みについて紹介しようと思います。 目次 目次 背景 負荷試験基盤の要件 負荷試験ツールの選定 負荷試験基盤のシステム概要 シナリオファイルの管理方法 Kubernetes operator pattern の利用 GitHub Actionsの共通化 Slack通知用のAPIを用意 負荷試験の導入 負荷試験シナリオの詳細 負荷試験の実行 負荷試験の結果 おわりに
※この記事の文章はすべて、暗黙的な「たぶん」を含みます。 CNI_ARGS についての疑問 CNI プラグインが実行されるとき、以下のパラメーターが渡されます。 CNI_COMMAND: ADD、DELETE など Operation を表す CNI_CONTAINERID: Container ID CNI_NETNS: Network Namespace のパス CNI_IFNAME: ネットワークインターフェース名 CNI_ARGS: 任意の Key-Value 引数 ここで、Kubernetes 経由で CNI プラグインが呼ばれるとき、CNI_ARGSには K8S_POD_NAME …
こんにちは。tubone24です。 Difyにはセルフホステッド版が存在しております。 github.com こちらをAzure Kubernetes Service (AKS)上に構築する手順についてまとめていきます。 手順の概略 本手順はdouban/charts difyを用いてDifyの動作に必要なサービス郡をAKS上に作ります。 基本的にHelmを用いて一式が立ち上がりますが、パブリックアクセスでDifyにアクセスしたいため、 パブリックアクセス用にイングレスをLoadBarancerタイプに紐づける形で新規作成する手順が追加されております。 事前準備 開発環境整備 Macなどのロー…
こんにちは。税理士ドットコム事業部の @komtaki です。 先日、税理士ドットコムの local 環境に「クラウドネイティブ時代のリバースプロキシ」Traefikを導入しました。プロキシサーバーの候補として最初に思いついたのは nginx でしたが、最終的には、設定ファイル不要で compose.yml だけで完結する Traefik に決めました。 そこで本記事では、Docker を前提としたコンテナのラベルでの設定方法など、導入の過程で調べた Traefik を使うために必要な情報をまとめています。 なお Traefik にはロードバランサーの機能もあるのですが、ここではプロキシの機能…
Nutanix Kubernetes Platform（NKP）v2.12 の Management Cluster のダッシュボードから、Kubernetes クラスタ（Managed Cluster / Workload Cluster）を作成してみます。 今回の環境 Workload Cluster の作成 作成したクラスタへの接続
Nutanix Kubernetes Platform（NKP）v2.12 の Management Cluster の様子を、記念に残しておきます。 Management Cluster への接続 nkp コマンド kubectl コマンド Node Namespace Pod Deployment DaemonSet StatefulSet Service Ingress Storage Class PVC / PV おまけ（api-resources） このクラスタは、下記のように作成してあります。 Nutanix Kubernetes Platform（NKP）で Management…
Nutanix Kubernetes Platform（NKP）v2.12 がリリースされたので、ためしに Nutanix CE 2.1 に Kubernetes クラスタを作成してみます。今回は、Cluster API で Kubernetes クラスタを管理する「Management Cluster」を作成してみます。 今回の内容です。 今回の環境 1. Linux マシンの用意 2. Podman のインストール 3. kubectl のインストール 4. nkp コマンドのインストール 5. Kubernetes ノード用ディスク イメージの登録 6. ネットワークの作成 7. Kub…
【注意】 この記事の記載が投稿時点（2024年9月15日）の内容によるため、記載情報が古い場合があります。最新情報についてはGoogle Cloud 公式ホームページをご参照ください 記載内容について誤りがある場合、コメントにてご指摘いただけますと幸いです。 初めまして、某大手SIer企業でクラウドSEとして対応しています。 Google Cloudって名前が似ているサービスが多くて混乱しますよね。 そんなことから何となくレベルでも違いのわかる方を増やすべく投稿してみたいと思いました。 今回は「Workload Identity 連携」と「Workforce Identity 連携」の違いです…
Kubernetesクラスタにおけるデータストアとしてetcdがある。 Kubernets The Hard Wayでetcdのセットアップを行ったので、その設定詳細について確認する。 また、Kubernetesにおける etcdクラスタについては以下のドキュメントが参考になる。 kubernetes.io ユニットファイル etcdの起動はsystemdで管理しており、そのunitファイルがリポジトリに格納されている これらの内容は以下の通り。詳細なオプション説明については以下が参考になる。 etcd.io ところで、etcd v3.4までは To start etcd automatica…
0xf.hatenablog.com ということで、2020年の書籍を読んだんだけど、だいたい1.19の頃の本らしい。当然どんどんバージョンはあがっている。 そこで雰囲気をつかむために1.20からのchangelogを眺めていくことにする。といっても全部読むのは大変なので、まとめてくれている人の記事とかをとっかかりに眺めていく。 1.20 Kubernetes 1.20: 変更点まとめ(What's new!) #kubernetes - Qiita Qiitaの記事を眺めた。色々変わってるけど大きな構造の変化はなさそう。 PID LimitとAPI Priorityは知らなかった。Volum…
読み終わった。割とわかりやすかったような気がする。 読んだ印象、クラスタ運用をする人ではなくてマネージドk8sや、基盤チームが運用してくれる環境での利用側の人向けという感じ。各種の動作上の概念と設定の仕方についてフラットに羅列している。動作環境としてGoogle CloudのGKEを前提として書かれているが、イメージはわかった。 もう4年も前の本だ。kubernates本体のバージョンも執筆時点では 1.19 とかが最新だったぽいけど、今は 1.3.1とけっこう進んでいる。1.31はつい先日9月11日リリースである。 kubernetes.io Kubernetesプロジェクトは、最新の3つの…
はじめに macOSに仮想イメージを動作させるための環境を構築し、そこでGitLab Runnerを動作させる。 環境 OS：macOS Sequoia Lima cpu：Intelアーキテクチャ 問題、課題 macOSにDockerの環境をインスールする。Docker DesktopのようなGUIは不要で、CLIのみで動作させたいため、その方法を選択する。 今回はその環境としてLimaを選択した。 github.com Limaについて Limaは、Mac上で仮想マシン（VM）を簡単に管理できるツールで、特にLinux仮想環境のセットアップに最適化されている。 Limaは、DockerやKu…
Kubernetes The Hard Way を進めていたら、見知らぬ envsubstコマンドに遭遇した。 $ export ENCRYPTION_KEY=$(head -c 32 /dev/urandom | base64) $ envsubst < configs/encryption-config.yaml \ > encryption-config.yaml これは環境変数を展開して埋め込むコマンド。manによると substitutes environment variables in shell format stringsと説明がある。 上記の例ではconfigs/encry…
このシステムはAIで作りたい（作る）けど、作るためのマインドセット、スキルセット、スケジュールの整備が大事でありレバレッジだなとも思う。 （レバレッジに取り憑かれている） なぜなら、自動で動き続けてくれるシステムこそがレバレッジだとして、このシステムを作るには知識、スキルをベースに技術選定、設計、開発スケジュール、実装、テスト、デプロイという工程が必要で、この工程にかかる時間、成果物の質がまた重要であるからである。？ レバレッジを生むためのレバレッジ。 実際に技術選定によってその後の製作コストは何倍、何十倍あるいはそれ以上の差を生む可能性があるし、そのシステムの設計、アーキテクチャによってシス…
2024/9/6（金） にお台場で開催された Cloud Operator Days Tokyo 2024 (CODT'24) で Closing Keynote の一部を担当しました。 Cloud Operator Days Tokyo - Cloud Operator Days Tokyo 2024 主には私が業務で担当しているサイバーエージェントの 機械学習基盤 ML Platform の中にあるサービスのひとつである、分散学習を実行するためのサービス Distributed について、概要や分散基盤サービスの開発運用で出会った課題について触れました。 分散学習が利用可能な環境をユーザに…
k8s の CRB (ClusterRoleBinding) と CR (ClusterRole) の違いについて、chatgpt に聞いてみた。 Kubernetesにおいて、ClusterRoleBinding (CRB) と RoleBinding (RB) はどちらもRBAC (Role-Based Access Control) に関連するリソースで、権限をユーザーやサービスアカウントに付与するために使用されますが、適用される範囲（スコープ）が異なります。・ClusterRoleBinding はクラスター全体に権限を適用するため、クラスター全体でのアクセス制御に使います。・Role…
jaco.udcp.info
qiita.com
blog.inductor.me
blog.father.gedow.net
qiita.com
www.publickey1.jp
blog.inductor.me
ascii.jp
speakerdeck.com
