Kubernetesは、コンテナ化されたアプリケーションの展開、スケーリング、および管理を自動化するためのオープンソースシステムである。
こんにちは！ACS事業部の谷合です。 皆大好きGitHub Actionsにおける、GitHub社公式のSelf-hosted runnerであるActions Runner Controller(以降ARC)の紹介をシリーズでお送りしております。 前回前々回は以下の記事を書いておりました。 Actions Runner Controller Deep Dive！- アーキテクチャ編 - - APC 技術ブログ Actions Runner Controller Deep Dive！- 動作解説編 - - APC 技術ブログ 今回はARCのコードを解説していきたいと思います。 なお、解説は長く…
Raspberry Piを買っておうちKubernetesクラスタを作る おうちKubernetesにSealedSecretsを入れる Raspberry Piの固定IP割当をルーターから指定する おうちKubernetesのcontrolplaneを3台に増やす おうちKubernetesにLonghornを入れる <- イマココ Nodeとなるマシンを一つ増やした． ChuwiのLarkBox X2023．N100のCPUがほしいなーと思っていたんだけど，N100のMiniPCでDDR5メモリで500GB程度のSSDがあるものを探したら，これに落ち着いた． メモリが12GBと，8GBでも…
イベント盛りだくさんだった夏がぼちぼち終わります。とはいえ秋もいろんなカンファレンスや勉強会が開かれるのでまだまだ気が抜けないと思っている @cw-furuya です。 ということでこのたび、MIXIさんに全面的にご協力いただき、EKSとAuroraの知見をシェアする勉強会を開催しました。 mixi.connpass.com その中で「ACKを活用して使い捨てAWS検証環境を構築している話」というタイトルでお話させていただきました。 発表資料もありますので、そちらを見ていただきつつ載せきれなかった具体例などをこちらに残します。
Azure上のKubernetesにkafkaを入れてみます。 Kafka Kafkaについては、素晴らしいサイトがいくつもあるので、そちらを見ていただいたほうがいいと思います。 個人的にはちょっと前のブログですが、以下のサイトを元に勉強をさせていただきました。 qiita.com qiita.com kafka導入 AKS上にkafkaを入れる方法ですが、今回はhelmを使ってbitnamiにあるkafkaをインストールしようと思います。 まずは以下のブログに書いた方法でCLIでAKSに接続します。 gokigenmaru.hatenablog.comここでhelmを使ってインストールするの…
このページは備忘録です。 たまにアップデートされていくと思います。 podの情報が見たい $ kubectl get pods $ kubectl get pods -A $ kubectl get pod -o wide nodeの情報が見たい $ kubectl get nodes nodeの名前とAZの情報が見たい $ kubectl describe nodes | grep -e "Name:" -e "topology.kubernetes.io/zone" Pod作りたい $ kubectl apply -n demo-nginx -f nginx-deployment.yaml…
こんにちは、はじめまして。 グローバル向けAWS版kintoneのバックエンドエンジニアをしている齋藤 ( K.Saito (@SightSeekerTw) / X ) です。 突然ですが、Kubernetes にWebアプリケーションのコンテナをデプロイするために Deployment を作成し、 Deployment によってデプロイされた Pod に Service を経由してリクエストを転送していることが多いと思います。 Deployment のローリングアップデート (strategy type が RollingUpdate) により更新を行った際には紐づく ReplicaSet …
こんにちは！ACS事業部の谷合です。 皆大好きGitHub Actionsにおける、GitHub社公式のSelf-hosted runnerであるActions Runner Controller(以降ARC)の紹介をシリーズでお送りしております。 前回は、アーキテクチャをご紹介しました。 techblog.ap-com.co.jp 今回は、動作解説編ということで、インストールおよび基本動作、各種機能をご紹介します。 前提条件 ARCインストール 動作確認 各種機能紹介 Runnerの最大、最小数設定 設定 動作確認 ARCでの、Workflow内Containerの使用 Docker-in-…
LinuCエヴァンジェリスト・Open Source Summit Japan 2022ボランティアリーダーの鯨井貴博@opensourcetechです。 はじめに 今回は、kubernetesノードにおけるリソース(CPU/メモリー)不足に関するトピックです。 リソース不足になった場合 Podなどのデプロイでエラーが発生します。 例えば、CPUリソースが不足の場合以下のようなメッセージが出ます。 Warning FailedScheduling 11s (x3 over 5m18s) default-scheduler 0/2 nodes are available: 1 Insuffici…
AKSの作成、kubectlのインストールが出来たので、実際にAKS内のKubernetesに入ってみます。 Kubernetes Clusterに入る まずはAKSのkubeconfig定義を取得します。 今回はadminの資格を取得するようにします。AKSクラスターの情報を取得 これで今あるAKSがリストで取得できます。 $ az aks list -o table Name Location ResourceGroup KubernetesVersion ProvisioningState Fqdn -------------- ---------- ------------------…
kubernetesのリソースをコマンドでいじるにはkubectlが必要です。 簡単ですが、kubectlをインストールしたときのメモ。 kubectl kubectlはkubernetesに対してコマンド実行が出来るツールで、デプロイしたり情報収集したりするときに使います。 kubectlのインストール 環境によって違いますが、自分はWSLにkubectlをインストールするのでLinux用のインストール手順にしたがいました。 kubernetes.ioこのページに記載されている通り実行すればいいのですが、頭から読んでいくと普通にバイナリをcurlでダウンロードしてインストールする手順になりま…
2023年4月に新卒エンジニアとしてデータサイエンス部MediaMLチームに配属された大城（k.oshiro）です。 普段はauサービスTodayアプリの記事配信システムの開発を行っています。 本記事は、新卒エンジニアとして入社後にやってきたことを簡単にまとめたものです。 新卒研修 1日のスケジュール OJT auサービスTodayについて 実装 A/Bテスト 振り返り 終わりに 新卒研修 Gunosyの新卒研修は、新卒全体に対して実施される全体研修と、エンジニアのみを対象にしたエンジニア研修の2つがあります。 全体研修では、各事業部についてメンバーや業務内容の紹介、セキュリティやコンプライア…
はじめに こんにちは、SRE部 検索基盤SREブロックの花房と大澤です。普段はZOZOTOWNの検索関連マイクロサービスのインフラ運用を担当しています。 ZOZOTOWNの検索基盤では、商品検索に関わる大規模なデータを取り扱うためにElasticsearchを利用しています。Elasticsearchを運用していく中で、私たちはパフォーマンスとインフラコスト、運用トイルの問題に直面していました。本記事では、私たちが抱えていた問題と、それを解決したアプローチとしてシャーディング最適化とオートスケーラー開発の取り組みについてご紹介します。
コードからAKSにアクセスするために、サービスプリンシパルを活用 サービスプリンシパルにリソースのアクセス権を付与して、シークレットを作成Service Principal - Azure Kubelogin アプリケーションの定義 - ひびきSm@rtDB_Ver.4.4_Office365連携設定ガイド Edition 2AKS マネージド Azure Active Directory 統合 - Azure Kubernetes Service | Microsoft LearnThanks!hiromatsu.hatenablog.com
はじめに こんにちは、ECプラットフォーム部会員基盤ブロックのturbofishです。弊社ではモノリスのプログラムで動いているZOZOTOWNをマイクロサービス化する取り組みを行なっており、複数チームが1つの大きなオンプレシステムをマイクロサービスでリプレイスしています。その中で私が所属する会員基盤ブロックでは、ZOZOTOWNの会員情報を管理するマイクロサービスを開発しています。 本記事では、弊チームを含む複数のマイクロサービス開発チームにおいて、既存のアプリケーションの一部をマイクロサービスを使用する処理に置き換えた際、サービス無停止でオンプレ環境にあるDBからマイクロサービスが使用するク…
自己紹介 はじめに 使用ツール 1. Kubernetes 2.Helm 3.Terraform 4. AWS関連 Amazon EKS Amazon VPC Amazon RDS チャットアプリデプロイの流れ stage0: IT研修終了時のチャットアプリの構成 stage1: chatappのコンテナ化と環境変数を設定 stage2: chatappとデータベースサーバーをKubernetesでコントロール initContainerの導入 stage3: chatappのmanifestをHelmでtemplate化 stage4: chatappのコンテナイメージをGitLabコンテナ…
Google Cloud の GKE (Google Kubernetes Engine) では、Calico と Dataplane V2 という 2 つのネットワーク制御の仕組みが提供されています。 どちらも Kubernetes NetworkPolicy を利用できるようになっていますが、Calico は iptables を利用してルーティングを制御する一方、Dataplane V2 は Cilium をベースとして eBPF によってルーティングを制御します。 今回は、Calico から GKE Dataplane V2 への移行を考えるにあたって、NetworkPolicy 関連…
はじめに 初めましてこんにちは。 ngerukatakataです。 営業上がりの未経験エンジニアとしてそこそこの期間を働いております。 最近AWSEKS環境なんてものを触り始めました。 k8s環境に触れるのも初めてなうえに、AWSもそんなに触ったことない人間なので四苦八苦としています。 簡単な面もあればどうしたら実現できるんだ！なんて面にもぶつかったり… 皆さんもk8sに触れるときには同じような苦しみを感じたんじゃないかなぁって思います。 さて、今回は苦労したものの一つAWS_EKSの『メトリクス監視』についてお話しさせていただければと思います。 今回お話しするメトリクス監視ツールは ADOT…
【やったこと】 コンテナ入門チュートリアル Webアプリを起動してみる ※CKA（Certified Kubernetes Administrator）の試験の勉強の一環 【アウトプット】 URL（入口）：https://www.docker.com/play-with-docker/ ①チュートリアルマニュアルURL： https://docs.docker.com/get-started/02_our_app/ ②Web版CLIURL： https://labs.play-with-docker.com/ ※dockerアカウント必要 上記②をCLIを開いて、①の通りにコマンドを入力及びD…
はてなブログ独自の集計による人気記事のランキング。9月17日（日）から9月23日（土）〔2023年9月第4週〕のトップ30です*1。 # タイトル／著者とブックマーク 1 「それならやめましょう」と言ってくれた店員さんとの話 - インターネットの備忘録 by id:hase0831 2 著名経済学者が紹介しない、金融機関が儲からない&投資残高が激増している金融商品 - 斗比主閲子の姑日記 by id:topisyu 3 NURO光に申し込んだら4ヶ月弱待たされた挙げ句解約しろと言われた件 - Yebisu303’s diary by id:Yebisu303 4 ピケティ『資本とイデオロギー』…
こんにちは、エムスリー人事の我如古（がねこ）です。 ばんくしさんことVPoE河合さん(@vaaaaanquish)より、2023年夏のインターン開始宣言をして早いもので2ヶ月がたちました。今年の夏は暑い夏でしたね。皆さんはアツい夏のインターン体験ができたでしょうか？ エムスリーでは秋冬のインターンも募集しますので、ご案内させていただきます。 （実はタイトルの通り常に募集しているため、むしろいつでもウェルカムだったりします！） 秋の写真です（東大本郷キャンパス、安田講堂前のイチョウ並木） エムスリー秋冬のインターン エムスリーでは“夏のインターン”の宣言後、続々とインターン希望される方が集まりま…
ランニング ランチ ディナー KCNA-JP に合格した ランニング PayPay ドームリレーマラソンで走る。 ランチ PayPay ドームリレーマラソンの打ち上げで西新の「焼売酒場 いしい」で頂く。 tabelog.com ハッピーアワーでアルコール類が 350 円という破格の値段ということでほぼ満席。焼売もさることながらサイドメニューも充実していて良かった。ただ、ハッピーアワーが過ぎると蜘蛛の子を散らすように客がいなくなってしまうのは少し寂しさを感じた (我々もその蜘蛛の子だったけどw 美味しゅうございました。 ディナー 女将のお惣菜で打ち上げ二次会。西新から走って帰ってきたことで喉も乾…
Kubernetes には Restart Policy や Probe という設定や仕組みがある。 これらを適切に使うことで、コンテナが意図した通りに動いているのか、再起動させる必要はないのか、といったことを Kubernetes が継続的にチェックしてくれるようになる。そしてそれだけではなく、チェックした結果に応じて必要な対応も行ってくれるようになる。 開発者は用意した設定を Kubernetes に伝えればよく、そうすればあとは Kubernetes が自律的にコンテナを管理してくれる。 この記事では、Restart Policy や Probe をどのように設定すればよいのか、そしてそ…
ランニング ランチ ディナー KCNA-JP を受験した ランニング 明日のリレーマラソンで履く予定のマジックスピード2で走ってみたけど、5 分/Km くらいで走っているとなんだかギクシャクしてしまう。4'30"/Km くらいからしっくり走れるようになる (あくまでも個人の感覚です) ランチ 遅めのランチはいつもの「さしす」で。今日は「うなきゅう巻き」を新たに食べたけど美味しゅうございました。 ディナー 昨晩の「女将のハンバーグ」でロコモコ丼を頂く予定。ただ、その女将がお昼寝から起きてこない。。。 KCNA-JP を受験した training.linuxfoundation.org 勉強の教材…
先日 BackstageのPluginとして Search extension for Azure Cognitive Search を公開いたしました。 www.ap-com.co.jp www.npmjs.com Backstageの 公式 Plugin Marketplace にも掲載頂いております。 Backstageとは Backstage はもともとSpotifyが開発し、2020年にCNCFに寄贈した Internal Developer PortalのOSSです。 開発チームが開発を進める際、本当に様々なツールにアクセスして情報を参照しています。コードリポジトリはもちろんですが…
こんにちは。サマーインターンシップ2023のKubernetes基盤開発コースに参加した、高橋 (TAK848) と花田 (hanapedia) です。 Necoチーム では現在コンテナレジストリの可用性を高めるため、コンテナレジストリミラーをクラスタ内にデプロイしています。 しかし、クラスタが数百台程度まで大きくなり、レジストリミラーからコンテナイメージを同時に大量にPullするようになりました。 そのため、イメージの取得に数十分もの時間がかかってしまう問題が起きました。 この問題に対処するため、Spegel というステートレスなレジストリミラーの動作検証を行い、PodのイメージのPullの…
jaco.udcp.info
qiita.com
blog.inductor.me
blog.father.gedow.net
qiita.com
www.publickey1.jp
ascii.jp
blog.inductor.me
cybozu.github.io
