GKE

Kubernetes v1.22 では結構多くのAPIが廃止1され、慎重なアップグレードが求められる。 その補助として、最近出たGKEの新機能 Deprecation Insights を使うと便利だ。 v1.21 等のGKE clusterで廃止予定のAPIが使われていないかチェックしてくれる。 あるGKEクラスターで確認してみると、Argo CD controller から2種類の廃止予定APIが呼ばれていることが判明した。 /apis/extensions/v1beta1/ingresses /apis/apiextensions.k8s.io/v1beta1/customresourc…

こんにちは。EC基盤グループの宮口（@smiyaguchi）と池田（@progrhyme）です。 モノタロウではKubernetesのマネージドサービスであるGoogle Kubernetes Engine（以下、GKE）を利用しています。 このKubernetesですがとても便利な反面、管理が大変で開発者がアプリケーションの開発とKubernetesの運用を同時に行うのは負荷が高くなりあまり好ましくありません。 そこでモノタロウでは開発と運用を分離できるように、社内でGKE共通環境と呼んでいるマルチテナント方式のクラスタによるアプリケーションの実行基盤を構築しました。 今回はその紹介をします…

GCP の継続的デリバリのための新しいサービスとして、Google Cloud Deploy (以下、Cloud Deploy) が登場しました。 どんなものか触ってみました。 Google Cloud Deploy とは デリバリパイプラインからマニフェストのレンダリング (YAML の生成) を分離することで、よりシンプルに継続的デリバリを実現するためのマネージドサービス、と理解しています。 マニフェストのレンダリングとデプロイには Skaffold が使用されています。 この記事の執筆時点 (2021年9月27日) では Preview のサービスとなっています。 Google Clou…

Google Kubernetes Engine (GKE) とpythonの分散処並列理ライブラリRayで安価に大規模分散並列強化学習（Ape-Xアーキテクチャ）の実行環境をつくるチュートリアルです。GKEのプリエンプティブルインスタンスを活用することで、総リソース 128 vCPU, NVIDIA Tesla P4 x1, 256 GB memory のクラスタがざっくり150-200 円/時間になります。（2021年8月時点） はじめに 分散並列強化学習のメリット Ape-X アーキテクチャ なぜGKEを使うか？ プリエンプティブルVMが格安 Autoscalingがお手軽 なぜRayを…

はじめに 444エンジニアの久保田です。 当社サービスのTechFULのバックエンドにGKEを使っています。GKEはGoogleさんがよろしくやってくれているのでk8sをよく知らなくても使い始められてしまいます。とてもありがたいのですが、ちょっとした試験するにいちいちクラウドにデプロイとかしたくないので、ローカルにk8sの試験環境を作ることにしました。ローカルでk8sを構築する簡易な手段としてminikubeやmicrok8sがあります。 わたしは普段Ubuntuを使っているので、今回はubuntu20.04でminikubeを構築します。 VirtualBoxのインストール minikube…

こんにちは。仙台オフィスの阿部です。 はじめに 弊社では、GCPを始めとしていくつかのパブリッククラウドサービスを利用しています。そのため、要件によってはパブリッククラウドサービス間での通信が必要となります。 今回の内容は、GCPのGKEのPodから他クラウドサービスへの通信が出来ずにハマった話とその解決方法です。内容的に真新しい内容ではありませんが、このブログが誰かの目に止まって少しでも役に立ってくれたら幸いです。 事象 繰り返しになりますが、GKEのPodから他パブリックサービスに設置しているDBサーバに接続出来ませんでした。 以下の状態だったといえます。 接続NG GCPに構築したVPC…

こんにちは。 エムスリーエンジニアリンググループ AI・機械学習チーム 堀江です。 弊チームでは、YAMLの設定に従って自動でモデルの学習 & 推論 & 評価まで行ってくれるようなMLパイプラインのプロダクトをGKE上に構築して運用しています。 MLパイプラインにより、パラメータを変えた実験を並列に大量に行うことが可能になっており、多いときには同時に数十Jobが走っていたりします。 そのような運用をしていると問題になるのが完了した (失敗を含む) Jobの後片付けです。 ttlSecondsAfterFinished 実はkubernetesには完了したJobのcleanup機能が備わっていま…

全般 BigQuery データ取り込み クエリ Routine セッション 外部データソースへのクエリ テーブルスキーマ ネスト（STRUCT）され、且つ繰り返しフィールド（ARRAY）のあるスキーマ 検索インデックス BigQuery BI Engine BigQuery Migration Service BigQuery Data Transfer Service データの暗号化・マスキング BigQuery ML アクセス制御 管理 Cloud SQL インスタンス・構成 管理 アクセス制御 Database Migration Service Cloud Bigtable アーキテク…

こんにちは！vivitの技術開発部マネジャーの井島です。 開発部ではマイクロサービスアーキテクチャを採用しており、そのアーキテクチャの考え方について話したいと思います。 この分野は個人的に好きで、一生話してられます笑 はじめに 一般的な「マイクロサービス」の知識は知っている前提で、それをどれだけ自分たちの組織向けにアレンジできるかが、肝になると私は考えています。 マイクロサービスは会社の組織構造に密接に関係します。 ビジネス側の組織構造、開発側の組織構造、プロダクト、事業方針、技術方針、採用方針、（経営方針）など。 会社として最終的にアウトプットを最大化していかなければならない状況下で、どれだ…

特にget-credentials kubectlの公式を見てもGKEとの関連付けは載っていないので、、、 gcloud auth configure-docker: gcloud CLI を Docker 認証ヘルパーとして登録します。 gcloud container clusters create: GKE コンテナを実行するためのクラスタを作成します。 gcloud container clusters list: GKE コンテナを実行するためのクラスタを一覧表示します。 gcloud container clusters get-credentials: kubeconfig を更…

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 GKE は Google Cloud の強みとして紹介されることの多いサービスです。 Kubenetes のマネージドサービスである GKE を理解するには、先ずは Kubenetes の理解が必要です。 GKE の優れた点を理解するための調査の一環として Kubenetes について調査することにしました。 G-gen の佐々木です。当記事では、オープンソースのコンテナオーケストレーションツールである Kubernetes の基本を解説します。 Google Cloud における…

はじめに EXNOA プラットフォームインフラ部の角です。 私達の組織では、PCやスマートフォンなど複数デバイスでオンラインゲームやダウンロードゲームを遊べる、登録ユーザー3,100万人超のプラットフォーム「DMM GAMES」で利用しているサーバの構築と運用を行っています。 このプラットフォームは10年以上運営されており、一部のサーバはクラウドへ移行されていますが、オンプレミスの仮想サーバや物理サーバで運用しているものもあります。 今回は、2年ほど前から運用しているオンプレミス環境のDocker Swarmの運用について、Go製のGraphQLサーバを安全にローリングアップデートしている方法…

やること Hello World アプリを作成 Cloud Build を使用して、アプリをコンテナイメージにパッケージ化 Google Kubernetes Engine（GKE）でクラスタを作成 コンテナ イメージをクラスタにデプロイ YAMLの設定をデプロイ cloud.google.com

年末の休みを利用して「図解即戦力仮想化&コンテナがこれ 1 冊でしっかりわかる教科書」を読んだので、感想を書きたいと思います。 図解即戦力 仮想化&コンテナがこれ1冊でしっかりわかる教科書作者:五十嵐 貴之,薄田 達哉技術評論社Amazon 目次 １章 仮想化の基礎知識 ２章 仮想化のしくみと技術 ３章 コンテナ技術の基礎知識 ４章 コンテナ型仮想化ソフトウェア「Docker」 ５章 コンテナオーケストレーションツール「Kubernetes」 ６章 クラウドのコンテナサービス 感想 仮想化とは何よ 仮想化とは何か？ というところの１章から始まり、仮想化を実現するための技術や仮想化がどのような技…

いつもGKEでやっていたのだけど、おうちで好き勝手に動かせるクラスタが欲しいと思い、構築 元々勤務している学校のサーバー室に、こっそりk8sクラスタとして仕掛けていたのだが、回収して自宅で再度構築し直した その時に、様々つまづいたので、備忘録として OSのインストール OSはUbuntu 22.04 LTSを使用 Raspbery Pi Imagerを使用したところ、このようなメッセージが 「検証に失敗しているだけで、動かせはするやろ」と思ったのだが、動かず ラズパイのACTランプが4回点滅を繰り返しているので、調べてみたところ 緑色のACTライトが4回点滅する場合は、コード「start.el…

アウトプット ゲームのリリース ブログ記事 登壇 技術書展12 への寄稿 OSS 資格 触った技術/サービスの振り返り Cloud Build GitHub Actions Terragrunt Ethereum / Solidity ArgoCD External Secret Operator Monobit Cloud Armor Spanner Agones Locust & boomer & 性能試験 Go Gateway API Flutter Recursion Node.js / Typescript Phaser3.js / colyseus.js Vercel 振り返り ア…

この記事はKogakuin Univ Advent Calendar 2022 - Adventarの22日目の記事です。 adventar.org お久しぶりです、yudegakiです。 K学院を卒業した身ではありますが、枠が空いてそうだったので参加させてもらいました！ 今回はE.G.G.というプログラムでPCA(Professional Cloud Architected)を取得してきたのでその話をします。(追記予定) E.G.G.とは E.G.G.(Expert of GCP for Gaming)はゲーム業界で働くエンジニア向けのGCP学習プログラムです。会社で参加者を募集していたため…

この記事はGMOペパボエンジニアカレンダーの12/20の記事です。7日遅れです。ほんとごめんなさい。 こんにちは。技術部プラットフォームグループのshibatchです。私は2022年に入ってからSUZURIのプラットフォーム改善─とりわけK8sとAWS周りの改善に取り組んできました。そういえば自分の成果について一年を通した振り返りはしてないなぁ、と気づいたので、この機会にSUZURIのK8s環境の何をどう改善していったかをアウトプットする試みをします。 結論だけを言うと K8s環境でコスト周りの改善、認知負荷を減らす改善を続けていました かんたんに環境を説明 振り返りの前に、まずSUZURIに…

ツイート Kimihiko Kitase [emoji:4B0] @kkitase 大規模配信システムには、Google Kubernetes Engine (GKE) を活用したマイクロサービス が使われてると！ 数字で振り返る「ABEMA」の「FIFA ワールドカップ カタール 2022」 | 株式会社サイ… https://twitter.com/i/web/status/1606821231797628928 10:16 日立製作所 @Hitachi_Japan 1000チーム以上が参加したデータ解析の世界大会 #Kaggle Days Championshipで３位🥉に輝いた日立のデ…