gcloud

VM インスタンスへファイルアップロードするのに、ssh key を作成したり FW ポート開けたりめんどい。 いろいろ試した結果 Cloud ソースリポジトリと gcloud を使うのが一番楽だと結論。 すぐやり方を忘れてしまうので、備忘録として残しておく。 cloud.google.com やりたいこと ローカルで開発した Python コードを GCP Cloud ソースリポジトリへ push VM インスタンスでソースリポジトリから pull する 本記事での環境 ローカル開発環境側 bash-3.2$ uname -a Darwin MacBook-Pro.local 20.3.0 …

どうもはじめまして。 muryoimpl です。 前回のエントリ 食べチョクの自動テスト改善活動 〜これまでとこれから〜 で、自動テスト改善チームが発足したことを書きましたが、今回はその活動の中で実施した、RSpec による自動テストのカバレッジのデータ収集の自動化と、そのデータを利用した可視化について書きたいと思います。 これまではどう可視化していたか 食べチョクは Ruby on Rails で動いており、バックエンドの自動テストは RSpec を使って書いています。 テストカバレッジは定番の SimpleCov で計測して結果を HTML に出力し、テストケースごとの実行情報は RSpe…

Firebase StorageでCORSの設定をする必要があったのでそのメモ。AWSのS3のCORS設定は何度もやったことがあるけどFirebase Storageは初めて。 CORSが何かってのは割愛。 まず、gsutilってのをインストールする。どうやらこれ経由じゃないと設定できない模様。 gsutilってのは コマンドラインから HTTPS を使用して Cloud Storage にアクセスできる ということでFirebase Storage (ここではCloud Storageになってるが) にコマンドでアクセスするためのツールだそうだ。 このページから自分の環境にあわせてダウンロー…

こんにちは、虎の穴ラボのRHです。 今回のアドベントカレンダーは各週テーマ制となっており、自分は推しクラウドサービス紹介を担当させて頂くことになりました。自分の好きなクラウドサービスはやはりGoogle Cloud Platform(以降GCP)で、弊社サービスでも利用しており、最近は勉強する機会を頂いています。 そこで、今回はGCPで特に汎用的なシーンで利用できる、Google Cloud Shellについて紹介させて頂きます!! この記事は、虎の穴ラボ 夏のアドベントカレンダーの1日目の記事です。 2日目は、植竹さんによる「GCPの監視機能 Monitoring の推しポイント紹介」が投稿…

はじめまして、DMP (データマネジメントプラットフォーム) グループの すぎみつ です。 最近はスキルアップ手当*1で昇降デスクの購入を検討しています。電動式昇降デスクのすゝめによると自分に最適なデスクの高さは74cmでした。 さて、DMP グループでは現在 GCP のリソース管理に CDK for Terraform を利用していまして、CDK for Terraform の利用例についてご紹介します。 はじめに CDK for Terraformとは サンプルの紹介 プロジェクトの作成 実装 デプロイ 結果確認 懸念するところ おわりに はじめに DMP グループはレアジョブグループのデ…

研究開発部 Architectグループ ML PlatformチームのKAZYこと新井です。 今回はGCP App Engine(GAE)でサービスのバージョンにアクセスするとDNS_PROBE_FINISHED_NXDOMAINが出てしまった話というテーマです。

はじめに このブログの続き。主に「残課題」として記載した内容の対応状況について。

サマリ local で Composer 向けの DAG 開発をしたい BigQuery Operator ぐらいはちゃんとうごいてほしい Airflow 2.1.x Python 3.8 ほんとはリポジトリつくってそれ pull してねってすれば親切なんだろうけど面倒くさいので個人のブログに書きなぐっている ファイル ディレクトリ構成 . ├── Dockerfile ├── credentials │ └── credential.json ├── dags │ └── hello.py ├── docker-compose.yaml ├── .env ├── logs └── plugi…

zenn.dev こちらの記事みたいに gcloud auth print-identity-token で取りたかったが上手く出来なかったので上手く出来るようにやってみた。 どう失敗した？ $ gcloud auth print-identity-token foo@bar.iam.gserviceaccount.com --audiences="hoge.apps.googleusercontent.com" ERROR: (gcloud.auth.print-identity-token) Your current active account [XXX] does not have a…

G-gen の杉村です。 Python のライブラリである pandas (パンダス) は、データ分析に用いられるツールとして有名です。 当記事では BigQuery から取得したデータを pandas で操作する方法をご紹介します。ごく基本的な内容ですが、コーディング時のメモとして、また Python による BigQuery データを扱う際の練習等にご利用ください。 基本編では簡単なテストデータを使いながら、 SQL での SELECT や 集計関数 + GROUP BY に相当する操作を確認します。 環境準備 gcloud コマンド python および関連ライブラリ テストデータの準備…

gcloud CLI にカレントプロジェクトをなるべく持たせないようにして暮らしている。 gcloud はデフォルトでカレントプロジェクトのリソースを操作する。操作するプロジェクトが 1 つなら良いけど、仕事でも遊びでもいくつもの GCP プロジェクトを扱っているので、うっかり異なるプロジェクトのリソースを操作してしまったり、意図しないプロジェクトに費用が計上されてしまうのが嫌だから。 カレントプロジェクトは設定しないようにして、gcloud を使う時は都度 --project=PROJECT_ID で渡すようにしている。 # カレントプロジェクトを確認するには以下のコマンドなど $ gclo…

概要 memoirのサーバーではGAEを使用していたが、以下を考慮してCloud Runに移行したので記事にしました。 GAE/GOだと現状 1.16までしかサポートしていないので1.18以降の機能が使用できない memoirのサービスのアクセス傾向だとApp EngineのよりCloud Runのような課金タイプの方が運用コストが下がりそう PR github.com Cloud Runとは cloud.google.com コンテナを直接実行できるマネージド コンピューティング プラットフォームで、スケーリングも自動で行ってくれる。 実装 デプロイするまで Cloud Runでは以下の2つ…