GCP

はじめに こんにちは！BFT名古屋支店の松野です。 今回はお仕事でAWS、Azure、GCPの3サービスに関して、サーバーレスアーキテクチャを中心に調べものをしたので、そのことをまとめていこうと思います！！ それではよろしくお願いします！！ 3大クラウドサービス まずは今回まとめたクラウドサービスのシェア率を見てみましょう。 2020年第3期のシェア率は以下の通り。 サービス名 シェア率 Amazon Web Services（AWS） 32% Microsoft Azure 19% Google Cloud 7% シェア率は以下の記事から引用 www.canalys.com こうしてみるとA…

Terraform と GCP に同時入門していくにあたって、この前 AWS でつくったリソースと、だいたい同じものをつくってみることにしました (Deployment Manager は、いまのところ利用予定なしのためスキップ) 実装 AWS GCP 感想 Terraform (これまでのところ)書きやすくて読みやすい ロールバックされないのがつらい Cloud Functions 用途が思っていたより限定的だと感じた 依存ライブラリは Function ごとに指定する Cloud Storage Trigger はバケットレベルで指定する おわりに 参考 実装 GitHub に置いてありま…

はじめに 私のサービスではデータベースにMySQLを使用しており、CloudSQLで運用しています。CloudSQLには障害時に素早く復旧するために高可用性構成という機能を提供しています。現在はレガシー高可用性構成という古い構成で運用していますが、2021第1四半期からレガシー構成が使用できなくなるようなので、新しい高可用性構成に移行してみようと思います。また、私のサービスではインフラのリソース管理にTerraformを利用しています。そのため、一連の作業はTerraformで行います。 レガシー構成から新しい高可用性構成へ移行する 移行手順はドキュメントに記載してあります。今回はそれに則って…

Kubernetesクラスタを利用者として構築した後，Kubernetesのコンポーネントについて理解を深めるために構築してみました． zenn.dev 事前にKubernetes上の一通りのコンポーネントは次の資料で予習していました． www.shoeisha.co.jp 教材はGCPでVPCインスタンス，ネットワークルールから始まり，コンポーネントのバイナリインストールや設定，スモークテストまでやりきる内容でした． GCPもインフラ構築まで一通りチュートリアルをこなすことができ，一石二鳥な経験でした． 次はコンポーネントやネットワークの概要を解説できるレベルを目指したいところです．

2日前の記事「販促、一つ改善に取り組んでみましたが・・・」の中で課題になって先送りにした「FireBaseプロジェクト管理」の続きです。 Google先生に「使ってないプロジェクトを管理しておけ」と叱られたのですが、雑務と苦情処理に追われていた後に時間が少し出来たのと、ずっと気になったので再度整理を試行。前回で既に、FireBaseプロジェクトを消去する上で問題となっているDialogflowプロジェクトは消去していたのだが、リーエンは生き残っていたらしい。正直、このリーエンなるものはよく理解できていない。Google Cloud Platformより表記されたリンクを辿って再度削除とシャット…

GCPのCloud Schedulerを用いて、Cloud Functionsを定期実行してみます。 また、Cloud FunctionsではデータをBigQueryにインサートする処理をPythonで書きます。 この一連の処理を応用すれば、「Pythonを用いてあるサイトからスクレイピングして得られたデータを、BigQuery内に作ったdatasetの中に格納する」という処理を毎日定期実行することもできます。便利ですよね！ 1. BigQueryに空のtableを作る 2. Cloud FunctionsでBigQueryにデータを送る処理をPythonで書く 2.1. 構成の設定 2.2.…

BigQueryにローカルのCSVファイルをアップロードして、色々分析したいって時におすすめです。 1. 前提 Google Cloud プロジェクトが選択されていること BigQuery API が有効になっていること 2. BigQueryのページでデータセットを作成する まず、BigQueryのページから「データセットを作成」ボタンをクリックします。 以下のようにデータセット IDとロケーションを入力して、下にある「データセットを作成」ボタンをクリック。 これでデータセットの作成が完了です。 3. CSVファイルをアップロードする 作成したデータセットを選択し、テーブルを作成ボタンをクリ…

Cloud Loggingでは構造化ログがサポートされており、JSON形式のログを出力する事で構造化データとして読み取ってくれる。 構造化ログを出力すると、Cloud Loggingのクエリでのフィルタリングが簡単になるため、 GCP上で実行されるアプリケーションのログはCloud Loggingフレンドリーにしておきたい。 要件 Cloud Loggingのログエントリ形式に合わせる 特にseverity, message, timestampを合わせると、Cloud Logging Viewer上の表示がいい感じになる 標準出力/標準エラー出力からログを出力する Cloud Logging…

GCP（Google Cloud Platform）を個人開発プロダクトの中心として使っているマンです. AWSやAzureなど他のクラウドサービスもそうですが, クラウドサービスを自分の財布から使ってる時ってめちゃくちゃドキドキしませんか？特にお金の話💰 gigazine.net 例えばこういう記事が流れてくると, 勉強のつもりでアカウント作ったけどどうしよう🤔 仕事で使ってるけど怖くなってきた😫 などなど, 色々と不安を覚えると思います, 自分も昔はそうでした, クレカの情報入れるのこわいお💳的な. ですが安心してください. 仕組みを正しく理解して使えば個人レベルだとメチャクチャ安く収まり…

はじめに サンプルコード入手 GCP側にリポジトリを作成する ローカルからリポジトリのクローン作成〜アプリ実行 はじめに 今回は前回立ち上げたVMでアプリケーションを動かします。 サンプルコード入手 アプリケーションと言っても、hello worldという、プログラミングを学ぶと一番最初にhello worldを表示させるということとやる、アレのようなもの。 とはいえ、いきなりアプリ作れ、って言語は何で？ってことになるので、Pythonのサンプルコードで試します。GitHubから持ってきます。 Pythonのサンプルコード from GitHub git clone https://githu…

マニュアル等のドキュメント制作を担当している私は、世の中の機械翻訳エンジンの進歩を日々驚きながら観察しています。 実際に業務で使うかは別途判断するとして、「この文をこの機械翻訳エンジンに与えたら、どんな訳文が得られるのだろうか」と、試してみることもあります。 この記事では、そんなお試しの例として、Google Translation APIの「用語集」の機能を使ってみます。 aptpod Advent Calender 2020の18日目、テクニカルライターの篠崎が担当します。 （なお、この記事で扱うのは、プログラムから利用する機械翻訳ウェブAPI Google Cloud Translati…

はじめに 前回、アカウントを作って$300ドルの無料体験を始めただけだった。それから早1カ月、、、。いよいよ始動します！ 実施手順などは基本これに沿っていきます。 【GCP入門編・第3回】難しくない！ Google Compute Engine (GCE) でのインスタンス起動方法！ | 株式会社トップゲート はじめに 再びログイン インスタンスの作成〜立ち上げ ログインしてみる Cloud SDKをインストール ターミナルからのログイン nginxのインストール 追伸 再びログイン ということで、まずはログイン。最初$300から増えてる？って思ったけど、なんてことはないドル換算だから、¥30…

アクティビティ (今までの走行 (歩行) 距離) ジョギング 読書 レアジョブ 夕飯 奥さんの体調 GCP の monitoring 完全に理解した アクティビティ (今までの走行 (歩行) 距離) Fitibit Charge2 のアクティビティから走行 (歩行) 距離を Fitbit Web API で取得して Pixela で草生やしている。色が濃くなれば濃くなる程強度が高い (歩行、走行距離が長い) ということで。実装の詳細はこちら。 ジョギング 補強 (なんちゃって体幹トレーニング 4 種盛り x 3 セット) [ランニング 2021-01-18-朝] 朝ラン 〜 サムサムサム寒い …

Terraform と GCP に同時入門していくにあたって、この前 AWS でつくったリソースと、だいたい同じものをつくってみることにしました (Deployment Manager は、いまのところ利用予定なしのためスキップ) 実装 AWS GCP 感想 Terraform (これまでのところ)書きやすくて読みやすい ロールバックされないのがつらい Cloud Functions 用途が思っていたより限定的だと感じた 依存ライブラリは Function ごとに指定する Cloud Storage Trigger はバケットレベルで指定する おわりに 参考 実装 GitHub に置いてありま…

並行・並列処理の手法のパターン まず、複数のコアを使って重い処理・ブロックする処理を効率よくさばく方法につ いて、Go言語に限らない一般的な基礎知識を解説しておきます。 並行・並列処理の実現手法には、おおまかに区分すると、マルチプロセス、イベン ト駆動、マルチスレッド、ストリーミング・プロセッシングの4つのパターンがあり ます。 Goにおける並行・並列処理のパターン集 アムダールの法則によると、並列化して効率がどれだけ改善できるかはPにかかっているといえます。Pを改善するには、逐次処理をなるべく分解して、同じ粒度のシンプルなたくさんのジョブに分ける必要があります。プログラムをそのように構造化す…

あけましておめでとうございます、 id:numanuma08 です。年始に受験をしたGoogle Cloud Platformの資格試験の一つ、Professional Cloud Architectに無事合格しました。 この記事では合格に向けて個人や会社が何をしたのか説明します。 Professional Cloud Architectとは

はじめに よくAWSに触れるものです。 今回はAWSに関するものではなく、GCPに関する記事を書きたいと思います。 Kubernetesのメトリクス監視によく用いられることで頻繁に耳にするPrometheusとGrafana。 Prometheusはコンテナからデータを取得して簡易的にグラフ化する機能があります。 ですがあくまで簡易的なものなので、監視用コンソールを作成できるGrafanaをあわせて用います。 現時点であまり触れたことがないので、GKE環境にPrometheusとGrafana環境を構築する方法を備忘録として書きたいと思います。 GKE環境構築 ここを1から始めるとなると大変な…

前章に続いて「Goならわかるシステムプログラミング」の10章を写経しつつ読んだ。 ファイルの変更監視 開発言語や環境によらず、プログラムでファイルを監視する方法には、次の2種類があります。 監視したいファイルを OS 側に通知しておいて、変更があったら教えてもらう （パッシブな方式） タイマーなどで定期的にフォルダを走査し、os.Stat()などを使って変更を探 しに行く（アクティブな方式） サードパーティーのパッケージであるgopkg.in/fsnotify.v1を利用したパッシブな方式の例 package main import ( "gopkg.in/fsnotify.v1" "log"…

はじめに 私のサービスではデータベースにMySQLを使用しており、CloudSQLで運用しています。CloudSQLには障害時に素早く復旧するために高可用性構成という機能を提供しています。現在はレガシー高可用性構成という古い構成で運用していますが、2021第1四半期からレガシー構成が使用できなくなるようなので、新しい高可用性構成に移行してみようと思います。また、私のサービスではインフラのリソース管理にTerraformを利用しています。そのため、一連の作業はTerraformで行います。 レガシー構成から新しい高可用性構成へ移行する 移行手順はドキュメントに記載してあります。今回はそれに則って…

8時40分頃に起床。在宅。先週ほど冷えていない。峠超えた？ボチボチ始める。いつも通り問い合わせや作業依頼が舞い込む。ボチボチと調査しボチボチと作業していく。特に言及することがない。午前終了。 昼休憩はコンビニに散歩。確かに暖かい…3月ぐらいの気温では？ダウンが少し暑い。このまま暖かいの続いて欲しい。寒さで電力がやばい言うてるし。電力不足の話は結構複雑、と言うかスケールがデカくて記事をパッと読んだだけでは理解できなかった、のでここでも言及はできない。とりあえずヤバいということは事実らしい(小並感)。セブンでコーヒーとガルボとインスタント酸辣湯を買う。酸辣湯はノリで買ってみた。帰って早速いただいで…

Simon SteinbergerによるPixabayからの画像 こんばんは。 先日環境関連の記事を読んだので単語リストを作りました。 この記事の一番下に載せてありますので、よかったらお使いください。 元記事はこちらです。 「アフガン国内で4,000もの氷河が融解の危険にさらされる」 tolonews.com 日本で暮らしていると水があるのは当たり前みたいに思ってしまいますが、世界中で水をめぐる紛争が起きています。水は生きていく上で必要不可欠な資源です。 近年は日本も雨による水害が多いですから、他人事ではないと思って上の記事を読みました。 TOLOニュース記事によると、国際総合山岳開発センター…

どうも、むーむーです。 抱っこ紐の時間が長すぎて、もう肩こりで頭が痛いです。 しかし、こんなこと想定済みなので退院する時に偏頭痛持ちなので頭痛薬くださいと授乳中でも飲める頭痛薬を貰ってきているのだ！ しかし、授乳中でも飲めるということは、薬がきつくないということ。。。 なので、なかなか効きません(´；ω；｀) そんな中、視聴した録画のドラマ、おじさまと猫第2話です。 // おじさまと猫第2話感想ネタバレ 自己肯定感の低い人の気持ちを代弁しているかのような、最初のふくまるのセリフ。。。 今までずっと狭いところで暮らしてきたから、カゴの中で暮らす 他の家族に見られたら返してこいって言われちゃう自分…

そのまんますぎる。夢の中で社内携帯の着信音が鳴ってる音が聞こえると思ったら本当に鳴ってて飛び起きた。午前4時半。せめて6時とかにこけて欲しい。上司と連絡をとり調査。結果、緊急性はないため対応無し。二度寝する。上司に朝は時差出勤で良いよと言われたので、遠慮なく10時に出社した。それでも眠いが…。午前中は労働組合というか雑用団体というかそういう会議に出席。副会長なので。オンラインでのレクリエーションを考えるが、僕はマジで何もやりたくないとだけ発言。他にも色々話して終了。毎度まあまあ無駄な会議だなと思う。 昼は弁当。食後にちょっと公園を散歩してセブンでコーヒーとおかきを買って戻る。 昼から重めの問い…