Cloud Functions

GCPのCloud Schedulerを用いて、Cloud Functionsを定期実行してみます。 また、Cloud FunctionsではデータをBigQueryにインサートする処理をPythonで書きます。 この一連の処理を応用すれば、「Pythonを用いてあるサイトからスクレイピングして得られたデータを、BigQuery内に作ったdatasetの中に格納する」という処理を毎日定期実行することもできます。便利ですよね！ 1. BigQueryに空のtableを作る 2. Cloud FunctionsでBigQueryにデータを送る処理をPythonで書く 2.1. 構成の設定 2.2.…

ちょっと利用したくなったのでKotlin 1.4のキャッチアップも兼ねて作りました。 環境は Kotlin 1.4.21 dukat 0.5.8-rc.3 Node 12 です こんな感じで任意のURLのキャプチャがSlackに投稿されるものです。 前回触った記事はこちら sakebook.hatenablog.com kotlin 1.4でどう変わった KotlinのJSの実装は package_imported/ というフォルダに展開されていました。しかしプロジェクト の package.json にその参照はされていませんでした。なので、解決のためにはnpm registryから取得して…

はじめに 一つの前の記事で、GCSからBigQueryにファイルを送るDataflowを作った。 前の記事の状態では、Dataflowは手動で起動する必要があり、自動化ができていない。 そこで本記事では、GCSへのファイル格納を契機にDataflowをキックするCloud Functionsを作成する。 GCSからBigQueryへファイルを送るところにCloud Functionsを使う（≒Dataflowを使わない）方式もあるが、この方式だと大きいサイズのファイルを送る場合にCloud Functionsの実行時間の上限に引っかかるリスクがある。 そこで今回はCloud Functions…

はじめに 署名付きURL 原因と対処 まとめ はじめに クラウドサービスなどを用いたサーバレスなアプリケーションの開発が可能となった現代において，クラウド上でスクリプトを走らせるのはもはや一般的となっている． 今回はGoogleのCloud Functionで署名付きURLを生成するのに手間がかかったので記事にする． cloud.google.com 署名付きURL 署名付きURLとはGoogle Cloud Strage (GCS)上のリソースに対して，GCSのクライアントライブラリが生成する期限付きのURLである．このURLはGoogleアカウントの有無に関わらず，URLがアクティブである…

GitHub ActionsでFirebase Hostingへデプロイできるようになったので、 試してみたときの備忘録。 HostingへデプロイするGitHub Actionsはいろいろある 以下の2つがあるっぽい。 GitHub Action for Firebase GitHub Actionでfirebase-toolsが利用できるやつ Hosting以外も使えるので、今回はこっちを利用 Deploy to Firebase Hosting Firebaseの公式で利用されているやつ firebase init hosting:githubではこれが使われる Hosting以外は対応…

概要 Firebase Cloud functionsで、Firestoreを利用している 当初は、index.jsに関数定義していた 複数関数定義する必要があったので、関数ごとにファイル分割した 1回目の関数実行時は特に問題ないが、2回目以降の呼び出し時に以下のエラーが発生 （初期化は1回にしなさいとのこと） The default Firebase app already exists. This means you called initializeApp() more than once without providing an app name as the second argum…

どうもこたにんです。 ちょっとしたslackアプリ作ったときの思考回路垂れ流し ちょっと前の話になるのですが、ちょっとしたslackアプリを作ったのです。お仕事で作ったといえば半分ホントで半分冗談なんだけど。そのときの完成までの思考回路と完成までの道のりを、書き残してみる。 イメージのじかん まず何を作りたいのかを思い描くことが大事です。今回は「誕生日を祝うbot」を作りたくなりました。作りたい理由は詳細割愛しますが、slackに活気が出ると良いなと思った。 作りたいものの完成図を考える 完成図のイメージとしてはシンプル。 「誕生日が来たらbotが勝手に祝ってくれる」 それだけ。作るにあたって…

こんにちは。SRE部の塩崎です。七味唐辛子の粉末を7種類に分類するという趣味を発展させて、おっとっとを新口動物と旧口動物に分類するという趣味を最近発明しました。 BigQueryは非常にパワフルなData WareHouse(DWH) SaaSであり、大容量のデータを一瞬で分析できます。しかし、課金額がスキャンしたデータ量に比例するという特徴があるため、意図せずに大量のデータをスキャンしてしまい大金を溶かしてしまうことを懸念する人もいます。 qiita.com そのため、課金額が大きすぎるクエリを発見した際にSlackへ通知する仕組みを作りました。GCP Organization内の全プロジェ…

第1章 Google Cloud Platform の特徴 GCPはPaaSからIaaSにすすんだプラットフォーム Google自身がGCPの大きなユーザーの一人 ライフマイグレーション 仮想マシンから物理サーバーへ移動させる技術 可溶性が高い グローバルネットワーク クラウドを利用するには提供社の歴史などを考えてみることが大事 k8sはBorgというやつ 自身がやりたいことに対しｔえあっているのか？ということを検討する必要がある。GCPは「大規模分散コンピューティング」「インフラの隠蔽、共用化」といったことをやっている分野。メリットを理解する必要があります。 第2章 コンピューティングサービ…

CPUが律速となる処理を行うのに適したサーバーレス環境を選定するために，ベンチマークなどを行いました．候補はGCPのCloud FunctionsとCloud Runです．AWSやAzureなど他のプラットフォームは検証しません． 注意事項 Cloud Functions 256 MB 400 MHz 1,024 MB 1.4 GHz 2,048 MB 2.4 GHz 4,096 MB 4.8 GHz 結果と考察 Cloud Run vCPU 1 vCPU 2 結果と考察 料金の検討 まとめ 注意事項 今回の検証結果は，みーが2021/01/10に実行した結果であり，実行する時刻やリージョンな…

モバイルアプリのクライアント側では何度も利用経験があり、タイトルの「初挑戦」は設計面のことです。 関連記事： kabochapo.hateblo.jp 昨年末に上記教材（公式の動画やドキュメント）で学び、年明けに初めて設計から取り組みました。 Vue.js の動画に出てきたリアルチャットアプリ（Firebase Realtime Database 利用）を拡張しつつ Firestore に置き換えたものです。 元はチャットルームの機能もユーザ制限もなく、送信後の絵文字の自動付加もありませんでした。 そのあたりが自分で拡張した部分です。 工夫したこと、苦労したこと リアルタイム更新 過去メッセー…

学習開始の経緯 フリーランスの仕事で大きなアプリの設計をすることになりました。 バックエンドには慣れた技術を使って良いと言われているので、もし何も気にしなくて良ければデータベースには RDB を使いたいところです。 しかし同社からいただくお仕事は基本的に Firebase 利用です。 RDB なら API サーバなど一体的な開発になり、保守できる人の確保が難しいかもしれません。 費用面では RDB は高額になる可能性があります。 そんなわけで Firestore に決めました。 目標 問題は、私自身は Firestore のモバイルアプリのクライアント側しか経験がないことです。 下記のような不…

URLが含まれるリクエストを受け付けて，そのURLにブラウザでアクセスし，描写された内容をスクリーンショットしてPNG画像を生成し，その画像をレスポンスするWebサービスを作成した時の話です． なお，このWebサービスはみーが個人的に利用するために作成したものであり，公開しておりません． Cloud Functionsで実装を試みる Chromeを自動操作するpuppeteerというNodeライブラリーを使うことにしました．page.screenshot([options])関数があり，簡単に目的のWebサービスが作れそうだからです． Node.jsが実行可能なサーバーレス環境として，Clou…

ひょんなことからタイトルにあるようなことをやってみたので、その作業ログを残しておきます。 *作業ログを残すのは途中でなにか煮詰まったときに思考を客観視できたり、後々役に立つことがあるので習慣にしています。 やりたいこと Markdownで書いているドキュメント（GitHubで管理している）をWebで見れるようにしたい 不特定多数に公開するものではないので、簡易的な認証も欲しい 無料で試したい Markdownで書いているドキュメントをWebで見れるようにするためにHonKitを使うことはすぐに決められたのですが、認証をかけるためにどこにホスティングするかちょっと迷いました。 はじめはHerok…

Firebaseの続きです。前回はアプリを追加してFirebase CLIでFirebase Hostingにデプロイしました。今回はRealtime Databaseを設定してブラウザから直接CRUDしてみます。Firebaseドキュメントが膨大で自分的には結構難産でした。内容はいつもDB事始めでやっているビートルズメンバーCRUDですw それではいきましょう！