Cloud Functions

GCPのCloud Schedulerを用いて、Cloud Functionsを定期実行してみます。 また、Cloud FunctionsではデータをBigQueryにインサートする処理をPythonで書きます。 この一連の処理を応用すれば、「Pythonを用いてあるサイトからスクレイピングして得られたデータを、BigQuery内に作ったdatasetの中に格納する」という処理を毎日定期実行することもできます。便利ですよね！ 1. BigQueryに空のtableを作る 2. Cloud FunctionsでBigQueryにデータを送る処理をPythonで書く 2.1. 構成の設定 2.2.…

ちょっと利用したくなったのでKotlin 1.4のキャッチアップも兼ねて作りました。 環境は Kotlin 1.4.21 dukat 0.5.8-rc.3 Node 12 です こんな感じで任意のURLのキャプチャがSlackに投稿されるものです。 前回触った記事はこちら sakebook.hatenablog.com kotlin 1.4でどう変わった KotlinのJSの実装は package_imported/ というフォルダに展開されていました。しかしプロジェクト の package.json にその参照はされていませんでした。なので、解決のためにはnpm registryから取得して…

はじめに 一つの前の記事で、GCSからBigQueryにファイルを送るDataflowを作った。 前の記事の状態では、Dataflowは手動で起動する必要があり、自動化ができていない。 そこで本記事では、GCSへのファイル格納を契機にDataflowをキックするCloud Functionsを作成する。 GCSからBigQueryへファイルを送るところにCloud Functionsを使う（≒Dataflowを使わない）方式もあるが、この方式だと大きいサイズのファイルを送る場合にCloud Functionsの実行時間の上限に引っかかるリスクがある。 そこで今回はCloud Functions…

はじめに 署名付きURL 原因と対処 まとめ はじめに クラウドサービスなどを用いたサーバレスなアプリケーションの開発が可能となった現代において，クラウド上でスクリプトを走らせるのはもはや一般的となっている． 今回はGoogleのCloud Functionで署名付きURLを生成するのに手間がかかったので記事にする． cloud.google.com 署名付きURL 署名付きURLとはGoogle Cloud Strage (GCS)上のリソースに対して，GCSのクライアントライブラリが生成する期限付きのURLである．このURLはGoogleアカウントの有無に関わらず，URLがアクティブである…

前置き 検証コード Gemfile app.rb ローカルでの実行結果 Cloud Functions上での動作確認結果 前置き Cloud Functionsにデプロイする時には gcloud functions deploy を使います。 そこで bundle install も自動で実行されるのだけど、その時に --without development test 的なことをやってくれるのか調べてみました。（調べた範囲では公式ドキュメントには記載はなかった） 検証コード 個人アプリから適当に抜粋 Gemfile # frozen_string_literal: true source "…

はじめに 昨年末に勉強として作ったデータパイプラインについての備忘録。 目次 はじめに 目次 構想 データ取得元 使用クラウド やりたいこと vtuberの切り抜き動画情報の取得と蓄積 使用サービスについての概要 実際に作ったアーキテクチャ 分かったこと サービス間の接続部分は要事前調査 コード実行時に想定している環境が異なる場合がある 取得した動画情報には検索キーワードに関連しないものが取得されることがある 今後やりたいこと おわりに 参考 付録 collect-videos-function 構想 データ取得元 YoutubeDataAPI v3 タイトルや説明文などのテキストデータ、視聴…

はじめに こんにちは！BFT名古屋支店の松野です。 今回はお仕事でAWS、Azure、GCPの3サービスに関して、サーバーレスアーキテクチャを中心に調べものをしたので、そのことをまとめていこうと思います！！ それではよろしくお願いします！！ 3大クラウドサービス まずは今回まとめたクラウドサービスのシェア率を見てみましょう。 2020年第3期のシェア率は以下の通り。 サービス名 シェア率 Amazon Web Services（AWS） 32% Microsoft Azure 19% Google Cloud 7% シェア率は以下の記事から引用 www.canalys.com こうしてみるとA…

おはこんばんちはaomaです。 記念日を通知する『KINENBI』というサービスを作ってます！当日だけでなく100日後とか777日後とかキリ番にも通知します！現在事前登録受付中です！拡散お願いします！#KINENBIhttps://t.co/0deleLPFQA— aoma23 (@aoma23) 2021年1月12日 この物語はそんなaomaがはじめてのFirebaseに挑む壮大なアクションアドベンチャーである！第4話！ 第4話の内容 cloud functions実装できるようになる cloud functionsからメール送信 firebaseのローカルエミュレーターを使えるようになる …

×691 [タイトルが取得できませんでした] ×96 新型コロナ、10年後は普通の風邪 米大学研究チームが試算(毎日新聞) - goo ニュース ×54 新型コロナウイルス 治療薬・ワクチンの開発動向まとめ【COVID-19】（1月15日UPDATE） | AnswersNews ×50 新型コロナ: ワクチン接種「マイナンバーで管理を」 平井デジタル相: 日本経済新聞 ×38 メディアを通じた発信内容について｜TOPICS｜東京慈恵会医科大学附属病院 ×34 [タイトルが取得できませんでした] ×23 旅客機マスク着用拒否 乗客の男 威力業務妨害などの疑いで逮捕 | 新型コロナウイルス | …

Terraform と GCP に同時入門していくにあたって、この前 AWS でつくったリソースと、だいたい同じものをつくってみることにしました (Deployment Manager は、いまのところ利用予定なしのためスキップ) 実装 AWS GCP 感想 Terraform (これまでのところ)書きやすくて読みやすい ロールバックされないのがつらい Cloud Functions 用途が思っていたより限定的だと感じた 依存ライブラリは Function ごとに指定する Cloud Storage Trigger はバケットレベルで指定する おわりに 参考 実装 GitHub に置いてありま…

Firebase Local Emulator Suiteを使ってみたときの備忘録。 初期設定 # バージョンの確認。CLIがv8.14.0以降じゃないと使えない。 $ firebase --version # Firebase自体の初期設定 $ firebase init # Emulator Suiteの初期設定 $ firebase init emulators コマンドを実行すると、使うものを聞かれるので、選択して設定を完了する。 Nuxtアプリからエミュレータを使うようにする エミュレータを使うかどうかは明示的に設定する必要がある。 // firebase.ts import fir…

Cloud Functions for Firebase + TypeScriptでテストを書くときの初期設定の備忘録。 ディレクトリ構成 . ├── __tests__ ... テストのコード ├── src ... ソースのコード ├── lib ... コンパイルしたコードの出力先 ├── jest.config.js ├── package-lock.json ├── package.json ├── tsconfig.json └── tsconfig.build.json ... ビルド用のtsconfig.json テストコードはデプロイしたくないので、src配下には配置しない形…

Node.jsでMapをObjectに変換する 環境 Node.js : v12.19.1 TypeScript : 4.1.2 経緯 cloud functions for firebaseにおいて、functions.https.onCallを使用する場合 クライアントにデータを返送するには、JSON でエンコード可能なデータでなくてはなりません。 NodeのMapはJSONにエンコードできないので返却することはできません。 エラーにはなりませんが、空のObjectが返却されます(罠) そのため、Objectに変換してやる必要があります。 解決策 前提としてtsconfig.jsonのco…

FirebaseのCloud Functionsで環境変数を利用するときの備忘録。 functions:configはデプロイ時に反映されるので注意が必要。 Firebase Local Emulator Suiteを使う場合は、.runtimeconfig.jsonというファイルを用意する。 環境変数を設定 firebase-toolsを使って、設定とかをする感じ。 # 設定 $ firebase functions:config:set someservice.key="THE API KEY" someservice.id="THE CLIENT ID" # 確認 $ firebase …

概要 Firebase Cloud functionsで、Firestoreを利用している 当初は、index.jsに関数定義していた 複数関数定義する必要があったので、関数ごとにファイル分割した 1回目の関数実行時は特に問題ないが、2回目以降の呼び出し時に以下のエラーが発生 （初期化は1回にしなさいとのこと） The default Firebase app already exists. This means you called initializeApp() more than once without providing an app name as the second argum…