Cloud Storage

はじめに 署名付きURL 原因と対処 まとめ はじめに クラウドサービスなどを用いたサーバレスなアプリケーションの開発が可能となった現代において，クラウド上でスクリプトを走らせるのはもはや一般的となっている． 今回はGoogleのCloud Functionで署名付きURLを生成するのに手間がかかったので記事にする． cloud.google.com 署名付きURL 署名付きURLとはGoogle Cloud Strage (GCS)上のリソースに対して，GCSのクライアントライブラリが生成する期限付きのURLである．このURLはGoogleアカウントの有無に関わらず，URLがアクティブである…

こんにちは、天津です。 今回はAWS Glue(Python)からBigQueryへのアクセスおよびデータ転送についてご紹介します。 モチベーション AWS S3からBigQueryへのデータ転送手法について Spark用BigQueryコネクタの検証 情報源など 実装 スクリプト 動作確認 事前準備(コネクタ) 事前準備(GCPのクレデンシャルの取得) 事前準備(実行環境) 実行 AWS Glueでのjob作成 まとめ モチベーション 当社にはAWSにてS3およびAWS Glue、その他データストアを使用して構築されたデータ分析用の環境があります。 今後、その環境をBigQueryへ移行する…

はじめに こんにちは！BFT名古屋支店の松野です。 今回はお仕事でAWS、Azure、GCPの3サービスに関して、サーバーレスアーキテクチャを中心に調べものをしたので、そのことをまとめていこうと思います！！ それではよろしくお願いします！！ 3大クラウドサービス まずは今回まとめたクラウドサービスのシェア率を見てみましょう。 2020年第3期のシェア率は以下の通り。 サービス名 シェア率 Amazon Web Services（AWS） 32% Microsoft Azure 19% Google Cloud 7% シェア率は以下の記事から引用 www.canalys.com こうしてみるとA…

公式からダウンロードしてきた tarball からインストールすると以下のエラーが出ます。 /google-cloud-sdk ❯❯❯ ./install.sh Welcome to the Google Cloud SDK! Traceback (most recent call last): File "/Users/nazo/google-cloud-sdk/bin/bootstrapping/install.py", line 12, in <module> import bootstrapping File "/Users/nazo/google-cloud-sdk/bin/boot…

1. はじめに SWETグループの井口です（@hisa9chi）です。現在はスマホ向けゲーム開発案件にてゲーム開発者がゲーム開発に集中できるようにCI/CD関連を幅広くサポートしています。 本稿では、その中でも Jenkins Pipeline Job で利用可能な Shared Libraries に関して弊社でどのように活用しているか事例を紹介してみたいと思います。 Jenkinsと聞くとおそらく皆さんは、昔は利用していたが今は運用コストが高いなどの理由から、マネージドなクラウドのCI/CDサービスへ移行したという方が多いのではないでしょうか。しかし、ゲーム開発の現場ではJenkins m…