Google Cloud Storage

目次 はじめに アップロードの流れ Google Cloud Storage の準備 実装 おわりに はじめに こんにちは、スタメンのミツモトです。 スタメンではTUNAG、FANTSというサービスを提供しており、画像の保存先として Amazon Web Services のS3（Simple Storage Service）を採用しています。 Google Cloud Storage（以下、GCS）の場合、どういう流れで画像を保存するか知りたいと思い、自分の学習として GCS を用いた署名付きURLによる画像のアップロードを実装したので紹介させていただきます。 アップロードの流れ 今回はクラ…

第1章 Google Cloud Platform の特徴 GCPはPaaSからIaaSにすすんだプラットフォーム Google自身がGCPの大きなユーザーの一人 ライフマイグレーション 仮想マシンから物理サーバーへ移動させる技術 可溶性が高い グローバルネットワーク クラウドを利用するには提供社の歴史などを考えてみることが大事 k8sはBorgというやつ 自身がやりたいことに対しｔえあっているのか？ということを検討する必要がある。GCPは「大規模分散コンピューティング」「インフラの隠蔽、共用化」といったことをやっている分野。メリットを理解する必要があります。 第2章 コンピューティングサービ…

重回帰分析を以前やりましたが、 説明変数はマニュアル方式で 集計結果のグラフを見ながら選んでいました。 今回はバージョンアップして全ての説明変数の組み合わせを 試して一番精度がよいモデルを選択するプログラムを組みました。 精度の評価方法は色々ありますが、本記事ではMean Absolute Error(MAE)の値が 一番小さいモデルをベストモデルとして採用するようにしています。 ※ MAE = 日本語では平均絶対誤差と呼ぶそうです。分析のコンペなどでたまに 評価方法で採用されています。

こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回…

はじめに 今回は以前作成したDockerコンテナ上でtitanicデータを用いた実験を行います。 実験ステップを追っていくので長いです。 目次 はじめに 目次 環境 データ kedroの流れ ファイル構成 ① データの配置 ② カタログ登録 ③ パラメータ登録 ④ データの確認 ⑤ プロトタイプ作成 ⑥ パイプライン作成 data_engineering node pipeline data_science node pipeline ⑦パイプラインの結合 ⑧ mlflow uiでログ確認 ⑨ パイプライン可視化 ⑩ モデルやパラメータを変更して再実験 気になった点 おわりに 参考 環境 以前…

今回はKubernetes上で扱う秘匿情報を管理するExternal Secretsを試してみました。 注意事項：本記事はExternal SecretsのリポジトリがGoDaddyからexternal-secretsに移管する前に検証をしていたものです。そのため、一部マニフェストファイルにはgodaddy/kubernetes-external-secretsと記載されております。 リポジトリ移管の経緯はGitHub Issueに記載されております。 Kubernetesで利用するSecretの課題と関連プロダクト Kubernetesはログインパスワードなどの秘匿情報をSecretリソース…

こんにちは、サーバーエンジニアの牧野です。 今回はGoで開発しているアプリケーションでContinuous Profilingを実践するために導入した profefe を紹介したいと思います。 Continuous Profilingとは Continuous Profilingとは、ざっくり言うと本番環境で継続的にプロファイリングすることを指します。Continuous Profilingができると、本番環境でのみ発生するパフォーマンスの問題を捉えることができたり、継続的にプロファイリングすることで問題が発生する前後の状態を比較することができます。 Goには pprof というプロファイリン…

マニュアル等のドキュメント制作を担当している私は、世の中の機械翻訳エンジンの進歩を日々驚きながら観察しています。 実際に業務で使うかは別途判断するとして、「この文をこの機械翻訳エンジンに与えたら、どんな訳文が得られるのだろうか」と、試してみることもあります。 この記事では、そんなお試しの例として、Google Translation APIの「用語集」の機能を使ってみます。 aptpod Advent Calender 2020の18日目、テクニカルライターの篠崎が担当します。 （なお、この記事で扱うのは、プログラムから利用する機械翻訳ウェブAPI Google Cloud Translati…

目次 はじめに アップロードの流れ Google Cloud Storage の準備 実装 おわりに はじめに こんにちは、スタメンのミツモトです。 スタメンではTUNAG、FANTSというサービスを提供しており、画像の保存先として Amazon Web Services のS3（Simple Storage Service）を採用しています。 Google Cloud Storage（以下、GCS）の場合、どういう流れで画像を保存するか知りたいと思い、自分の学習として GCS を用いた署名付きURLによる画像のアップロードを実装したので紹介させていただきます。 アップロードの流れ 今回はクラ…