GCP

2021年の初投稿。年初から仕事上いろいろありまして、あまりというか全くStudyできなかった。 具体的には長期出張してて、そこのWifi環境が悪く、、でもやりようはあったはずなので、ただの言い訳でした。 新しくやりたいこと ローカル（MacBook）ではできたので、GCPで動かしたい まずはローカルのDockerコンテナをGCPへPushする 新しくやりたいこと これまでとあるお勉強サイトを使って、それをなぞってみるいうことをやりました。 でも、ちょっとサイトが古いというのと、Qwiklabの無料トライ期間とぶつかりそちらに熱中、結果そのサイトを見なくなり、、。そして仕事上、とあるPytho…

Cloud Pub/Sub で作成したTopicのサイズを確認する方法を調べていたのだが、ちょっと癖があったのでメモ。 Python での実装 import os from datetime import datetime from google.cloud import monitoring_v3 from google.cloud.monitoring_v3 import query PROJECT = os.environ['GCP_PROJECT'] METRIC = 'pubsub.googleapis.com/subscription/num_undelivered_message…

この本を読んだ。 Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]作者:下田 倫大,寳野 雄太,饗庭 秀一郎,吉田 啓二発売日: 2021/02/18メディア: Kindle版 前の記事の通り、メモりながら読んでみたので、それを参考にしつつ読書メモをブログにも残す。 ck-fm0211.hatenablog.com 読書メモ この本はBigQueryを中心としたデータ基盤について書かれた本。 BigQueryの強みを紹介しつつ、周辺プロダクトとの連携などもかんたんなハンズオンを交えながら紹介されている。 章立てとサマリ 章立てとしては以下の通り。そ…

GoogleCloudStorage with Python はじめに 最近、コンテナ化が結構いろいろなところで進んでいますよね、特にGCPでサーバレス環境なんか構築したりした際は、 ファイルを保存したりせず、GCSに保存したデータを直でメモリに展開したいですよね。 (ローカルにデカイファイルを載せるのはコンテナが不安定になるため。) そうした際に便利なのがgcsfsという機能です。 今回はgcsfsの概要と、使い方について説明します。 gcsfs概要 GCSFSは、pandasやdaskなどの機能拡充＋GCSを通常のopen()コマンドのように使える機能を追加したもの。 Document :…

国内のテックイベント 海外のテックイベント 本記事では、会員へのアンケートで興味関心があるキーワード・テーマに沿ったオンラインイベント・エンジニア勉強会などを紹介いたします（※開催状況は2月26日時点の情報となります） 国内のテックイベント ■GCPUG Tokyo: Monthly Update February 2021開催日：2021年3月1日（月）19:00〜21:00公式サイト：https://gcpug-tokyo.connpass.com/event/205216/キーワード：GCP、Google Cloud ■AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる AW…

Google Cloud の認定資格である Associate Cloud Engineer を受験するに当たり、オンライン講座である Udemy で問題を解いて勉強しました。 体験してみた感想や他の人の評判・口コミを紹介します。 結論としては、 知識を網羅的に底上げする勉強には最適 合格のためには Udemy に加えて Qwiklabs 等での実践練習も必要 です。 Udemyの Google Cloud Associate Cloud Engineer 模擬試験を受けてみた体験談 レビュー 本番と同じ 2 時間、40 問を体験でき時間配分がわかった 自分の苦手な分野がわかり重点的に学ぶ内容…

Google Cloud Client Library for Goはデフォルトでリトライするので、あまり意識する必要はないと思いますが、場合によってはリトライを細かく制御したくなることはあるかもしれません。この記事では、リトライのために必要そうなオプションをまとめました。 リトライ クライアントライブラリで実装された一部のAPI、例えばmonitoring.MetricClient.ListTimeSeriesなど、可変長引数でgax.CallOptionを取るものがあります。 import ( "context" gax "github.com/googleapis/gax-go/v2" …

SQL tester and cost estimator for Google BigQuery pypi.org v0.1.3 更新内容 yaml 設定ファイルにGlobalsが加わり、デフォルト設定を記述できるようにしました。 これにより、SQLファイルごとに何度も同じ設定を繰り返さなくてよくなりました。

タダです. S3 から GCP のストレージサービスである GCS に対してオブジェクトを同期させたいことがあり,定期実行させるし Fargate に登録して処理させることにしたのでその設定をまとめていきます. S3 から GCS への同期手法 関連記事 Fargate に登録する Dockerfile の作成 スクリプトでハマったこと まとめ S3 から GCS への同期手法 S3 から GCS への同期手法としてgsutilを使ってみました.ZOZO Technologies さんのブログでも出ていたので自分もこの記事で初めて知り,AWS CLI の s3 コマンドのようにコマンドラインで…

巨人の肩の上に立ち、言葉の壁を乗り越えます。 悩み Cloud Translation Basic(v2) と Advanced(v3) の違い 対応言語 料金 Rubyでの実装 Basic(v2) Advanced(v3) 所感 悩み 英語のエラーメッセージで何を言われているのかわからない 関数や変数の命名で適切な言葉が浮かばない コミットメッセージをそれっぽい文章にしたい インターネット翻訳サービスの力を借りる場面ですが、Webブラウザに切り替えて調べるのは面倒です。僕はGCPを使うことにしました。 Cloud Translation GCPには、 Cloud Translation とい…

IAM を使用すると Google CLoud リソースに対するアクセス権をきめ細かく設定できます。 IAM を使用することで最小権限のセキュリティ原則を導入できます。 この「最小権限のセキュリティ原則」は「必要以上に多くの権限を付与しない」ことが規定されています。 Google Cloud Identity and Access Management（IAM）とは？ Google Cloud の Identity and Access Management（IAM）サービスを使用すると、Google Cloud リソースの権限を作成および管理できます。Cloud IAM は、Google C…

Data Spider こんにちは、管理人の@Salesforce.Zです。 DataspideのMySQLアダプターやJDBCアダプターで、GCPのSQLにSSLで接続したい、しかしできない Access defined for user 'xxxxx'@'xx.xx.xx.xxx'（using password: YES） java.sql.SQLException: Access denied for user 'mysqluser'@'x.x.x.x' (using password: YES) しか表示できない ユーザ名とパスワードが正しいだ。なぜなら、セキュア通信ではない場合、接続…

2021年の初投稿。年初から仕事上いろいろありまして、あまりというか全くStudyできなかった。 具体的には長期出張してて、そこのWifi環境が悪く、、でもやりようはあったはずなので、ただの言い訳でした。 新しくやりたいこと ローカル（MacBook）ではできたので、GCPで動かしたい まずはローカルのDockerコンテナをGCPへPushする 新しくやりたいこと これまでとあるお勉強サイトを使って、それをなぞってみるいうことをやりました。 でも、ちょっとサイトが古いというのと、Qwiklabの無料トライ期間とぶつかりそちらに熱中、結果そのサイトを見なくなり、、。そして仕事上、とあるPytho…

データ収集に（ちょっと）飽きてきたので、いったん活用に入る。トップダウンにやっていかねば。 dl4jでBERTができるらしいのでBERTやろうと思ったけれど、調べてもやり方わからない。。 dl4jのアーキテクチャが理解できていない気がする。おとなしくLSTM。 参考にしているのはこの辺。 github.com とはいえ、APIがかなり変わっているらしくDepricated（スペルわからぬ）や、コンパイルエラーが多々あった。 またデータ読み込む部分を結構実装しないといけないみたいだけど、もう少し要調査。 今日は、とりあえず骨格だけ（これだけでも、後で変えるかも）。 int lstmLayerSi…

こんにちは。株式会社Flatt Securityセキュリティエンジニアの志賀(@Ga_ryo_) です。 本記事では、最近公開されたCVE-2021-20181の技術的な解説をしていきたいと思います。本脆弱性は、自分が発見し、Zero Day Initiative を経由してベンダーに報告しました。本記事は、脆弱性の危険性を通知する目的ではなく、あくまで技術的観点での学びを共有する事を目的としています。 読む前に 概要 前提条件 影響 Virtioとは VirtFSとは QEMU Coroutine 各種スレッド メッセージハンドラの呼ばれ方 Coroutineの利用 VirtFSにおけるファ…

経緯 シニアジョブの人材管理システムで、もしもの時のセキュリティのために、すべての操作ログを記録することにしました。 Dataflowのテンプレートを使うことでちょっとのコードでできてしまったので、コードにならない部分の記録をするため雑にメモ。 記事中のコードは適宜はしょってるので動きません。 ElasticsearchではなくBigQueryにした理由 最初すでにElasticsearchを使っていることもあり、そちらに保存しようと思ったけど、ESの設定や維持管理、保存のためにも結構コードを書く必要もあり、 また見る際もいろいろコードを書くか、GUIのツールを使わないといけないので大変だなぁ…

Google Cloud 認定資格の Associate Cloud Engineer（ACE）は Google Cloud のエントリー資格です。 実務で基本的な Google Cloud の設定や管理ができることが求められる試験です。 出題範囲は IAM、Kubernetes、BigQuery、Dataflow、Stackdriver など、広範囲に渡るので、普段の業務で使っていないサービスやコンポーネントがあれば底上げのための勉強が必須です。 とはいえ、難易度は高くないので一通り適切ね勉強をすれば合格できます。 私は土日 2 日間 みっちり勉強して無事一発合格することが出来ました。 試験…

こんにちは。id:shiba_yu36です。MackerelチームでWebアプリケーションエンジニアをしています。最近の開発合宿で、id:syou6162やid:polamjagと一緒に、社内の全チームの開発パフォーマンスを表す指標をGitHubのPull Requestから可視化し、開発チームの改善に活かせるようにしました。今回はその紹介をします。 説明するサンプルコードは、次のレポジトリで公開しているので参考にしてください。ここではGitHubのhatenaオーガニゼーションで集計していますが、forkして少し手直しすれば、別のオーガニゼーションの集計も可能になっています。 hatena/…

今日は19時半までのオシゴトの打合せが運よく？別日程に飛んで行ったので、久々にスタートから参加することができましたSAP Inside Track Tokyo 2021。 今日のテーマ「DAT – Database and Data Management」は、ここのところの僕の興味関心に絡むところもたくさんありそうで、今日も楽しみにしておりました♪ --- （１）「SAP Analytics Cloud 導入事例とポイント」の感想 SAC案件は一昨年前くらいからじわじわと自分の周りにも実案件として近づいてきている足音を感じております。オンプレミスのSAP製品との接続設定だけにとどまらずに、もう…

今度はトレーニング用のスクリプトDocker iamgeとしてGCRにpushして、AIplatformでジョブを実行してみる。ここのチュートリアルを参考にしてDockerをGCRにpushしてから、トレーニングジョブを実行してみた。まずは「AI Platform Training & Prediction, Compute Engine and Container Registry API 」を有効にしてから、 GCPのVMインスタンス上でジョブを実行。目次 1.実行環境の構築 2.DockerコンテナをGCRにpushして作成 3.AI Platformでジョブを実行1.実行環境の構築AI…

MonorepoとOneTeamでMicroservicesの課題に挑む 横浜スタジアム技術実証・COCOA インストール率のリアルタイム可視化 IoT システム DeNA TechCon をながら視聴したのでメモがてら記事にしておきます。 とりあえず Go/GCP の話が多かった印象。 MonorepoとOneTeamでMicroservicesの課題に挑む MonorepoとOneTeamでMicroservicesの課題に挑む マイクロサービスを並行開発していくにあたり、開発効率を向上させるために 起動コマンド等の共通化 サービス作成方法を統一 されたとのことです。 プロジェクトのレイア…

深層強化学習における超大規模分散並列化の有用性を示したApeX-DQN（Distributed Prioritized Experience Replay）をtensorflow2とrayで実装します。手法の構成要素自体はRainbowとだいたい同じであるため、本記事の焦点は分散並列学習の実装です。 はじめに Ape-X DQN の概要 Learnerの役割 Actorの役割 Replayの役割 Rainbowからの継承要素 大規模並列Actorの効果検証 CartPole環境での簡易実装 分散学習の実装 Actorの実装 Replayの実装 Learnerの実装 Qネットワーク 学習結果：C…

connpas リンク https://sansan.connpass.com/event/202716/ 発表 脱! Deepでポン🎶 ハイパラチューニング芸人を卒業するために Hidehisa Araiさん @kaggle_araisan speakerdeck.com 対象視聴者（初級〜） 誰もが思いつくことを越えるためには？ 解法の背景（なぜやったのか）を掴むためには？ 面白くなるステップ 課題の難しいところ理解する train/testの分布の違い（データのノイズ量、クラスの比率） testにはtrainになかったラベルがある CV/LBが相関しない 課題を小さな課題に分解する 対策…