GCP

これはなに？ Google Cloud Functionsのパラメータ情報を取得するコマンドを作ったので備忘録として残しておきます。コードはCloud Shellで動作確認しています。

概要 VMインスタンスの作成 VMインスタンス内での操作 Nvidia driverのインストール dockerコンテナの起動 推論の実行 まとめ 追記 2022.04.28 概要 NDLが公開したNDLOCRアプリケーションについて、GCP（Google Cloud Platform）の仮想マシンを用いて実行してみましたので、その備忘録です。本アプリケーションの詳細については、以下のリポジトリをご確認ください。 https://github.com/ndl-lab/ndlocr_cli VMインスタンスの作成 GCPのCompute Engineにアクセスして、画面上部の「インスタンスを作成…

今月は掲載が少し遅くなってしまいましたが引き続き3月のまとめもいってみましょう！ nii-yan.hatenablog.com セッションが利用可能に Preview -> GA 2021/9月にPreviewとして出たセッションがGAになりました！！ 変数や一時テーブルをセッション内で使いまわすことも可能 セッションを使うかはQuerySettingsから指定が出来ます ブラウザのタブ毎に別のセッションを貼ることが可能 2つのセッションでDeadlockがかかるような処理を行った場合はupdateをしようとした時点でエラーが出ます セッション中にエラーが起こってもrollbackやcommi…

Google Cloud Logging が異常な請求額になったため、その原因と対策を説明する。請求レポートの Log Volume (Cloud Logging) がなんか高いなーと調べてる人は正解！ここです。 Loggingは結構使われる重要なコンポーネントにもかかわらず、優れたエントリが非常に少ない。そんな中でも見るに値するものは下記しっかり解説されていると思います。 blog.g-gen.co.jp 上記で大部分の知識は得られるとおもうので、金額が高くなった理由を書く。 原因と対策 GCSのAPIアクセスログがデフォルトで_Defaultにも Sink(シンクは日本人には意味かぶりする…

テーブルを改修した際は、必ず改修前のテーブルと比較し、 予定通りのものになっているか求めると思います。もっともお手軽で簡単なのがexceptを使ったテスト方法です。今回は｀exceptを使うことで差分を取ります。 これは、AとBというテーブルがあった場合、 Bに存在していないAのカラムを出力します。 テストテーブル select * from ( select * from A except distinct select * from B ) 結果 そして、AとBを反対にすると、Aに存在していないBのカラムが返される。 Aに存在していないBのカラムは無いので、値は返されない。 検証する際は、…

はじめに こんにちは、仙台オフィスの阿部です。バックエンドエンジニアをやっています。GoとCloud Runが好きです。 今回のブログですが、Goで書かれたアプリケーションを簡単かつ迅速にコンテナ化できるkoを使って、Cloud Runへのdeployまでを試してみた体験が素晴らしかったのでその手順と感想を述べたいと思います。 koとは koは、Googleが開発したオープンソースツールです。Goプログラムからコンテナイメージをビルドして、それをコンテナレジストリにpushするために使用します。アプリケーションのコンテナ化にはdockerを利用することがデファクトスタンダードとなっていますが、…

本ブログの更新をすっかりご無沙汰しておりました。 昨年春にＥ資格を取得して、昨年４月には前の会社を早期退職しました。 フリーランスとしてデータ分析やＡＩ案件獲得を目指していましたが、実務経験がないことが足枷となり、なかなか難しいなと感じていたところ、縁あって昨年夏からIT系企業に勤めています。 また、昨年後半には、経産省主催のAI人材育成プログラムであるAI Quest2021に参加したり、ディープラーニング協会の運営のサポートメンバーをしたり、公私にわたり忙しく、なかなかブログ更新ができておりませんでした（言い訳です）。 そうした中で、社内プロジェクトの一環で掲題に関する開発を行いましたので…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,340 94%OFF!! ⭐ ⭐ ⭐ ⭐ （17,537件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,220 …

結構面白い本でした。 独特の強い営業組織がどのように形成されてきたのか知りたく読みましたが、AWS/GCPのようなコンピューティングリソースの時間貸し(そのために作った川崎市テクノピアに関する疑惑が「リクルート事件」の発端)やGoogle Mapsのような事業を日経新聞としていたりJONという不動産仲介業者間のネットワークシステム構築をしていたりと、色々知らないことがありました。 というか、江副さん自身は紙の時代は終わると思っていたようで、ザ・リクルート的なフリーペーパーの配布的なビジネスにはあまり興味を持っていなかったようなのが結構意外で面白かったです。この辺がリクルートの亜流のような営業組…

現在カミナシ社でエンジニアとしてインターンをしている@azoookidです。 今年の1月にカミナシ社にジョインし4ヶ月ほど経ちましたが、今回はインターンの研修として個人開発をすることになった話となにを作ったかについて書いていこうと思います。 私は誰 大体1年くらい前から本腰を入れてwebフロントエンドの勉強をはじめた大学生です。カミナシに入るまでは個人開発といくつかの短期インターンで、Reactなどを書いていました。フロントエンドまわりの知識は多少ありましたが、バックエンドに関してはほとんどなにもわからない状態でした。*1 成果物 サービス概要 留学経験者と気軽に話ができるサービス「StuBr…

データ活用・DXに欠かせないのがデータ基盤です。ブレインパッドには、クラウドプラットフォームの知識・スキルを深化させるべく、Google Cloud 、AWS、Microsoft Azure、Snowflakeの4つのクラウドプラットフォームチームから成る「クロスファンクショナルチーム（CFT）」があります。今回は、より具体的に、データレイクの一つであるAmazonS3とSnowflake間の接続方法についてご紹介します！ 顧客企業のデータ活用を、システム開発や基盤構築の面から支えている当社のデータエンジニアリング本部（DE本部）。そのDE本部には、 Google Cloud 、AWS、Azu…

はじめに 無料プランで性能が良いVMが使えるOracle Cloud Infrastructure Free Tierを試してみた。 Oracle Cloud Infrastructure Oracle Cloudはオラクルが提供するクラウドサービスであり、その中でもIaaSやPaaSと言われる部分がOracle Cloud Infrastructureである。2016年に一般提供が開始されたBare Metal Cloud Serviceが元の名称であり、2018年にアーキテクチャの変更と共に今の名称となったようである。 主力のOracle Databaseをクラウド提供し、現在はAWSやG…

8時に起きた 朝食はグラノーラ 眠気と闘っていたら就業時間 本日も仮想世界にて研修 GCPをいじった 昼になったら松屋へ 昼食は牛めし つゆだくにしたら良い感じ 食後はコーヒーを嗜みながら演習 凡ミスに時間を取られたけど無事終了 退勤して夕食 夕食はハンバーグとライスと納豆 食後はAPEXソロカジュアル ボコボコにされた その後はPikunikuで遊んだ

概略 GCPのComputeEngineへブラウザ経由でSSH接続をしている。 この状態でviを使って編集をすることはよくあること。 viには、ノーマルモードとコマンドラインモードがあり、モードの切替はESC(escape)キーで行うのが一般的。 ただし、ブラウザ上でESCキーを押しても、フォーカスが消えるだけでモードは切り替わらない。 ESC以外の、別のキーでモード切替を実施する必要がある。 そのためのショートカットキーがこちら。 ショートカットキー ctrl + c または、ctrl + [ 参考 lsp.hatenablog.jp

小ネタ的なポストです。 仕事なりプライベートでGCPを使っていると、ターミナルからgcloudコマンドラインツール（以後「gcloudツール」）を使うことにもなろうかと思います。そしてGCPで複数のプロジェクトがあり、それぞれのプロジェクトのリソースに対してgcloudツールから操作する場合、複数の「configration」を設定して操作するプロジェクトに応じて対応するconfigrationをactivateしていることかと思います。 https://cloud.google.com/sdk/docs/configurations ちなみに私はこのconfigrationの切り替えはpec…

※ 記事末に Amazonギフト券1,000円分が当たるアンケート があります。 さまざまな事業領域にわたってサービスを展開する株式会社リクルートでは、7つの中核事業会社および機能会社を2021年4月に吸収合併し、組織全体を統合しました。今回ご紹介するデータ推進室は、統合に先んじて1年前の2020年4月に各事業会社のデータエンジニアが集まる形で組閣されました。 ▶ Recruit Data Blog | リクルートデータ組織のブログはじめました 事業領域が異なれば商慣習が異なり、それに合わせてデータの特性も大きく異なる中、統合から約2年がたち、どのような変化があり、どのように組織運営されている…

2022/05/14,15の二日間でSRE NEXT2022がオンラインで開催されました！ 実はSRE NEXT2020ではコアスタッフとして会場の受付と懇親会の手配をさせていただきました。当時も非常に多くの方が来場されて楽しいカンファレンスでした。（2020の時のブログを書こう書こうと思って早2年経ってしまいました...） あれから2年経ちついに開催され嬉しい気持ちでした。オンラインでの開催はどんな感じなるのかな？と思っていたのですがZoomを活用したストレスを全く感じない最高なオンラインカンファレンスを体験することができました。 改めてスタッフのみなさん、登壇者のみなさんに感謝です。 Da…

stateファイルの共有 デフォルトはローカルディスク 利用できるbackendはいっぱいある(AWS/GCP/Azure) terraform { backend "s3" { bucket = "mybucket" key = "path/to/my/key" region = "us-east-1" } } www.terraform.io blog.mosuke.tech

こんにちは！TECH Street編集部です。 前回、株式会社プロドローン（PRODRONE）橋本寛之さんにインタビューをしましたが、今回は連載企画「ストリートインタビュー」の第30弾をお届けします。 「ストリートインタビュー」とは TECH Streetコミュニティメンバーが“今、気になるヒト”をリレー形式でつなぐインタビュー企画です。 企画ルール：・インタビュー対象には必ず次のインタビュー対象を指定していただきます。・指定するインタビュー対象は以下の2つの条件のうちどちらかを満たしている方です。 “今気になるヒト”橋本さんからのバトンを受け取ったのは、KDDIスマートドローン株式会社 代表…