Protobuf

go で proto の Marshal/Unmarshal したときに、軽くハマっておや？となったので調べてみた こんな感じの proto があるとする syntax = "proto3"; package hoge; message A { B b = 1; } message B { C c1 = 1; C c2 = 2; } message C { D d = 1; } message D { int32 e = 1; } A を Marshal して []byte にして、ゴニョゴニョして、再度 A に戻すコードを書くつもりが、 間違えて B を Marshal して、それを A に…

こんにちは、ティアフォーで認証認可基盤を開発している澤田です。 最近取り入れたProtobufで、素晴らしいREST APIの開発体験をしたのでご紹介します。 なお、ティアフォーではマイクロサービスを支える認証認可基盤を一緒に開発いただけるメンバーを募集しています。ご興味のある方は下記ページからご応募ください。 herp.careers 実現したかったこと マイクロサービス間連携のAPI開発において、以下の条件を満たすやり方を探していました。 スキーマを最初に定義してリクエストとレスポンスの型が自動で生成される ドキュメント（openapi.yaml）が生成される バリデーションが定義できて、…

Basic tutorial から一歩進むPythonでのgRPC アソビュー！ Advent Calendar 2021の11日目です。 こんにちは、アソビュー！SREチームのkirimaruです。夏休みの宿題は追い込まれてからやるタイプです。（執筆日12月10日） gRPCは各言語で公式のドキュメントがしっかりあります。導入もドキュメントに沿って行っていくことで非常にやりやすいと思います。 grpc.io ただここから更に本番稼働させていく際に欲しい機能がいくつかあり、それらが上記に内包されていないので本記事ではそこに触れていこうと思います。 具体的にはserver側の実装で下記3つの機能…

Amazon SQS のスキーマ管理を Protobuf でやってみました。 サンプルコードはこちら。 github.com .proto ファイル 以下のような .proto ファイルを用意します。 // proto/example.proto syntax = "proto3"; message Item { string product_id = 1; float price = 2; } message Purchase { string user_id = 1; repeated Item items = 2; // Unix time uint32 timestamp = 3; }…

TL;DR 恥ずかしながらProtocol BufferとMessage Pack触ったことない..。 ので、実際に触ってみて、自分なりにみて考えるみるのが目的。 コードはこちら https://github.com/uqichi/go-protobuf-msgpack Protocol Buffer と Message Pack の違い Protocol Bufferとは https://developers.google.com/protocol-buffers/ What are protocol buffers? Protocol buffers are Google's langua…

前回の続き。 Google AIPs 01 - kntmr-blog 気になるところを読んでみる。メモ。 google.aip.dev AIP-131: Standard methods: Get URI にはリソース名を含む (name) (google.api.field_behavior) = REQUIRED それ以外のパラメータはクエリパラメータとする google.api.method_signature name 以外のフィールドは含めない リソースや親リソースへのアクセス権限がない場合は PERMISSION_DENIED を返す リクエストしたリソースや親リソースが存在しない…

気になるところを読んでみる。メモ。 google.aip.dev AIP-121: Resource-oriented design リソース指向 API ではリソースに対する実行される操作を重視する 標準メソッド Create, Get, Update, Delete, List カスタムメソッド POST URI にカスタム動詞を定義する AIP-122: Resource names コレクション識別子とリソース ID を交互に使用する リソース名は name フィールド 親リソースは parent フィールド name とは別にリソース ID (ex. book_id) のフィールドを…

はじめに こんにちは、技術本部 Bill One Engineering Unit の江川です。 普段は、Bill OneでWebアプリケーション開発をやりつつ、フロントエンド周りの技術的な改善に向き合ったりしています。 今回は、バックエンド編の続きとして、フロントエンドにおけるConnectによるスキーマ駆動開発の実例を紹介できたらと思います！ なお、本記事は【Bill One 開発 Unit ブログリレー】という連載記事のひとつになっています。他の記事もぜひぜひご覧ください！

gPRC: Protocol Buffers スタイル規約 ＆ API ベストプラクティスまとめ ファイル ＆ パッケージ構成 Message Field Nested Type Any Enum Service Proto ベストプラクティス API ベストプラクティス フィールドとメッセージを正確かつ簡潔に文書化する Wire (≒API?)と Storage でメッセージを使い分ける Mutations (更新 API) の場合、データの完全なリプレイスではなく、部分的な更新または追加のみの更新をサポートする トップレベルのリクエストまたはレスポンスの proto にプリミティブ型（基本…

この記事の趣旨 2020年に発表されたBigQueryの元となったGoogle内で利用されている分析向けデータベースであるDremel の実装を解説した論文を読みました。 Dremel: A Decade of Interactive SQL Analysis at Web Scale 著者について Sergey Melnik, Andrey Gubarev, Jing Jing Long, Geoffrey Romer, Shiva Shivakumar, Matt Tolton, Theo Vassilakisら2010年のDremel発表論文の著者らと、 Hossein Ahmadi, …

protocol buffers は割と使うのですが、protoファイルにコメントを書くと生成したコードにも各言語のコメントをつけてくれることを最近知りました。 全く難しいことないのですが、メモがてら。 目次 protoファイルにコメントを書く deprecatedオプション おわりに protoファイルにコメントを書く // コメントのような感じで、コメントを書くことができます。 rpcやmessage、messageのfieldsなどに書いてみます。 syntax = "proto3"; option go_package = "pkg/proto"; package comment; s…

www.youtube.com 今回何をやるか 未実装のAPIを実装する 実装する 完成形のコードは以下 func (server *Server) CreateUser(ctx context.Context, req *pb.CreateUserRequest) (*pb.CreateUserResponse, error) { hashedPassword, err := util.HashPassword(req.GetPassword()) if err != nil { return nil, status.Errorf(codes.Internal, "failed to has…

こんにちは、エンジニアリングマネージャーの id:onkです。Hatena Developer Blogの新たな連載企画「卒業生訪問インタビュー」では、創業からはてなの開発に関わってきた取締役の id:onishi、CTOの id:motemen、エンジニアリングマネージャーの id:onkが、いま会いたい元はてなスタッフを訪問してお話を伺っていきます。id:onkが担当する第3回のゲストは、クラウド型電子カルテ・レセコンシステム「Henry」を主力として医療DXに取り組んでいる株式会社ヘンリーで、チーフエンジニアとして新たな挑戦を始めたid:Songmuさんこと、松木雅幸さんです。株式会社カ…

クラスター株式会社でSoftware Engineerをしている thara です。 cluster ではシステム間連携の一部にProtocol Buffers（以下protoと呼称）を使用しています。protoのスキーマ定義を独立したproto管理リポジトリに配置し、そのスキーマから生成した各プラットフォーム向けのコードを複数のproto利用リポジトリで利用しています。 このprotoスキーマとそれから生成したコードを利用するまでのプロセスは、長い間運用されていましたが、問題を抱えていなかったわけではありません。開発メンバーも増え、徐々にその問題が無視できなくなってきました。 この記事では、…

以前 .NET ラボで 「C# と HTTP/2 と gRPC」というタイトルで登壇しました。その時のスライドがこちらなのですが、ちらほら反応を頂きました。その結果、HTTP/2 や gRPC について勘違いしている人がちょこちょこいる事が分かったので、少し補足を書こうと思います。 blog.neno.dev 1. HTTP/2 で向上するのはスループットであって、1リクエストあたりの応答時間ではないよ。 HTTP/2 を使うからといって、1 リクエストあたりの応答時間が短くなるわけではないのです。 まず、1 HTTP リクエストあたりにかかる時間を、RTT とかいったりします。 1 RTT …

www.youtube.com 環境構築 Protocol Buffer Compilerをinstall Protocol Buffer Compiler Installation | gRPC 記載の通りbrew installしたらいけた Goをビルドするためにプラグインをinstall protoc-gen-go prot ファイルで定義されたデータからgoのリクエスト・レスポンスデータを生成する pkg.go.dev protoc-gen-go-grpc grpcフレームワークで動くgoのコードを生成する pkg.go.dev これで準備は完了 ユーザ新規作成のgrpc APIを作成…

grpc.io に沿って、自分はmacOSなので > brew install protobuf したらいけた