golang

以前できなくて悩んでいた所が最近再度見てみたらサクッと解決できたのでメモ。 結論 base64パッケージのStdEncodingではなくURLEncodingを使えばOK。 以前はStdEncodingを使って、うまくできない、途中で途切れてしまう〜と悩んでいました。 以下の感じで取れます。 message, err := srv.Users.Messages.Get(user, m.Id).Format("full").Do() message, err := srv.Users.Messages.Get(user, m.Id).Format("full").Do() if err != n…

はじめに こんにちは、aptpodのサーバーサイドエンジニアの宮内です。 突然ですが、APIのレートリミット実装していますか？ 最近、弊社のバックエンドAPIでもレート制限を実装しました。 Generic Cell Rate Algorithm (GCRA) を使ったのですが、 このアルゴリズムが面白かったので、今回はこのGCRAについてと、GoでGCRAを利用したレートリミットについて説明します。

client-goで単体のリソースを作成する場合は以下のように明示的に対象のclientを作成することで行うことができます。 func main() { ... deployment := &appsv1.Deployment{} deploymentsClient := clientset.AppsV1().Deployments(apiv1.NamespaceDefault) result, err := deploymentsClient.Create(context.TODO(), deployment, metav1.CreateOptions{}) } しかし、このやり方だと以下の…

MonorepoとOneTeamでMicroservicesの課題に挑む 横浜スタジアム技術実証・COCOA インストール率のリアルタイム可視化 IoT システム DeNA TechCon をながら視聴したのでメモがてら記事にしておきます。 とりあえず Go/GCP の話が多かった印象。 MonorepoとOneTeamでMicroservicesの課題に挑む MonorepoとOneTeamでMicroservicesの課題に挑む マイクロサービスを並行開発していくにあたり、開発効率を向上させるために 起動コマンド等の共通化 サービス作成方法を統一 されたとのことです。 プロジェクトのレイア…

概要 サンプル それぞれ別々のファイルにしておいて埋め込む 一つのファイルにバージョンとかをまとめておいて埋め込む 概要 前回、ビルド時に -ldflags を使ってパッケージ情報を埋め込むサンプルを記載しました。 devlights.hatenablog.com Go 1.16 から embed パッケージが追加されたので、今後はこれ使ったほうが楽かもって思いました。 golang.org ついでにサンプル作ったので、以下にメモメモ。 サンプル それぞれ別々のファイルにしておいて埋め込む /* Go 1.16 から追加された embed パッケージを利用して内部の変数に外部ファイルデータを埋…

用語 GOROOT GOPATH go get Go Modules 便利なツール・OSS 公式コマンドラインツール ghq peco cobra Makefile Tips リポジトリ構成 設定ファイル バージョン番号の埋め込み 単体テストの実行 参考書籍 Go 言語に入門してみます。 本記事では概要編と題し、プログラムのコードについては深入りせず、まずはざっくり概要を抑えてワークフローを一通り俯瞰してみます。 Go 言語によるプログラム開発を進めるにあたり、まずは用語や固有のルールを理解して開発環境を構築して単体テストを実施するところまで流してみました。 用語 GOROOT Go のインス…

概要 参考情報 概要 いつも忘れるので、ここにメモ。 PowerShell 環境で、クロスコンパイルしたい場合、以下のように GOOS と GOARCH を指定する。 $ $env:GOOS="linux"; $env:GOARCH="amd64"; go build -o xxx 参考情報 stackoverflow.com docs.microsoft.com 過去の記事については、以下のページからご参照下さい。 いろいろ備忘録日記まとめ devlights.github.io サンプルコードは、以下の場所で公開しています。 いろいろ備忘録日記サンプルソース置き場 github.com g…

初めに 初めまして。2021年3月より株式会社カミナシにジョインすることとなりました、エンジニアの@Takuと申します。 業務とは直接関係ないのですが、API Gateway Lambda オーソライザーとFirebaseAuthを組み合わせた認証をやってみたので記載させていただきます。 概要 以下のチュートリアルを元に Amazon API Gateway Lambda オーソライザーを利用した認証機能を作成しました。 docs.aws.amazon.com Amazon API Gateway Lambda オーソライザーを利用することで、 認証・認可部分をAPI Gateway側で共通化…

bloom filter とは bloom filter とは、ざっくりいうと ある集合において、低コストにある要素が存在しないことがわかる データ構造です。 どのくらいコストが低いかというと、要素の登録や存在確認がともに O(k) です(kは利用するハッシュの数)。 集合の最大要素数や、実際に登録されているデータ数に影響されずに固定時間で結果を返せます。 特徴としては 登録、存在確認のコストが O(k) 「存在するよ！」といってるのに探してみたら存在しない場合がある(偽陽性がある) 「存在しないよ！」といったものは100%存在しない(偽陰性はない) なので、偽陽性が許容できる場合においては高…

概要 CI自体の開発や、教育支援システム開発などでは、何度も同じ環境でコードを実行し、再現性のある結果を出力する必要があります。 CIの例はイメージしやすいと思いますが、教育支援システムにプログラムの自動採点機能を設けるとすると、その採点ロジックは実際にコードを実行し、期待する結果が出力できているかを照合する処理を実装します。 このような機能は、サンドボックス用の Docker や Kubernetes に対して、サーバーサイドアプリケーションからコンテナ作成依頼をする形で実現されると思います。 自分自身、そういったユースケースを考えることが多かったため、興味の範疇で上記を実現するためのスニペ…

はじめに結論 SUMなどの集計関数を使うなら、モデルのタグに、`db:"SUM(hoge)"`とSUMも書きましょう 何故動かないのかわからなかった 例えば、次のようなデータのテーブル(sampleUser)があるとして、 name score A 10 B 20 B 30 次の形のデータが欲しかったんですね。 name score A 10 B 50 SQLを叩くとこうなるわけですが、このクエリをsqlxで実行することに躓いてしまいました。 SELECT name, SUM(score) FROM sampleUser GROUP BY name; // 実行しようとしたもの nameSco…

概要 サンプル signal.Notify 何もせずに5秒経過した場合 5秒以内にCtrl-Cで割り込み入れた場合 signal.NotifyContext 何もせずに5秒経過した場合 5秒以内にCtrl-Cで割り込み入れた場合 参考情報 概要 Go 1.16 のリリース自体については以下の記事を参照ください。 devlights.hatenablog.com devlights.hatenablog.com Go 1.16 で signal パッケージに NotifyContext という関数が追加されました。 context.Context を受け取れるようになっているので、少し便利になり…

読書 古代ローマ帝国軍非公式マニュアルを215ページまで、何日かかけて読み進める。 （前回の記録が3/1の138ページ） golangプログラミング 先日のfoldの実装はいったん置いといて、golangに慣れるためにBrainF*ckのプログラムを書いてみた（けどまだできていない）。 golangでプログラムを書こうとすると、本質的な部分に触れる前にヘルパー関数をたくさん書かないといけないので進みが悪い…。 小さな使い捨てプログラムを書く用途には向かないなという印象。 （まあそもそもという話ですが…）で、今日書いたヘルパー関数 スタック構造 スライスを利用し、appendでPUSHして、s[…

macOS で複数バージョンの golang を切り替えながら利用する場合、goenv を使うと便利です。 今回は Big Sur に goenv を使って golang をインストールする手順をメモしておきます。

今日はPythonのTuple(タプル)について勉強しました。 学んだことを箇条書きでメモします。 内容は以下のw3schoolsのページを参考にしています。 www.w3schools.com

はじめに Goの1.16からembed packageがcoreライブラリに追加されています。結構面白い感じの機能だったのでちょっと試してみようかと思います。 go enbedとは embedを利用すると静的ファイルをGoのプログラムに埋め込み、そこに対するアクセスを提供してくれます。embedでは以下の３つの形式でファイルを読み込むことができます string byte[] FS ファイルの読み込みはパッケージのディレクトリかもしくはそのサブディレクトリから読み込むことができます。 使ってみる。 環境 動作環境は以下です。 $ go version go version go1.16 lin…

ProtonMail Bridgeとは ProtonMail Bridgeは、ProtonMailをThunderbirdやOutlookなどの一般的なEmailクライアントと統合できるソフトウェアです。 ProtonMail側とBridgeがHTTPSのAPIで通信、Emailクライアントは、ローカルのSMTP/IMAPサーバーを実行するBridgeと通信する仕組みです。 この機能は有料会員限定の機能として提供されていますが、2020年4月にはソースコードが公開されています。 Hydroxideとは HydroxideはSimon Serさんが開発している、Bridgeの非公式オープンソース…

golangのinterfaceやchanのあたりを勉強。 chanとかの並列プログラミングは何か実際に必要な 場面に出くわすまでありがたみを感じられなかった。 （必要になったらまた勉強しなおそう）というわけで多分一通りのGolangの勉強が済んだ（ということにする！）。 ここまでgolangを書いてきて、ストレスに感じているのが、 毎回、スライスをforで回すめんどくささ。毎回必要な型のfold等を作るのもさらに面倒なので、 汎用的なfoldを作ろうと思い、以下のサイトを見て リフレクションを勉強。とりあえず、Mapの写経はしてみたけど、あんまり意味がわからない。 これをもとにオレオレfol…

こんにちは。 ニフクラエンジニアミートアップ事務局の鮫島です。 2021年2月23日（水）に第34回ニフクラエンジニアミートアップを開催しました。 今回のテーマは「冴えてる！インフラエンジニアの育て方」です。 fujitsufjct.connpass.com 新年度が近づいている今、まさに「どうしようこうしよう」と右往左往している人が多いであろう新人教育、さらに難易度を上げてインフラエンジニアの教育がテーマでした。 しかも！文字通りの名著「インフラエンジニアの教科書」の著者である、佐野裕氏をお招きして、これからのインフラエンジニアを育てる方法について語っていただくという豪華な内容です。 これで…

golangのmapとrangeをあたりをとりあえず覚えた。 違和感があるのは、スライスのn番目の要素を削除とかできないので、 自前の関数を作って0～n-1番目とn+1～(len(slice)-1)番目を くっつけないといけないこと しかも変数の型に応じて複数作らないといけない。 （これはインタフェースで解決できるのかな？そうだといいな） mapに対するdeleteは、存在しないキーに対しても 戻り値などでエラーを検出できないこと

2021年03月04日(Thu)の呟きは 12

×633 AWS、国内 2 拠点目となるリージョンを開設 | AWS ×240 AWS 大阪リージョン - 2021年3月 誕生! | AWS (アマゾン ウェブ サービス) ×227 ［速報］マイクロソフト、無料でRPA機能「Power Automate Desktop」をWindows 10ユーザーに提供開始。Microsoft Ignite 2021 － Publickey ×108 Excelの数式をベースにしたプログラミング言語「Microsoft Power Fx」登場。オープンソースで公開予定。Microsoft Ignite 2021 － Publickey ×73 Are X…

go言語の環境設定(GOPATH)まわりをいじくった。 とりあえず、vscodeでgolangを実行できるようになった。 まさかこんなことに時間を取られるとは…。明日はtype、スライス、map、インターフェースあたりを覚えたい…。