シリアライズ

まえがき C++で任意のデータをシリアライズするためのクラスの実装方法を紹介します。 今回は前回に引き続きテキスト形式でのシリアライズ処理の実装について説明します。 ソース一式はGitHubで公開しています。 前提条件 今回実装したソースは以下の環境でビルド、動作確認しています。 OS Ver Compiler Remarks Windows 11 Visual Studio 2022(C++14) 実装 テキスト形式シリアライズ テキスト形式シリアライズクラスでは、任意のデータ型をテキスト形式(XML or JSON)に変換して、変換されたテキスト(文字列)をバイト配列としてアーカイブに書き…

まえがき C++で任意のデータをシリアライズするためのクラスの実装方法を紹介します。 今回は前回に引き続きバイナリ形式でのシリアライズ処理の実装について説明します。 ソース一式はGitHubで公開しています。 前提条件 今回実装したソースは以下の環境でビルド、動作確認しています。 OS Ver Compiler Remarks Windows 11 Visual Studio 2022(C++14) 実装 バイナリ形式シリアライズ バイナリ形式シリアライズクラスでは、任意のデータ型をバイナリ形式(バイト配列)に変換して、アーカイブに書き込んでいく処理を行います。 ここでは、クラスの構成要素ごと…

まえがき C++で任意のデータをシリアライズするためのクラスの実装方法を紹介します。 プログラムで扱っているデータをネットワーク経由で送受信する場合や、ファイルに保存する場合にはシリアライズ(直列化)してバイナリ配列や文字列などに変換する必要があります。 バイナリ形式に変換するパターンとテキスト形式(XML/JSON)に変換するパターンの両方を紹介したいと思います。 今回はインタフェースの定義の実装について説明します。 ソース一式はGitHubで公開しています。 前提条件 今回実装したソースは以下の環境でビルド、動作確認しています。 OS Ver Compiler Remarks Window…

去年、C# でJSONの読み込み（デシリアライズ）をやりました。 blog.takunology.jp 今回は書き出し（シリアライズ）をやります。と言っても、シンプルなJSONファイル（例えばオブジェクトや配列が1つの階層のもの）はいろんなサイトに載っているので、このブログでは多重構造になっているものを扱います。 書き出したいデータ 統合版マインクラフトのWebSocket通信で使用するJSONファイルを書き出してみます。 { "body": { "commandLine": "time set 0", "origin": { "type": "player" }, "version": "1…

メタデータのもたせ方が、JSON Schema派生じゃなくなるかもしれない。 いわゆるテーブルのスキーマ定義の話なんですが、現状ではJSON SchemaよりもProtocol Buffersなどのプログラム言語の定義に近い形の一般化になりつつあります。 この辺りで一般情報引っ張るには、インタフェース記述言語・IDLとかシリアライズ形式とか言ってもいいかもです。 JSON Schemaは少し過去のものになりつつあります。 スキーマ定義と、治験での関連文書についての情報を、そろそろ分離する試みがあってもいいかも。 要は、メタデータ定義として全部入りなdefine.xmlを解体した方がいいかという…

protobuf.dev protobufの公式ドキュメントにベストプラクティスがあったので、まとめていきます。 多いので2回の記事に分けようと思います。 タグ番号を再利用しない プロトコルバッファでは、各フィールドにはユニークなタグ番号が割り当てられます。 message Person { string name = 1; int32 age = 2; string email = 3; } 同じタグ番号を再利用してしまうと、逆シリアル化が台無しになってします。例えフィールドが使われていない場合でも使わない。古いコードやログに存在している可能性があるのでデータの不整合や予期しない動作につなが…

kotlinx.seriarization便利ですね。KotlinのデータクラスをJSONで読み書きする場合だけでなく、CSVで読み書きする際にも使えるようです。 ただし、ヘッダを自動的に入出力する機能は無いようです。 データをCSVの行にあたる文字列に変換する際にserializationライブラリを用いて、後は、Kotlinでファイルを読み書きする標準的な方法を用います。 読み込みの際に登場する、useLinesによる遅延読み込み処理の手法は知らなかったです。ヘッダ行を飛ばす処理で登場しますが、覚えて置きたいです。 KotlinでCSVファイルの読み書きをしたいのですが、定番のライブラリが…

普段はマイクロサービスの構成で自社プロダクトを開発しています。マイクロサービスを構築する上で、サービス間通信は重要な要素の一つです。そこで登場するのが、gRPCです。gRPCの概要と、Goで gRPCサーバーを構築するためのライブラリ「Connect GO」について備忘録としてまとめていきます。 1. RPCとは何か？ gRPCを理解する前に、まずはRPCについて簡単に説明しましょう。RPCはRemote Procedure Callの略で、呼び出し元と呼び出し先が離れている（リモート）な環境でのAPI呼び出しを実現するための仕組みです。 具体的には、サーバーが別のマシン上にある場合に、呼び出…

はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデ…

「データエンジニアリングの基礎」を読んだので、感想・各章の内容についてまとめます www.oreilly.co.jp 全体を通しての感想 原本は Fundamentals of Data Engineering で本書は日本語訳となります。 筆者のJoe Reis氏とMatt Housley氏はデータエンジニアリングのコンサルタントを行っていて、業界経験が長いお二人です。 データエンジニア界隈は急速に変化する業界と本文中で書かれています。 業界変化の中で「変わらないもの」を選択し、今後数年間役に立つコンセプトをまとめたものと本書を説明しています。 上記の狙い通り、本書はツールや特定技術ソリュー…

2020年に導入されたというDataStoreオブジェクトを用いて、設定値を保存する方法を聞きました。 SharedPreferencesを改善するために導入されたものだそうですが、キー・値のペアを保持する際、キーに値の型情報を持たせるという手法を用いていたり、非同期処理での読み書きに対応するため、値の読み込みをFlowを用いて行ったりと、かなり独特な使い方です。 慣れるかな・・。 ちなみに以下の例では、Composable関数の変更をトリガーするために、FlowのオブジェクトにたいしてさらにcollectAsState()が呼び出されています。 Jetpack Composeで、Prefer…

tanuki- 2024-04-12 halfkp_256x2-256-256-256 実験内容 halfkp_256x2-256-256-256 ネットワークを学習させ、レーティングを測定する。 ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いる。 Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いる。 棋譜生成 ランダムパラメーターから学習させる際の学習データ 生成ルーチン tanuki-棋譜生成ルーチン 評価関数 Hao (tanuki-.halfkp_256x2-32-32.2023-05-08) 1手…

4/6 - 4/8という日程で開催された。BunkyoWesternsの🦌ta_ga_naiとして参加して5位。特にコンテナエスケープ問が面白かったし勉強になった。BunkyoWesternsはあと1問で全完というところまでいったのだけれども、[Forensics] Volatileというエスパー要素のあるメモリフォレンジック問にやられた。 目的が読み取れない問題文でメモリフォレンジックを行う必要があるというだけでも、目当てがないままにプロセスにリストやら開かれているファイルのハンドルやら、得られる情報を片っ端から調べる必要がありつらいが、そこにエスパー要素まで加わってくるともうダメだ。メモリ…

マイクロアドの京都研究所からリモートで働いているインフラ開発ユニットの永富 id:yassan0627 です。 3/1に開催されたOpen Table Format Study GroupのMeetupの第2回目にて、「Kafka ConnectのIceberg Sink Connector」をテーマに話してきました。 今回は、その紹介です。 otfsg-tokyo.connpass.com Open Table Format Study Group（OTFSG） について 私の発表について Kafka Connectとは Iceberg Sink Connectorとは お試し環境について …

基本的にはNext.jsを学習してきましたが、13あたりのアップデートからややついて行けない感が出て新規に採用するべきか悩んでいました。 とりあえずことある毎に公式のチュートリアルは全て見てはいるんですが、きっちり理解できている感じがしなくて「なんとなく」使ってる感が強いのです。 （React Server Componentsの理解もイマイチです） また、Amplifyへの対応もある程度はされていますがVercelにロックインされていってるような仕様にもやや抵抗感がないとも言えません。 そこで、下記のスライドをちら見したときにまさしく自分に当てはまることかな？と思いました。 You Don'…

こんにちは、プロダクトエンジニアリング部の山﨑です。 私は LIFULL HOME'S 賃貸マーケットのプロダクト開発を行うグループに属しており、その中でも技術負債解消に取り組むエンジニアリングチームのリーダーをしています。 本記事では、LIFULL HOME'S の賃貸マーケットにおける技術負債の現状と、本チームの具体的な取り組み内容を紹介します。 LIFULL HOME'S の技術負債解消への取り組みを知っていただくことで、LIFULL HOME'S でのエンジニアリングに興味を持っていただけたら幸いです。