キー値

Transformer が発表された有名な論文を Gemini Paper Summarizer で要約しました。 Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … Polosukhin, I. (2017). Attention Is All You Need. 【注意】AI の説明には誤りが含まれる可能性があり、正確さは保証できません。詳細は原論文を確認してください。

この記事はenechain Advent Calendar 2024の8日目の記事です。 こんにちは！enechainでソフトウェアエンジニアをしている山添です。 現在は今年10月にリリースした「eSquare Live」のFIX APIを提供するため、FIXサーバー1の開発を担当しています。 この記事では、FIXサーバーの開発においてQuickFIX/Goを使っていて得た知見を共有します。 FIX ProtocolとQuickFIX/Goについて FIX Protocol の基礎知識 メッセージとタグ セッションの概要 Exampleで学ぶQuickFIX/Go Exampleの起動方法 設…

vMware 仮想環境で「このPCは現在Windows11を実行するための最小システム要件を満たしていません」インストールできない事象に関する情報になります。 最初こちらの影響かと思って、設定を確認したところ、efiになっていました。 Player 17 を使用して Windows 11 VM を作成しようとしています。作成すると、EFI ネットワーク タイムアウトが発生します。VMX の「ファームウェア」設定を「efi」ではなく「bios」に変更する必要があるという投稿をいくつか見ました。それを実行すると、ファームウェア設定を「efi」に設定する必要があるというエラー メッセージが表示されま…

なぜやるか データエンジニアとしてキャリアを積んでいきたいと考えています。普段業務でGoogle Cloudを使っていることもあり、Google Cloudが発行しているProfessional Data Engineerの認定資格を取得するのも良いなと思い立ち、勉強のログを残します。 こちらですね。 cloud.google.com 試験で問われる能力は大体この辺りだそう。 データ処理システムの設計 データの取り込みと処理 データの保存 分析用データの準備と使用 データ ワークロードの管理と自動化 試験時間は2時間で、税抜$200。 高いですねえ。 記事を見ていると、このような方も見つけまし…

１CSV は「カンマ区切り」「,」 name,age yamada,20 tanaka,30 用途 DBのエクスポートでしようしたり、すでに開発途中のDBを自分のローカルにインポートすることを想定しています。 －－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－ ２XMLは「タグをしようする」「<タグ名>データ</タグ名>」 <person> <name>yamada</name> <age>20</age> </person> <person> <name>tanaka</name> <age>30</age> </person> 用途 Javaでは設定ファイルに使われている…

最近、DynamoDBを少しばかり勉強中です。 今回は、DynamoDBのデータイベントログ（テーブル内のデータ操作ログ）の確認方法について整理してみます。 どのような方法があり、それぞれどういった内容が確認可能なのか見ていきたいと思います。 前提 大きく分けると二つ方法がある 方法1：DynamoDB StreamsのログをCloudWatch Logs等に送付する方法 方法2：CloudTrailの証跡でデータイベントのログ記録を有効化する方法 それぞれのやり方を比較する データの値・操作時刻・操作者の確認 ログの見つけやすさ ログのリアルタイム性 データイベント以外の操作ログ 実装難易度…

例えばお問い合わせフォームとかで、名前とメアドは必須とする。ただ、あるユーザーはドロップダウンで予算種別や流入経路を出したい、とあるユーザーはFAX番号も出したい、みたいなやつ。 スキーマレスのFirebaseの場合ユーザーごとにスキーマ作れば終わる（アプリ側は大変だけど）んだけど、RDBはそうもいかないよね。 今まで見たなかで大きく3パターンあるようなので、整理をする。 1. 属性ごとにテーブルが作成する DrupalというCMSで見たパターン。 属性を追加することでconfigが更新され、configには追加したフィールドの格納場所がわかる。で、Field APIでカスタム属性をを全部引っ…

Pythonでデータ分析とかやってみませんか？ぬこ将軍です🐈プログラミング言語として人気のPythonですが、Pythonを活用することでWebサイトの情報も取得できるというのはご存知でしょうか？ 基本となるPythonコードを知れば、WebサイトやWebアプリの情報を使って簡単にデータ分析ができるようになります！

技術本部 Sansan Engineering Unit Nayoseグループでエンジニアをしている冨田と申します。私たちのグループでは、当社のほぼすべてのプロダクトが利用する共通基盤である”データの名寄せ”サービスの開発を日々行っています。 今回は、普段の業務の中で直面した課題についてご紹介します。Athenaクエリの実行中に、ソート処理がボトルネックとなり失敗してしまう問題が起きました。そこで、問題解決に向けて試行錯誤したプロセスや得られた知見を共有します。

関連記事 概要 サンプル ctxkey.go handler.go main.go Taskfile.yml shell 参考情報 Goのおすすめ書籍 関連記事 Goメモ-477 (slogメモ-01)(基本的な使い方) - いろいろ備忘録日記 Goメモ-478 (slogメモ-02)(構造化ログの出力) - いろいろ備忘録日記 Goメモ-479 (slogメモ-03)(デフォルトロガー) - いろいろ備忘録日記 Goメモ-480 (slogメモ-04)(従来のlogパッケージとの連携) - いろいろ備忘録日記 Goメモ-482 (slogメモ-05)(テキスト形式のログ) - いろいろ備忘録…

前回の勉強内容 勉強のきっかけになった問題 データベースのインデックスは、検索速度を向上できます。 インデックスには種類がります。 B+木インデックスは、値を比較して検索するのが得意です。 ビットマップインデックスは、値の種類が少ない列で効果的です。 ハッシュインデックスは、「=」検索がチョッパヤです。 次回の勉強内容 前回の勉強内容 ponsuke-tarou.hatenablog.com 勉強のきっかけになった問題 関係データベースの表において，検索速度を向上させるために，列Zにインデックスを付与する。ア～エは，列Zの値が等しい行の数を示したものである。インデックスを付与することによって，…

サーバーワークスではAmazon Connect向けのカスタムフォン、「クラウドコンタクトワークスペース」をご提供しています。 こちらを利用して着信時に受電情報を表示する機能をご紹介します。 クラウドコンタクトワークスペースとは 概要 シナリオ 設定手順 電話番号を準備 コンタクトフロー作成 全体図 1.コンタクト属性を確認する 2.コンタクト属性の設定(5218) 3.コンタクト属性の設定(5219) 4.コンタクト属性の設定(一致なし) 5.作業キューの設定 6.キューへ転送 コンタクトフローの保存・公開 電話番号とコンタクトフローの関連付け 動作確認 末尾5218の番号へ掛けた場合 末尾…