Hatena Blog Tags
はてなブログ トップ
duckdb
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

duckdb

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
運び屋 (A carrier(forwarder) changed his career to an engineer)•16日前

NAS データに $0.00001/クエリのサーバーレス分析 — DuckDB Lambda × FSx for ONTAP

この記事は、DEV Community で公開している「FSx for ONTAP S3 Access Points × Lakehouse Deep Dive」シリーズを、日本語読者向けに再構成したものです。 dev.to 単純な翻訳ではなく、AWS 上での検証結果、設計判断、日本のエンタープライズ環境での読みどころを補足し、最新情報を加えながら整理しています。 はじめに DuckDB を Lambda にデプロイして FSx for ONTAP の S3 Access Points 経由でクエリ実行。コスト効率の高いゼロコピー分析パスの一つ。 コールドスタート: 1,854 ms（初回起動…

#AWS#FSxForONTAP#サーバーレス#S3AccessPoints#コスト最適化

関連ブログ

となりずむ•4ヶ月前

MacBook Neo、1億行のデータ処理でクラウドに圧勝。ローカルSSDが変えるDB作業の新常識

✅この記事では、MacBook NeoのDuckDBベンチマークで見えたCold Runの強さと、逆に見えてしまった8GBメモリの限界が分かります。 クラウドに勝った、という見出しだけで飛びつくと少しズレます。速かったのは事実ですが、どの条件で速く、どこから苦しくなるのかはかなりはっきり出ています。 要点まとめ：勝った場面と苦しくなる場面がきれいに分かれました 1億行のClickBenchで何が起きたのか Hot Runで逆転した理由はかなり素直です SF300で見えた本当の壁は8GBメモリです 製品として見ると、MacBook Neoは最初から役割が絞られています 注目したいポイント：クラウ…

#MacBook Neo#A18 Pro#AWS#ClickBench#TPC-DS#SSD#8GBメモリ#ベンチマーク#データ分析
株式会社有限公司.Ltd•8ヶ月前

DuckDBチュートリアルを2025年11月環境で実施する

はじめに DuckDBとは チュートリアル 実行環境 概要 チュートリアル 1. インストール 2. DuckDBの起動と終了コマンド 3. チュートリアル用データ（CSV）をDuckDB内で読み込む 4. CSVデータをDuckDBのテーブルとして取り込む 5. CSVデータをコピー、ファイル形式を変更 6. 変換したParqeutファイルを読み込む まとめ はじめに 現在行っている就業訓練を通じてデータエンジニアリングに興味をもったので、関連するツールや技術を調べ・学んでいます。 今回はタイトル通り、DuckDBのチュートリアルをDuckDB v1.3.1 で実行した記事です。 元々のチュ…

#duckdb
LayerX エンジニアブログ•1年前

データ基盤なAWS SecurityLakeに対するSIEMクエリエンジンをDuckDBにするとサクサクで楽しい話

ドーモ、読者のミナ=サン、LayerX Fintech事業部（三井物産デジタル・アセットマネジメント（MDM）に出向）で、@ken5scalです。 久しぶりのAmazon SecurityLakeとログ系のブログです。セキュリティにおいても、紀元前よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析を行うことで、インシデントの早期発見や対応が可能になることはよく知られています。その代表的なソリューションが、そう、皆様よくご存じのSIEMです。 当社では、従来のSIEM（DataDog SIEM）に加え、データエンジニアリング的なアプローチにチャレン…

#duckdb#Apache Iceberg#SIEM ツール#Security#audit
RAKUS Developers Blog | ラクス エンジニアブログ•1年前

Ducklake(PostgresqlでカタログDB構築): Postgresql + s3(Minio) + DuckDBで構築するLakehouse

はじめに こんにちは！ エンジニア３年目のTKDSです！ 今回はメタデータ管理をPostgresqlやMySQLなどのSQLデータベースが担う新しいOSSのLakehouseフォーマット、Ducklakeについて試してみました！ 今回はPostgresql+s3(minio)+DuckDBで構築してます。 はじめに Ducklakeの概要 準備 1. composeでPostgresqlとminioを起動 2. minioでバケットを作成する 3. DuckDB側の準備と起動 試す まとめ

#dukelake#Ducklake#duckdb#postgre
ROUTE06 Tech Blog•1年前

Docusaurus v3 の全文検索を DuckDB Wasm + FTS 拡張で実装した

こんにちは。ソフトウェアエンジニアの id:masutaka26 です。 ROUTE06 では全社ワークスペースに GitHub を利用しています。 note.route06.co.jp ストック情報としての社内ドキュメントは GitHub Pages で社内限定で公開されており、静的サイトジェネレーターとして Docusaurus を利用しています。 検索精度への課題 DuckDB Wasm で検索フォームを実装した DuckDB とは 検索フォームの実装概要 PoC で検討したこと まとめ 参考 検索精度への課題 今までは Docusaurus の Community plugins でも…

#Docusaurus#duckdb#wasm#lindera#GitHub
Adwaysエンジニアブログ•1年前

ログ収集・検索をDuckDBで効率化する

こんにちは！広告事業本部でアプリケーションエンジニアをしている中村です！！ 全然関係ないですが、サウナで整った後が一番集中してコードを書けますよね！！ 弊社のグループが運営しているオールドルーキーサウナはその中でもTop of 整うのでサウナ好きエンジニアは是非一度足を運んでみてください！ 前振りはこんなもので今回は、ログ収集・検索にコストをかけずに効率化できる方法についてお話しします！ 特に、DuckDBを使ってどのようにログを可視化するかに焦点を当てます。 読者ターゲット ログ収集・検索の環境に困っている方 コストをかけずにログ収集・検索を行いたい方 DuckDB UI の利用例を知りたい…

#ログ#クラウド
くしゃみのちり紙•1年前

GrafanaでS3に置いてあるログファイルを参照する

きっかけは以下のツイートを見かけたことでした。 Grafana を立てるだけで、S3 にログ保存しておけば、好きなだけグラフが作れる時代が来てしまった。なんということだ。 https://t.co/uuYgm8dLIr— V (@voluntas) 2025年2月13日 なにこれ良さそう。GrafanaもDuckDBも全然知らんけど。 ということで試してみました。 キーアイテム grafana-duckdb-datasourceというGrafanaプラグインを使用します。 github.com 前提 Grafana Version: v11.6.0-82874 (e5b49a406f) Con…

#Grafana
CARTA TECH BLOG•2年前

DuckDBが思った以上に便利だった話

この記事は CARTA TECH BLOG アドベントカレンダー2024 の12/24の記事です。こんにちは、新卒入社したCARTA MARKETING FIRMのebittです。入社以来、広告ドメインとデータ基盤に跨って大量のデータを扱う業務の多い1年でした。色々壁にぶち当たり、悩み、正直まだまだ学びしかありません。さて、この記事では大量のデータを素早く分析する処理に長けたDuckDBを最近お試しした話を書いていこうと思います。 DuckDBとは？ DuckDBはOLAP用途での利用を想定された無料・オープンソースの組み込みRDBMSです。 S3などのリモートやローカルからCSVやJSONを…

#duckdb#OLAP#アドベントカレンダー 2024
継続は力なり•2年前

DuckDB で CloudTrail のログにクエリしてみる

タダです. 前回 DuckDB CLI をセットアップしました.今回は CloudTrail ログを分析してみます. sadayoshi-tada.hatenablog.com S3 に入っているログからテーブルを作る こちらの記事を参照させていただいてテーブルを作ってみました. D CREATE TABLE trail_log_20170424 AS WITH raw_data AS ( SELECT * FROM read_json( 's3://[CloudTrail ログパス]', maximum_depth=2 ) ) SELECT unnest(Records) AS Event …

#AWS#ツール