Hatena Blog Tags
はてなブログ トップ
BigTable
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

BigTable

(ウェブ)
【びっぐてーぶる】

Google File SystemなどのGoogle インフラの上に作られた分散データベース。

複数のテーブル群をまとめる、 Relational DB とは違い、テーブルひとつが論理単位となっている。



Googleが提供する、検索をはじめ、Google Earth、Google Maps、Youtubeなどでも利用されている。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
G-gen Tech Blog•5日前

BigQueryを徹底解説！(応用編)

G-gen の杉村です。当記事は BigQuery について徹底的に解説する記事の応用編です。BigQuery に初めて触れる方はまずは基本編の記事を、ぜひご参照ください。 基本編の記事 外部データ連携の概要図 外部テーブル 外部テーブルとは 用途 Cloud Storage 外部テーブル Google ドライブ外部テーブル Bigtable 外部テーブル 連携クエリ (Federated query) BigQuery Omni BigQuery Omni とは 対応サービス 注意点 BigLake BigLake とは データソース 通常の外部テーブルとの違い 利点 権限の持たせ方 Big…

ネットで話題

もっと見る
282ブックマークGoogleの誇る巨大データベースBigTableのオープンソースクローン「Hypertable」gigazine.net
252ブックマークここが大変だよBigtableとGoogle App Engineatmarkit.itmedia.co.jp
171ブックマークGoogleの巨大分散データストアBigtableとDatastoreを理解するxtech.nikkei.com
170ブックマークBigtable: A Distributed Storage System for Structured Data - steps to phantasien t(2006-09-11)2006-09-11 近況 今月は貧乏なので慎しく暮らしている. 週末もひきこもりとしてオンラインの記事を読んで過ごすことに. ウェブを眺めているといいタイミングで Google の新作論文が出ていた. ありがとう, Google の中の人. これ. GFS, MapReduce, Sawzall とつづく Google インフラ N 部作の 4 章が幕をあげた. 実はデー...bn.dodgson.org
168ブックマーク素朴なBigtable、できること できないことatmarkit.itmedia.co.jp
135ブックマークたけまる / Google App Engine のデータストアは Bigtable をどのように使っているのか_ Google App Engine のデータストアは Bigtable をどのように使っているのか [gae][bigtable] Google App Engine (GAE) が発表されてから2週間ほど経ちます．GFS や Bigtable という名前だけはよく耳にするようになりましたが，Bigtable と GAE のギャップについては話題になっていないように思います． Bigtable は mu...teahut.sakura.ne.jp
133ブックマークTechCrunch Japanese アーカイブ » Googleが巨大データベース「BigTable」をウェブサービスとして公開か？jp.techcrunch.com
128ブックマークBigtableをjQueryで操作できる「gaedirect」とはatmarkit.itmedia.co.jp
85ブックマークGoogle Research Publication: Bigtable: A Distributed Storage System for Structured DataBigtable: A Distributed Storage System for Structured Data Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, and Robert E. Gruber Abstract Bigtable is a distributed storage system for managing structured data that is designe...labs.google.com

関連ブログ

SYM's Tech Knowledge Index & Creation Records•17日前

gPRC: Protocol Buffers スタイル規約 ＆ API ベストプラクティスまとめ

gPRC: Protocol Buffers スタイル規約 ＆ API ベストプラクティスまとめ ファイル ＆ パッケージ構成 Message Field Nested Type Any Enum Service Proto ベストプラクティス API ベストプラクティス フィールドとメッセージを正確かつ簡潔に文書化する Wire (≒API?)と Storage でメッセージを使い分ける Mutations (更新 API) の場合、データの完全なリプレイスではなく、部分的な更新または追加のみの更新をサポートする トップレベルのリクエストまたはレスポンスの proto にプリミティブ型（基本…

ブログ@nnaka2992•23日前

現在のDremelの実装を解説した論文を読みました

この記事の趣旨 2020年に発表されたBigQueryの元となったGoogle内で利用されている分析向けデータベースであるDremel の実装を解説した論文を読みました。 Dremel: A Decade of Interactive SQL Analysis at Web Scale 著者について Sergey Melnik, Andrey Gubarev, Jing Jing Long, Geoffrey Romer, Shiva Shivakumar, Matt Tolton, Theo Vassilakisら2010年のDremel発表論文の著者らと、 Hossein Ahmadi, …

Carpe Diem•24日前

BigQueryからBigtableへアクセスしてデータ分析

概要 Bigtableは数十億行、数千列規模に拡張可能な分散型NoSQLですが、 特定のカラムファミリのみ持つ行を全て抽出する といった時にcbt(CLIツール)やSDKではiterateしてデータをハンドリングするため、大規模データ分析の用途では使いづらさがあります。 そこでBigQueryの外部テーブルとして扱うことで、SQLを用いて簡単に条件に基づいたデータのみ抽出することが可能になります。 外部テーブルの作成 環境 以下の環境であると仮定して進めます。 項目 設定値 GCPプロジェクト project-a Bigtableインスタンス bigquery-access-test Bigt…

ローファイ日記•2ヶ月前

自作 LSM-Tree その1

Log-Structured Merge Tree というデータ構造があって、データ指向アプリケーションデザインを読んでいるとかなり最初の方に出てくる。Wikipediaの記事の通りLevelDBを始めきょうびのさまざまなデータベース製品で使われている。 特徴はめちゃくちゃざっくり*1 追記型のログを使うことで書き込みの性能を保つ インデックスはキー名とログ内のオフセットzを持っておき、読み出しも速度を出す ログを SSTable というデータ構造に退避することで、インデックスはある程度疎にしつつ（めちゃくちゃキーが多くなってインデックスの時点でデカくなるなどを防ぐ）速度を保ってアクセスできる…

pixiv inside•2ヶ月前

Bigtableの読み取り速度をGoとPHPで比較してみました

こんにちは、インフラ部でアルバイトをしているmya0です。 Cloud Bigtableをpixivのサービス内から利用したときの読み取り速度にどの程度影響があるのか調べるために、Go, PHP(cli), nginx+php-fpm, apache+mod_phpで測定し比較しました。 Bigtableとは Google Cloud PlatformのCloud Bigtable(https://cloud.google.com/bigtable?hl=ja)は、大規模なデータを低レイテンシで扱うことのできるNoSQLデータベースサービスです。 SSDの1ノードで10,000行/sの処理がで…

エムスリーテックブログ•2ヶ月前

僕がAIチームで知っている技術スタックまとめ

こんにちは、エムスリーエンジニアリンググループ AI・機械学習チーム(以下「AIチーム」)で機械学習エンジニアをしている農見です。 今日から1週間「AIチーム ブログリレー」と題し、AIチームメンバーでリレー形式でテックブログを執筆し、AIチームがどのような開発をしているのか・どんなチームなのか・どんなメンバーがいるのかなど、ご紹介できればと思います。 記念すべき初回は僕がAIチームで知っている技術スタック( AIチーム内で使ってる技術スタックではない)についてです。それではどうぞ

Carpe Diem•3ヶ月前

Bridgeを使ってOpenCensusのSpanをOpenTelemetryに取り込む

概要 OpenTelemetryはOpenCensusやOpenTracingをまとめた形で生まれたので、既にOpenCensusやOpenTracingの形で実装されたライブラリは移行するのが大変です。 例えばGCPの各SDKは基本的にOpenCensusで実装されています。 そのようなライブラリを使用する際に OpenCensus Bridge OpenTracing Bridge といったBridgeを使うことで簡単にOpenTelemetry用のSpanとして取り込むことができます。 環境 Go v1.20.2 go.opentelemetry.io/otel/trace v1.14.…

APC 技術ブログ•3ヶ月前

なぜDevOpsの発展にプラットフォームエンジニアリングが必要になるのか？

こんにちは。取締役兼ACS事業部の責任者の上林です。 前回は「プラットフォームエンジニアリングの概要」について書かせて頂きました。前回注目されている背景として、さらっと「アジャイルやDevOpsの組織的な推進」と書きましたが、今回はその点を確認していきます。歴史的な背景をもう少し深堀しながら、紐解いていきたいと考えています。なにかのお役に立てば幸いです。 アジャイルとDevOpsの誕生 大きく端折って書くと、1990年代に大規模な開発の反作用としてRAD、スクラム、XPなどの開発の方法論の議論があり、2001年には象徴的に「アジャイルソフトウェア宣言」が登場します。その後、webサービスの発展…

Lean Baseball•3ヶ月前

Cloud Run上のGo製RESTful APIからBigQueryとCloud Storageを使う - PythonからGoに変えた理由を添えて

仕事がずっとコンサルワークなので, 休日のプログラミングがめちゃくちゃ楽しみになっている人です. 最初にお礼をさせてください, Developers Summit 2023の発表, なんだか好評価（高評価）だったみたいです. #devsumi 開催報告によると、私のトークの満足度は全90セッション中11位でした🎉フィードバックコメントも多数いただき、誠にありがとうございました！次回作にご期待ください（多分夏ぐらいになるだろう）https://t.co/68lYY2vj25— Shinichi Nakagawa / 中川 伸一 (@shinyorke) 2023年3月2日 練習やレビューに協力い…

pixiv inside•3ヶ月前

【後編】完全自社開発の広告システム、pixiv Adsを支える技術を大公開

ピクシブ株式会社は2022年11月24日、pixivに運用型配信広告が簡単に出稿できる「pixiv Ads」をリリースしました。pixiv Adsは完全自社開発のセルフサーブ型の運用型広告プラットフォームです。実現にあたっては実に二年以上の歳月かけて、数々の技術的挑戦を行ってきました。 本日はpixiv Adsの技術を支えるエンジニア4名から、特に大きな取り組みを中心に技術発表させていただきます。 なお今回は後編記事となりますので、先に前編記事（https://inside.pixiv.blog/2023/02/17/110000）をご覧ください。 pixiv Adsの技術的挑戦 大きな取り組…

Nのビジネスブログ•4ヶ月前

令和 4 年度　第 1 次試験問題 経営情報システム 第十四問　解答と解説

解答

tkherox blog•4ヶ月前

GCP Associate Cloud Engineer を受けたよ

はじめに Associate Cloud Engineer試験 勉強開始前の状態 試験対策 試験結果 まとめ はじめに 最近仕事でGCPを触る機会が増えてきたので、 Google Cloud 認定資格である「Associate Cloud Engineer」の資格を取得しました。この記事では学習前の状態から実際の勉強方法についてこれから取得を目指す方の参考になればという思いで参考情報を記述していこうと思います。 勉強開始前の試験概要の調査段階では、最上位の資格を受けようと思ったのですが、不合格だった場合の再受験ポリシー*1があるため、まずはエントリーということで「Associate Cloud…