Hatena Blog Tags
はてなブログ トップ
BigTable
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

BigTable

(ウェブ)
【びっぐてーぶる】

Google File SystemなどのGoogle インフラの上に作られた分散データベース。

複数のテーブル群をまとめる、 Relational DB とは違い、テーブルひとつが論理単位となっている。



Googleが提供する、検索をはじめ、Google Earth、Google Maps、Youtubeなどでも利用されている。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Uzabase for Engineers•15日前

Cloud Bigtableを触ってみよう

こんにちは。 Uzabase SaaS事業の開発チームに所属している掛川です。 私の所属しているチームではユーザーからの入力情報を履歴として保存したいという要件があり、大量の入力履歴を保存するためにGoogleのCloud Bigtableを採用しています。 RDBばかり触ってきた私は、初めてBigtableを一から構築、データの登録を行ってみて戸惑うことばかりでした。 本記事は、私と同じように初めてBigtableを使う方や使おうか検討している方に向けて「Bigtableの概要からテーブルの作成、Kotlinを使った簡単なデータの取得/登録APIの作成まで」を纏めました。 Bigtableに…

ネットで話題

もっと見る
282ブックマークGoogleの誇る巨大データベースBigTableのオープンソースクローン「Hypertable」gigazine.net
252ブックマークここが大変だよBigtableとGoogle App Engineatmarkit.itmedia.co.jp
170ブックマークBigtable: A Distributed Storage System for Structured Data - steps to phantasien t(2006-09-11)2006-09-11 近況 今月は貧乏なので慎しく暮らしている. 週末もひきこもりとしてオンラインの記事を読んで過ごすことに. ウェブを眺めているといいタイミングで Google の新作論文が出ていた. ありがとう, Google の中の人. これ. GFS, MapReduce, Sawzall とつづく Google インフラ N 部作の 4 章が幕をあげた. 実はデー...bn.dodgson.org
170ブックマークGoogleの巨大分散データストアBigtableとDatastoreを理解するxtech.nikkei.com
166ブックマーク素朴なBigtable、できること できないことatmarkit.itmedia.co.jp
135ブックマークたけまる / Google App Engine のデータストアは Bigtable をどのように使っているのか_ Google App Engine のデータストアは Bigtable をどのように使っているのか [gae][bigtable] Google App Engine (GAE) が発表されてから2週間ほど経ちます．GFS や Bigtable という名前だけはよく耳にするようになりましたが，Bigtable と GAE のギャップについては話題になっていないように思います． Bigtable は mu...teahut.sakura.ne.jp
133ブックマークTechCrunch Japanese アーカイブ » Googleが巨大データベース「BigTable」をウェブサービスとして公開か？jp.techcrunch.com
127ブックマークBigtableをjQueryで操作できる「gaedirect」とはatmarkit.itmedia.co.jp
85ブックマークGoogle Research Publication: Bigtable: A Distributed Storage System for Structured DataBigtable: A Distributed Storage System for Structured Data Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, and Robert E. Gruber Abstract Bigtable is a distributed storage system for managing structured data that is designe...labs.google.com

関連ブログ

G-gen Tech Blog•25日前

Google Cloud Next '23 速報を日本語で解説(2&3日目)

G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。前回の記事では1日目の発表を扱いましたので、今回の記事ではそれ以外の発表等をご紹介します。 はじめに 開発の効率化 Jump Start Solutions GitLab との提携 Application Integration の GA インフラ C3A / C3D VM Titanium BigQuery と AI/ML BigQuery ML での生成 AI 利用 Feature Store の BigQuery 対応 BigQuery…

The Journey to Stars〜未知への探求〜•2ヶ月前

＜GCP-PCA＞#2.ストレージ

GCP勉強中のririです。 GCPは業務で触れる機会がほとんどないので、勉強中に学んだことをメモしていこうと思います。 今日は基本的なストレージについてまとめます。 その他の記事はこちら⬇︎ konomamaowaru.hatenablog.jp ＜GCP-PCA＞#1.コンピューティングサービス ＜GCP-PCA＞#3.ネットワーク ＜GCP-PCA＞#4.管理サービス ＜GCP-PCA＞#5.セキュリティ関連サービス ＜GCP-PCA＞#6.その他コアサービス ストレージ そのほか覚えておくべきこと GCS Firestore SQL Transfer Appliance Storage…

High Link テックブログ•2ヶ月前

Cloud Firestore を活用したバッチレコメンドシステムを開発した話

こんにちは，株式会社 High Link で業務委託（副業）として働いている，機械学習（ML）エンジニアの柏木（@asteriam）です． High Link では，カラリア香りの定期便という toC サービスを提供していて，ML エンジニアは，データを武器にした非連続的な事業成長を支える技術開発を担っています．具体的には推薦システムや診断といった部分に ML が活用されています． ハイリンク 機械学習・データエンジニア向け 紹介資料 今回はよりサービス改善がしやすい環境にすべく，機械学習用 API（ML-API）と ML パイプラインの役割を分離させ，ロジック改善を回しやすい環境を作っている…

エムスリーテックブログ•2ヶ月前

エラーでる憂き夕刻をエラー無く棲みなすものは

【QAチーム ブログリレー2日目】 こんにちは。猛暑のさなか仁左衛門の体調がいささか気になる、エンジニアリンググループ・マルチデバイスチームQAの前川です。 1月のエンジニアブログで紹介のありましたように、私がQAエンジニアとして所属するマルチデバイスチームは、各事業チームの展開サービスを横串でサポート・開発を行う横断チームにあたり、私はその中でm3.comアプリ、Web講演会アプリ、ToDo PlusアプリのiOS/Androidアプリとそのapiサーバサイド、Push通知のバックヤードなど、チームが関わるプロダクトの大半を担当しています。 多岐にわたるサービスを呼び出すアプリのテストは、時…

G-gen Tech Blog•3ヶ月前

Bigtableを徹底解説！

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 ビジネスにおいてデータ活用が重要なことは改めて記載するまでもありません。 大量のデータを高速に処理でき、スケーラビリティのある Bigtable は、より効率的かつ正確なビジネス上の意思決定に貢献できそうです。 また、高度で詳細な監査要件の求められる金融機関のシステムにおいてはログの蓄積・解析などでの利用も考えられそうです。 G-gen の片岩です。 当記事では Google Cloud のデータベースサービスである Bigtable を徹底解説します。 基本事項 Cloud Bi…

yasuhisa's blog•3ヶ月前

Dataplex(旧Data Catalog)によるデータカタログの調査

Dataplex(旧Data Catalog)によるデータカタログについてあれやこれやれやをまとめておいたポインタが欲しくなってきたので、とりとめもなくつらつらと書きます。 注意点: BigQuery on GCPの運用を前提に書いてます Dataplexはデータカタログ以外の機能もたくさんありますが、データカタログの観点にフォーカスして書いてます 論理的なデータ構造を作成したり、それに基づいた権限管理など 少人数のチームでデータ基盤を運営しており、データカタログの運用自体に工数をなかなか割けない前提で書いてます 自前で作ることも難しいし、ましてそれを継続的に運用するのはさらに難しい 「データ…

ぽ靴な缶•3ヶ月前

Google Cloud 認定 Professional Data Engineer 取りました

やったー Google Cloud の主催する Google Cloud Innovators Gym Japan (G.I.G) というプログラムに参加して取りました。 Google Cloud を利用する企業を対象とした招待制のプログラムで、参加すると関連する Coursera コースへのアクセス、試験を受けるためのサポート、Google Cloud エンジニアの方によるハンズオンや質問できる機会が提供されます。 バッジ 以下の資格が対象。今回のプログラムは4月中頃に始まり、7月中頃までに Coursera のコースを終え合格報告をするスケジュール。お話を頂いて良い機会なのでチームの若者を…

G-gen Tech Blog•4ヶ月前

BigQueryを徹底解説！(応用編)

G-gen の杉村です。当記事は BigQuery について徹底的に解説する記事の応用編です。BigQuery に初めて触れる方はまずは基本編の記事を、ぜひご参照ください。 基本編の記事 外部データ連携の概要図 外部テーブル 外部テーブルとは 用途 Cloud Storage 外部テーブル Google ドライブ外部テーブル Bigtable 外部テーブル 連携クエリ (Federated query) BigQuery Omni BigQuery Omni とは 対応サービス 注意点 BigLake BigLake とは データソース 通常の外部テーブルとの違い 利点 権限の持たせ方 Big…

G-gen Tech Blog•4ヶ月前

BigQueryを徹底解説！(基本編)

G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は基本編であり、当記事を読み終わったあとは応用編もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド (サーバーレス) 他の Google Cloud サービスとの連携 他クラウドサービスとの連携 料金 料金体系の基本 ストレージ料金 ストレージ料金の基本 Physical Storage と Logical Storage Active Storage と Long-term Storage コンピュート料金 無料枠 コンポ…

ブログ@nnaka2992•4ヶ月前

現在のDremelの実装を解説した論文を読みました

この記事の趣旨 2020年に発表されたBigQueryの元となったGoogle内で利用されている分析向けデータベースであるDremel の実装を解説した論文を読みました。 Dremel: A Decade of Interactive SQL Analysis at Web Scale 著者について Sergey Melnik, Andrey Gubarev, Jing Jing Long, Geoffrey Romer, Shiva Shivakumar, Matt Tolton, Theo Vassilakisら2010年のDremel発表論文の著者らと、 Hossein Ahmadi, …

G-gen Tech Blog•4ヶ月前

Google Cloud サービスカット学習コンテンツ集

Google Cloud (旧称 GCP) の 学習に役立つオンラインコンテンツ をサービスカットや分野別でまとめました。Google Cloud の基本的な学習のほか、資格取得にも役立つコンテンツ集となっておりますので、お役立てください。 はじめに Google Cloud 全般 課金・コスト削減 アーキテクチャ・ベストプラクティス セキュリティ・統制 コンピューティング ネットワーク ストレージ データベース データ分析 AI / ML (機械学習) 開発・IaC 監視・運用・SRE その他・Google プロダクト Google Workspace Google Cloud 認定資格 は…

Carpe Diem•4ヶ月前

BigQueryからBigtableへアクセスしてデータ分析

概要 Bigtableは数十億行、数千列規模に拡張可能な分散型NoSQLですが、 特定のカラムファミリのみ持つ行を全て抽出する といった時にcbt(CLIツール)やSDKではiterateしてデータをハンドリングするため、大規模データ分析の用途では使いづらさがあります。 そこでBigQueryの外部テーブルとして扱うことで、SQLを用いて簡単に条件に基づいたデータのみ抽出することが可能になります。 外部テーブルの作成 環境 以下の環境であると仮定して進めます。 項目 設定値 GCPプロジェクト project-a Bigtableインスタンス bigquery-access-test Bigt…