Google File SystemなどのGoogle インフラの上に作られた分散データベース。
複数のテーブル群をまとめる、 Relational DB とは違い、テーブルひとつが論理単位となっている。
Googleが提供する、検索をはじめ、Google Earth、Google Maps、Youtubeなどでも利用されている。
G-gen の西島です。本記事は Google Cloud Next '24 in Las Vegas の2日目に行われた Breakout Session「What's new with BigQuery」のレポートです。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 セッションの概要 BigQuery data preparation(Preview) BigQuery workflows(Preview) BigQuery continuous queries(Preview) Cro…
G-gen の西島です。当記事では Google Cloud Next'24 Las Vegas の「What's next for Google Cloud databases in the gen AI era」セッションの内容をいくつかピックアップして速報でお伝えします。 セクション概要 AlloyDB ScaNN index for AlloyDB AlloyDB model endpoint management Natural language in AlloyDB Parametalized secure View Firestore Bigtable 関連記事 セクション概要 …
お仕事 広告配信サーバー開発 メイン機能は2週間ぐらいの合宿で作った(どや) backend golang Terraform CloudRun (CloudRun Jobs) BigQuery BigTable AlloyDB frontend next.js TypeScript shadcn/ui CI/CD tagpr GitHub Flowで毎日のDaily Scrumでリリース 開発手法 スクラム(1週間のスプリント) Design Doc ADR風のメモ Project固有の事項 ML組み込み 高トラフィック低レイテンシで返却しないといけない配信サーバーで、パフォーマンスを落とさ…
research.google Monarchのまとめ # 論文まとめフォーマット ## どんなもの? - Googleの内部と外部のすべてのサービスで使われる監視に用いられるインメモリデータベース - Cloud Monitoring や Managed Prometheus、課金データのためのメトリクスなど - GoogleのストレージのBigtableやストレージ基盤であるColossusの監視にも用いられる(ColossusにはBigtable(GFS版)が部分的に用いられる) ただし、Monarch自体の監視にはmetaと呼ばれる、安定した古いバージョンのMonarchが用いられる …
書籍「System Design Interview : Mastering Basic Introduction to System Analysis and Design」を読んだので内容をまとめる。 以下の内容は、ほとんどClaude3 Opusを使用して作成している。 CHAPTERごとの要約 CHAPTER 1: SCALE FROM ZERO TO MILLIONS OF USERS システム設計における基本的な概念と、シンプルなサーバー構成から数百万ユーザーをサポートする分散システムまでの段階的なスケーリングの方法を解説。垂直スケーリングと水平スケーリング、データベースのレプリケ…
G-gen の杉村です。Personalized Service Health は、Google Cloud の障害を特定、通知するサービスです。このサービスについて、徹底解説します。 Personalized Service Health とは 対応プロダクト インシデント インシデントとは Relevance(影響度) 有効化 アラート通知 Personalized Service Health とは Personalized Service Health とは、Google Cloud(旧称 GCP)の障害を特定したり、通知したりするためのサービスです。このサービスの利用に、料金は発生し…
2022年 : https://nazo.hatenablog.com/entry/2022-works 2021年 : https://nazo.hatenablog.com/entry/2021-works 2020年 : https://nazo.hatenablog.com/entry/2020-works 2019年 : https://nazo.hatenablog.com/entry/goodbye-uuum 何してたの? 一応、仕事しています。 あまり細かいことは言えないのですが、PythonでGraphQLでBigQuery x BigTableでPub/Subで…とかしつつ…
こんにちは。Amethystのフロントエンドエンジニアをしている淺津です。 この記事は JADE Advent Calendar 2023 の13日目です。 この記事では、Amethystフロントエンドの技術選定や開発インフラ等についてご紹介します。 前提条件 プロダクト チームの規模 ベースの技術 アーキテクチャ 状態管理・API連携 i18n スタイリング その他 開発補助 テスト、Storybook Lint、Format おわりに 前提条件 プロダクト Amethystは、Search Console API を利用した、SEOのための分析 SaaS(BtoB)です。 インハウスのSE…
当記事では、BigQuery に統合された Vertex AI Feature Store というベクトルストアと、テキストの意味をベクトル化できる Vertex AI Text-Embeddings API を使った活用事例をご紹介します。 当記事は Google Cloud Champion Innovators Advent Calendar 2023 の7日目の記事です。 Vertex AI Feature Store とは Vertex AI Text-Embeddings API とは 活用例 ①レコメンド ②グラウンディング サンプルアプリ アーキテクチャ 検索画面 検索結果 デ…
AWSサービス 分類 サービス詳細 対応GCPサービス 備考 S3 ストレージ Cloud Strage Amazon EMR ETL Dataproc AWS Glue ETL DataprocData CatalogComposer(Airflow)Data FusionDataprep Glueはバッチ/ストリーミングに対応 Amazon Kinesis Data Analytics データ分析 ストリーミングデータをリアルタイムで変換および分析 Dataflow Kinesis Data Analytics:Apache Flink使用。ストリームデータのみDataflow:Apach…
はじめに おまけ画像 コンピューティング Computing Engine コンテナ Artifact Registry Cloud Build Cloud Deploy Google Kubernetes Engine データ分析 BigQuery Looker Dataproc Dataflow Pub/Sub データベース Cloud Bigtable Cloud Spanner Cloud SQL Firestore Memorystore サーバレス App Engine Cloud Functions Cloud Run ストレージ Cloud Storage ネットワーキング C…
初めに Google Cloud Platform(GCP)は、Google が提供するクラウドコンピューティングサービスです。本記事では、GCPの特徴や料金、始め方についてまとめます。無料枠で使用できるプロダクトなども紹介しています。
G-gen の杉村です。2023年11月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Duet AI が Cloud Logging のログを要約・説明 (GA) 復数の Duet AI 関連アップデート BigQuery で異なるユーザ間でもキャッシュが効くように BigQuery で過去〜現在のストレージ使用量を取得可能に (Preview) BigQuery で TEXT_ANALYZE 関数が登場 (Preview) Generative AI support on Vertex AI で東京…
G-gen の杉村です。Google Cloud のメタデータ管理ツールである Data Catalog を解説します。 概要 Data Catalog とは Data Catalog の機能 データカタログの利点 メタデータとは データ検索機能 検索方法 クエリの構文 メタデータ管理機能 Data Catalog が自動収集するメタデータ Google Cloud 以外のカタログ化 テクニカルメタデータとビジネスメタデータ テクニカルメタデータ ビジネスメタデータ Data Catalog のオブジェクト エントリとエントリグループ Data Catalog におけるタグ データの自動登録 …
※2023/11/12 最新情報にアップデート GCP Associate Cloud Engineer(ACE)の勉強方法 GCP Associate Cloud Engineer 模擬試験(公式:無料) Associate Cloud Engineer 模擬試験の概要 Associate Cloud Engineer 模擬試験の注意事項 Google Cloud(GCP)Associate Cloud Engineer(ACE)のUdemyを受講してみた Udemy:Associate Cloud Engineer 模擬問題集 Udemy:最速で学ぶ - Google Cloud Plat…