リリースを間近に控えた環境で、2つの MATERIALIZED VIEWの作成で以下のエラーが発生するとの連絡を受けました。 ORA-00600: 内部エラー・コード, 引数: [KGL-heap-size-exceeded], [0x303FBFEA10] 環境は以下の通りです。 Oracle RAC(2ノード) EE 19.9 Oracle Linux 7.9
こんにちは、MLBお兄さんこと松村です。 シカゴ・カブスの今永昇太投手は、ここまで3試合の先発登板でいまだに防御率が 0.00 という、素晴らしい成績を残しています。 今回は Azure Cosmos DB for NoSQL のデザインパターン解説記事の第6弾です。 前回は「イベントソーシング (Event sourcing) パターン」を解説しました。 aadojo.alterbooth.com 今回は「マテリアライズド・ビュー (Materialized View) パターン」について解説をします。 このデザインパターンについては、Cosmos DB の GitHub リポジトリやブログ…
G-gen の杉村です。2024年3月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに 放置プロジェクトに対する推奨事項が表示 AlloyDB AI が Preview => GA BigQuery で Amazon S3 に対するマテビュー等が Preview => GA IAM 事前定義ロール一覧ドキュメントの読み込みが高速化 Cloud Run の service レベルで最小インスタンス数を設定可能に 別 GWS アカウントにメールデータを移行(Open Beta) VPC で Internal …
はじめに Iceberg view概要 一般的なクエリエンジンにおけるviewの役割 Iceberg viewを使ってみる Iceberg viewのコンセプト メタデータ形式の共有 viewのバージョン管理 Iceberg viewの構成要素と仕組み View Metadata versionsフィールド representationsフィールド 「create_changelog_view」プロシージャによるIcebergのCDC create_changelog_view create_changelog_viewの使い方 引数 アウトプット create_changelog_viewの…
過去の記事でも書きましたが、Oracle Database 23cから従来型監査がサポートされなくなり、統合監査を使用しなければいけなくなりました。 今回は統合監査を使用するために必要な設定や、従来型における標準監査相当を行うための監査ポリシーの作成方法などについて調べてみました。なお、実機調査の際は、Linux x86-64版Oracle 19c(19.22.0)のRAC環境を用いて行いました。
G-gen の杉村です。2023年12月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに PaLM 2 の Unicorn サイズのモデルが公開(GA) Generative AI on Vertex AI でグラウンディング(Preview) Googleの新生成AIモデル・Gemini(ジェミニ)が公開 Cloud Armor の Managed Protection Plus で PayGo (Preview) Cloud Monitoring のアラートポリシーで重要度を設定できるように Vert…
Excelショートカット。Shift + F4で前回の検索を繰り返す。便利 www.i-skillup.com マテリアライズド・ビューを知った products.sint.co.jp grepコマンドの使い方を忘れてたから復習 eng-entrance.com
データセットの管理 データセットを作成する プロジェクトの全データセット名をリスト表示 データセットの削除 テーブルの管理 テーブルの作成 テーブルのメタデータの表示 テーブルの削除 テーブルの外部エクスポート ネストされた列と繰り返し列を含むテーブルを作成する ネストされたレコードの挿入 ネストされた繰り返し列(addresses)に対して、特定の位置にある ARRAYの値を取得する テーブルに空の列を追加する テーブルの列の名前を変更する テーブルの列のデフォルト値を変更する 列のデフォルト値を削除する パーティーション分割 (時間単位列)パーティション分割テーブルを作成する (取り込み時…
G-gen の杉村です。Google Cloud のメタデータ管理ツールである Data Catalog を解説します。 概要 Data Catalog とは Data Catalog の機能 データカタログの利点 メタデータとは データ検索機能 検索方法 クエリの構文 メタデータ管理機能 Data Catalog が自動収集するメタデータ Google Cloud 以外のカタログ化 テクニカルメタデータとビジネスメタデータ テクニカルメタデータ ビジネスメタデータ Data Catalog のオブジェクト エントリとエントリグループ Data Catalog におけるタグ データの自動登録 …
イベント概要: JADEでは「インターネットをよくする」をミッションに日本トップクラスの経験✕知識✕データをもつ検索マーケティング集団がSEOやWeb広告を中心としたサービスを提供しています。 「検索マーケターとして、BigQueryの基本的な操作や簡単なSQLを書くことには慣れたが、初心者から一歩踏み出してBigQueryを活用したデータ活用スキルを身に着けたい!」そんな方におすすめです。 このセミナーでは、検索マーケターが直面する日々のデータ課題や目標に焦点を当て、高度なSQLクエリの実践や具体的に運用に耐えうるダッシュボードの構築などができるようになることを目標とします。大規模データの処…
G-gen の杉村です。BigQuery の可用性を高めるための クロスリージョン・データセットレプリケーション (Cross-region dataset replication) について解説します。 クロスリージョン・データセットレプリケーションとは 仕組み BigQuery の可用性 データのレプリケーション セカンダリ・レプリカの昇格 料金 制限 ロケーションの考慮事項 その他の制限 セカンダリ・レプリカへのクエリ 仕様 スロット 障害時の挙動 利用方法 レプリカの作成 クエリの実行 昇格 レプリカの削除 クロスリージョン・データセットレプリケーションとは クロスリージョン・データセ…
雑誌を積ん読にしないように、各記事にチマっとずつ何か書いて、形に残そうと思います。 対象は↓です。 gihyo.jp 特集1 パブリックでもオンプレでも!インフラ技術総点検 Docker/LXD,Kubernetes,プライベートクラウド 第1章:見なおされるオンプレミスとクラウド 両者に重要な技術を,実践を通して総点検……鶴長 鎮一 オンプレ回帰って、そういえばどうして…? 大きな会社でプライベートクラウドを構築できるなら…ってことですかね。 もともとはAWSもそうですし…。 そのうちに楽天も…? マイクロサービスとコンテナ仮想化は…プライベートクラウドを作りやすくしてるかも。なるほど…。 …
G-gen の杉村です。記事タイトル通り「Connected Sheets と BigQuery で技術ブログの GA4 アクセス解析をしている話」について、技術的な話題を中心にご紹介したいと思います。 はじめに 技術ブログと GA4 データ保持期間と BigQuery Connected Sheets の活用 エクスポートされた GA4 データの特徴 構成 構成図 ビューの活用 ネストを解き集計するためのビュー利用 マテリアライズド・ビューは断念 BigQuery へのアクセス権限 Connected Sheets やろうとしたこと Connected Sheets 接続 VLOOKUP /…
G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は基本編であり、当記事を読み終わったあとは応用編もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド (サーバーレス) 他の Google Cloud サービスとの連携 他クラウドサービスとの連携 料金 料金体系の基本 ストレージ料金 ストレージ料金の基本 Physical Storage と Logical Storage Active Storage と Long-term Storage コンピュート料金 無料枠 オンデ…
G-gen 又吉です。Google Cloud (旧称 GCP) のデータ変換パイプラインツールである Dataform を解説します。 概要 Dataform とは 特徴とメリット 料金 Dataform のコンポーネント コンポーネント構成 リポジトリ リポジトリとは ファイル構成 開発ワークスペース 開発ワークスペースとは 開発ワークスペースの初期化 開発手法 リリース設定 (release configuration) アクセス制御 Dataform のアクセス制御 Dataform から BigQuery へのアクセス制御 Dataform core と SQL Dataform c…