ウィンドウ関数

達人に学ぶSQL徹底指南所の学習記録です。 達人に学ぶSQL徹底指南書 第2版 初級者で終わりたくないあなたへ (CodeZine BOOKS)作者:ミック翔泳社Amazon SQLで同一行内の列同士の値を比較するのはWHERE句で記述すればいいだけだが、異なる行を比較するのは工夫が必要。 SQLで行間比較を行いたいときは、相関サブクエリを使うのが常套手段だったが、相関サブクエリのコードはパフォーマンスと可読性が悪いという欠点がある。 そこで、「行の順列」に基づいて、手続き型言語のループの動作をSQLに持ち込んだのが、ウィンドウ関数。 概要 昔は、SQLで行同士を比較するときは、比較対象のテー…

SQL に関する偉大なる下記書籍を復習する機会があったため、その内容をメモしておきます。実行環境は BigQuery です。 達人に学ぶSQL徹底指南書 第2版 初級者で終わりたくないあなたへ作者:ミック翔泳社Amazon SQLパズル 第2版~プログラミングが変わる書き方/考え方作者:ジョー・セルコ,Joe Celko翔泳社Amazon 目次。 水平展開 行から列（CASE 式） 行から列（外部結合・スカラサブクエリ） 列から行 入れ子の表 重複行の抽出 ウィンドウ関数による行間比較 重複期間の抽出 部分的不一致な行の抽出 欠落の判定 BigQuery での HAVING 句の制限 条件を満…

はじめに こんにちはVoicyで技術責任者としてエンジニアリングマネージャとか色々やってますやまげん@yamageniiです。 最近Twitter頑張ってるので、よかったらフォローしてください。 どれだけマネジメントが忙しくなっても、プレイヤーとして現場に入りたいと考えていて ボトルネックにならない範囲やお助けタスクなどでまだまだ実装をしています。 今回は自分がVoicyで実装した時のTipsを紹介します。 早速本題に入るのですが、今回は「SQSから10000レコードのバッチをLambda + Goで高速で処理する方法」を紹介します。 SQSはスケーラブルなメッセージングキューで、大量のアクセ…

初めに データベースとSQLは現在のデータサイエンスに必須な知識・スキルの1つ。その基礎を power-of-awareness.com を基に学んできた。 この知識をより昇華させて「SQL中級者になりたい！」ため、同じ著者の達人に学ぶSQL徹底指南書 第2版 初級者で終わりたくないあなたへ作者:ミック翔泳社Amazonを参考に、更なるSQLの知識を拡充していこう。 前回 power-of-awareness.com 初めに 前回 7. ウィンドウ関数で行間比較を行う 7.1 成長・後退・現状維持 7.2 ウィンドウ関数と相関サブクエリ 7.3 まとめ 7. ウィンドウ関数で行間比較を行う に…

SQLを学び始めた時、一番分かりにくかったのがウィンドウ関数（分析関数）です。 データベースを、単にデータを出し入れする場所として利用する分には、ウィンドウ関数を使うことは無いのですが、データを分析しようとする場合、あるととても便利な機能です。 ウィンドウ関数を使わないでも同様のクエリを書くことは可能なのですが、ウィンドウ関数を使うとクエリが短く書けることが多いです。 私も完全にマスターしているわけでは無いのですが、ここでは、ざっくりしたウィンドウ関数についての考え方をまとめたいと思います。 通常のSQLでできないこと 通常のSQLでは、FROMでデータを取得する対象テーブルを指定し、そこから…

概要 参考情報 概要 以下、自分用のメモです。 2022-10-13 に PostgreSQL 15 がリリースされました。 個人的に気になった点は以下。 ソートアルゴリズムが改善されて 25%～400%の速度向上 ウィンドウ関数の性能改善 row_number(), rank(), count() SELECT DISTINCT を使った問い合わせが並列実行可能に。 つまりSELECT DISTINCTでもパラレルクエリが有効化となった NOT IN の性能改善 MERGEコマンドが追加された 忘れないうちにリソースを以下にメモメモ。。。 www.postgresql.org www.pub…

著者：木田和廣発行元：インプレス 集中演習SQL入門のまとめ 集中演習SQL入門を読んだ理由 集中演習SQL入門で仕事にいかせるポイント 集中演習SQL入門の目次 集中演習SQL入門の感想 集中演習SQL入門のまとめ BigQueryのこともわかるし、SQLのこともわかるし、素敵な本。つまらない、他になかなか使えないSQL本よりも100倍よい。 集中演習SQL入門を読んだ理由 BigQueryとSQLのことを知りたかったもので 集中演習SQL入門で仕事にいかせるポイント SQLの構文についてデスね 集中演習SQL入門の目次 Chapter1 はじめてのSQLChapter2 BigQueryの…

Cloud Translation APIの料金 Cloud Translation API はGoogleが提供している機械翻訳機能のためのAPIです。 最初の 500,000 文字が無料ですが、あとは翻訳したテキスト等の量によって費用が加算されます。 参考: Cloud Translation の料金 急激な費用増加に備え、できればAPIのリスエスト数が増えたらアラートを出したい、という希望も出てくるでしょう。 そんな開発者に向けて、今回はCloud Translation API リクエスト数の増加をメールで通知する方法を共有します。 Cloud Monitoringでポリシーを作成 ①…

概要 Nameごとの木の一番上のBossを取得。 下部に記載のLinkを参考にして作成。

概要 NameごとのDateの最新日のレコードを取得。 下部に記載のLinkを参考にしコードを作成。

初めに データベースとSQLは現在のデータサイエンスに必須な知識・スキルの1つ。その基礎をpower-of-awareness.comを基に学んできた。 この知識をより昇華させて「SQL中級者になりたい！」ため、同じ著者の達人に学ぶSQL徹底指南書 第2版 初級者で終わりたくないあなたへ作者:ミック翔泳社Amazonを参考に、更なるSQLの知識を拡充していこう。 前回 power-of-awareness.com 初めに 前回 2. 必ずわかるウィンドウ関数 2.1 ウィンドウとは何か 2.2 1枚でわかるウィンドウ関数 2.3 フレーム句を用いた行の取得 2.3.1 行間比較の一般化 2.4…

はじめに データ分析を行う場合、データの管理運用、蓄積も重要な論点となる。そのためにはSQLやデータベースの知識が求められる。そこでまずはSQL 第2版 ゼロからはじめるデータベース操作作者:ミック翔泳社Amazonを基にSQLの勉強をしていきます。 はじめに 1. データベースとは 2. SQLとは 3. 検索の基本 4. 論理演算子 5. 集約化 6. HAVING句 7. データの更新・削除 8. テーブルデータの更新 9. トランザクション 10. ビュー 11. サブクエリ 12. 相関サブクエリ 13. さまざまな関数 14. 述語 15. CASE式 16. テーブルに対する集合…