SQL

はじめに オープンソースのRDBMSである「PostgreSQL」を使って、 XML型とJSON型の抽出と検索の方法です。 バージョンはwindows版の13.3を入れました。 「PostgreSQL」のインストール方法は以下をご参照ください！ dohidoi.hatenablog.com XML XML型が入るテーブルを準備します。 CREATE TABLE straw_hat_pirates_xml( id integer, val xml --xml型で作成 ); 以下の方法でXML型にデータを挿入できます。 INSERT INTO straw_hat_pirates_xml VALUE…

ORACLE DATABASE 12c SQL基礎(1Z0-061)の試験範囲でもある、 列別名(列見出し)の指定方法を紹介します。 目次 デフォルトの列名 列別名の指定方法 列別名の命名規則 二重引用符(ダブルクォーテーション)を使った列別名の指定方法 注意 デフォルトの列名 OracleのSELECT文で抽出した列名は、デフォルトでは以下のように表示されます。 列名を大文字で表示する 指定した式をそのまま表示する SQLで列名の表示を確認してみます。 SELECT employee_id,name,salary * 12,salary + 10000 FROM test5; 列別名の指定方…

2021/7/18に学んだことについてまとめていきます。 今日学習したこと rspec subjectについて subjectは、expectの引数を変数として定義し、使いまわせるようにしたもの。 subjectを用いることで、メンテナンス・修正がしやすくなる。 また、dryなテストにすることができる。 is_expectedとexpectedの使い分けについて is_expectedは、subjectで作成した、オブジェクトに対して、検証する。 なので、is_expected と、subjectはセットで使用することになると思う。 expectedは、引数を検証するもの。 モックについて 実…

今日学んだこと React jsx記法について jsファイル内で、htmlを記述して、表示することができる。 const App = () => { return ( <> <h1>こんにちは</h1> <p>お元気ですか</p> </> ); }; ReactDom.render(<App />, document.getElementById("root")); Appという変数を定義して、return内で、jsx記法を用いて、表示するhtmlを記述している。 ポイントとしては、複数のタグを記述する場合、タグで囲うこと。 <div>で囲う方法でもいいし、上記のように、空タグで囲うのもok。…

PostgreSQLで指定した期間の連続した日付を作成します。 やりたいこと 例えば、FROM：2021-04-01、TO：2021-04-30と指定した場合、 2021-04-01 2021-04-02 2021-04-03 （中略） 2021-04-30 といった連続した日付を持った一時的なテーブルを作成します。 月間の実績を日毎に累積して表示してほしい、という要件があったのですが、 単純に実績データのみを取得すると、実績がある日付しか表示されません。 そこで上記の一時テーブルと実績テーブルを外部結合して累積することで対応しました。 （SQLのみで実装する必要はあるのか、という点はおいとい…

今回は体験談のような記事です。どのプログラミング言語を勉強するか悩んでいる人は読んでいただけると参考になるかもしれません。 いきなりですが・・・私は最初にどの言語を勉強しようかすごく迷ったんですよ。 結論から申しますと「自分の仕事につながる事、自分が趣味でやりたい事につながる言語を選んだ方が良い」と思います。 私が最初にExcelVBAを選んだのは仕事においてメインで使っているはExcelだったからです。客先や社内においても最も使用されているアプリケーションの１つというのが選定理由の中で大きなウエイトを占めています。 あまり社内のことは書くべきではないのですがこれぐらいなら会社が特定されるわけ…

// SQL キーワード定義ファイル // CASE=False AND AS AVG CASE COUNT DISTINCT ELSE END FROM GROUP BY HAVING IN JOIN LEFT MAX MIN ON ORDER BY RIGHT SELECT THEN WHEN WHERE

MySQL (8.0.22)https://dev.mysql.com/doc/refman/8.0/ja/innodb-init-startup-configuration.html#innodb-startup-log-file-configuration select @@innodb_log_file_size; innodb_log_file_size は、ロググループ内の各ログファイルのサイズをバイト単位で定義します。 select @@innodb_log_files_in_group; innodb_log_files_in_group は、ロググループ内のログファイルの数を定…

今回は Gradient Boosting Tree（勾配ブースティング木）を試してみる。 【目次】 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 決定木を学習器としたアンサンブル学習であり、ブースティングと言われる手法。 ※XGBoost ではないのであしからず。 Pythonでの実装コード Pythonでは scikit learn で実装できる。 sklearn.ensemble.GradientBoostingClassifier — scikit-learn 0.24.2 …

データエンジニア系の勉強会で最近dbtがぱらぱらと話題に出てくるようになった & 4連休ということで、夏休みの自由研究がてらdbtを触ってみました。書いてる人のバックグラウンドは以下の通り。 DWHやデータマートの構築のためのETLツールを模索中(特にTの部分) プライベートではDataformを使っている 前職でも仕事の一部で使っていた 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog 定期バッチ処理はArgo Workflows on GKEでやっている 触ってみないと肌感とか自分で運用できるかのイメージが湧かないのでね。 Datafor…

データの取得。最難関。

こんばんは、糟屋もふです。本日は、Virtual ISUCON Liveのプレイヤーとして参加しました。 興奮冷めやらぬ中ではありますが、ブログを書くまでがISUCONということで、振り返りと今後改善できることの2つにわけて話します。 今日の振り返り 概要と総評 本企画に関われた全ての関係者の皆様、ご来場や声援をいただいた皆様、そしてチームメンバーの晴栄リコさんとこみっとちゃんさん。この企画に関わった全ての時間を有意義に、楽しく過ごせたのは、皆様のおかげです。本当にありがとうございました！ 当日だけでなく、ISUCON 11の事前講習をベースに、実際に手を動かして学ぶ機会も用意いただきました。…

というのを初めて触っている。なんか、すごい簡単なコードで、ちゃんとしたGUIプログラムが書けるのが感動的。 先日は久々にVisualStudioでGUIアプリを作って、やっぱりVisualStudioすごい!と思っていたけれど、実はそんなことはなかったのだった。 で、QtSqlモジュールを使って、 data = qts.QSqlQueryModel() data.setQuery(sql) とやると、 QSqlQuery::exec: database not open というエラーが出る。内心、データベースを指定していないのだから当然だよな、と思いつつ data = qts.QSqlQuer…

はじめに こんにちは！大ちゃんの駆け出し技術ブログです。 この記事は前回の記事の続きものです。 (前回の記事) sakitadaiki.hatenablog.com 本記事ではQ19 ~ Q24を深掘りします。 Q23についてはこの記事では治らない内容でしたのでいつか別記事で書きたいと思います。 Q19: クラスメソッドとインスタンスメソッドの違いを説明してください 回答: クラスメソッドはクラス上で利用でき、インスタンスメソッドはインスタンス上で利用できます（当たり前ですが）。両者の利用目的は異なるのが普通です。 Articleというクラスで考えましょう。インスタンスメソッドは、特定の記事1…

仕事 信頼性が高くスケーラブルな サーバープラットフォームの設計と開発 単体テストの作成、コードレビューの実行など スキル強力なコンピュータサイエンスのバックグラウンド 大規模なエコシステム全体での卓越した 分析スキルと問題解決スキル 強力なコミュニケーション、 コラボレーション、対人スキル チームと協力して、製品機能を開発する Java、C / C ++、またはC経験/知識 RESTfulWebサービスに取り組んだ経験/知識 SQLデータベースの知識

模試を受けて分からなかった単語や知識のメモ IT知識ないマンが調べたり、こうかな？って感じで書いてるので、多めに見てください。 ・コンテナ コンテナについてはクラウドプラクティショナーとソリューションアーキテクトアソシエイトで詳しく調べていなかったのでもう一回調べる コンテナサービスとは？仮想サーバ ー（ホスト型、ハイパーバイザー型）との違いを解説 | システム運用ならアールワークスへ 仮想化システムは通常ホスト型もしくはハイパーバイザー型となり、どちらも仮想化にゲストOSが必須となるが、コンテナの場合はゲストOSはいらず、ホストOSの上にコンテナエンジンが置かれる。ゲストOSのダウンロードが…

原因 おそらくwhereで指定しているカラムの絞り込み時、に時間がかかっていた。 参考:【SQL】DELETE文が遅いときのチューニング方法 | SE日記. スロークエリの時の状態. このような状態でupdated_atをwhereの条件としていて、件数が多い、updated_atにインデックスがないのが原因と考えられる。 delete from テーブル名 where updated_at < '特定の日付'; なので、プライマリーキーであるidをwhereの条件として指定する. プライマリキーは作られた時点で一意制約なので、計算量としてももっとも早い. 改善版. delete from テ…

Cloud Storage上にアップロードしたCSVファイルに対して、External Tableの機能を利用し、BigQueryのクエリを実行してみます。BigQuery External Tableとは、AWSで言うところの、Redshift Spectrumとなります。 利用したファイル 利用したファイルは、kaggleのサイトにて公開されているtitanic passenger listのトレーニング用データとなります。下記よりダウンロード。 https://www.kaggle.com/c/titanic/data データはこんな感じになります。 PassengerId,Surviv…

インデックスを削除、再作成する。照合シーケンス定義が変更されたときに役立つ。