SQL

・WHEREとHAVINGの違い →HAVINGはGROUP BYでグループ化したデータをさらに絞り込むときに使用 ・クエリ後半でカンマを入れる、入れないの判別がつかない

新年早々仕事がバタついていましたがようやくひと段落つけました。 まあこの業界は暇になることがほとんどないのでほんの一瞬の一息です。 日中頭をフル回転させて働いているので家に帰ったら俳人状態になりがちです。 よく燃え尽き症候群になる方やうつ病になる方も多い職種なのでこれから就職を希望している人はまずメンタルを鍛えておきましょう(笑) さて、今回の話題ですが以前プログラムを勉強するなら手始めにエクセルのマクロ、VBAをお勧めしましたが、今回はデータベースを扱う言語を紹介しようと思います。 SQL(エスキューエル) コンピューターでは様々な情報を蓄積したり管理するためにデータベースという ソフトに情…

はじめに 今回扱うこと、扱わないこと RとRStudioを使ったSQL学習環境の構築 RSQLiteパッケージのインストール 練習用サンプルデータの準備 RStudioでSQLを書く SELECT文を学ぼう サンプルデータについて SELECTとFROM WHEREによる条件付け フィールドの加工 並び替え テーブルの紐づけ 集計する Enjoy! リンク集 ※同じ処理のdplyrでの書き方を追記しました。(2022.01.15.) はじめに この記事は「Rは使っている、もしくは学習中であるが、SQLにはなじみがないデータサイエンティスト志望」の方を主な読者と想定しています。 データサイエンテ…

前提 テーブル内の全レコード数を取得したかった。 id が PRIMARY キー 途中で DELETE されてるレコードもあるので id が不連続となっている。 そのため、 ORDER BY id DESC LIMIT 1 で id の値がそのままレコード数というわけにもいかなかった。 概要 今まで WHERE句には id=1 だったり演算子を使って条件を設定しないと使えないと思っていたが、 WHERE id とするだけで使えるようで、非常にクエリが軽くなった。 WHEREありバージョン 実行したSQLとEXPLAINの結果 EXPLAIN SELECT count(id) FROM samp…

SQL 第2版 ゼロからはじめるデータベース操作作者:ミック翔泳社Amazon RDBMS ごとの方言をまとめて知りたかったため、読みました。各句の実行される順番とかあまり意識したことなかったです。 サンプルのテーブルやカラム名が日本語（ shohin_id とか shohin_mei ）なのが打ちにくくてちょっと気になる。いや、適宜好みのものに変更すれば良いんですけどね！ 自分が全くの初心者だったらこの一冊では正直厳しかったかもしれませんが、基本的なことはある程度できるぐらいであればなるほど〜となるポイントもいくつかあるのではないかなと思います。 メモ ビュー、サブクエリ、相関サブクエリ U…

インフラ基盤部データ分析チームの濱口です。最近わが家のキッチンにグリルが導入され、暇があれば魚ばかり食べています。 今回はグループ会社 Zaim での、データ民主化の推進のための Redash のダッシュボード整備に関してまとめていきます。 背景 現在 Zaim のデータ分析チームでは、分析環境の改善による分析効率向上やデータの信頼性向上に努めています。その中の活動の1つに「データ民主化の推進」があります。ここで挙げている「データの民主化」とは一般的に、一部の専門家のみが扱えていたデータの利活用を、データに関する詳細な知識を持たない人でも扱えるようにする環境を整備することを指します。 Zaim…

CTEとは「Common Table Expressions」のこと。ざっくり言えば「With句」のこと。 PostgresでWith句を使用していると遅いケースがあったので、Temporary view 作って対応したほうがいいのだろうかと思い「CTE vs View」で情報収集。 そしたら、こちらのサイトにとても有益な情報が！すばらしい！ www.sraoss.co.jp 結論 Postgres12以降なら「パフォーマンスはCTE≒View」なので、再利用性が高いならView、それ以外ならCTEでいいと思います。 注意点もあるのでそこは詳細を見て判断ください。 なお、Postgres12は…

前回の記事までSQLでデータサイエンス100本ノックの問題を解いていこうと考えていたのですが、やっぱり方針変えてPythonも同時進行で進めていきたいと思います。 細かいPandasの文法は現時点では一つもわかりませんが、解答を写経しながら調べていきます。

複数のカラムのデータを一つのカラムにまとめる方法を解説します。 複数のカラムのデータをDataGridViewのカラムに移送したいときなんかに 使えると思います。 下記の役割テーブルの値が「1」の場合だけ、カンマで文字列連結します。 役割テーブル 下記が実施したSQLです。 ```SQL Select concat_ws(',',CASEWHEN d.duty_pm = 1 THEN 'PM'ELSE NULLEND,CASEWHEN d.duty_pl = 1 THEN 'PL'ELSE NULLEND,CASEWHEN d.duty_sl = 1 THEN 'SL'ELSE NULLEND…

ここのところ本の内容をまとめられていなかったのでやっておく。 理由は大きく2つあって、まず新卒一年目で配属されてしばらく経ち、業務が本格化し忙しくなってしまい時間がとれなくなってしまったこと。これに関しては、冊数は減少気味なものの、通勤時間があるので読書時間は十分に担保されている。 第二にとある本の主張がこの行動を再び動機づけさせた。これは感想とともに後述しよう。 ブログの感想文なので、詳しい著書や出版社は楽天のリンクを参照していただきたい。 Zero to One レンブラントの身震い きっかけ 概要 蛇足セレンディピティ 芸術観の哲学と機械 数学の証明の展望 Human vs. Machi…

はじめに 事前準備 postgresql+pgpoolの設定 Pacemaker+Zabbixの設定 最後に はじめに postgresqlを使ったZabbixの情報はあまり出てこないので、 色々と自分で試しつつ、Zabbix5.0のLTSをCluster構成にしてみました。 pgpoolの公式サイトを参考にしながら作ってはいますが、間違っているところがあるかもしれませんので、 利用する方はあくまで参考程度にしてくだい。 また今回の投稿では細かい設定パラメータまでは触れません。 実際はパラメータの調整をしていますが利用の仕方によっても変わってくるので、Postgresqlのパタメータをちゃんと…

はじめに ZabbixProxyのインストール ZabbixUIでの操作 補足 最後に はじめに ZabbixServerを先日作りましたが、このままZabbixServer本体で全体の監視をすると、 ZabbixServer側に負荷がかかるので、ZabbixProxyを経由して監視をしたいと思います。 またZabbixProxyを経由すれば離れた場所の監視もすることができます。 ZabbixServerが5.0のバージョンなので、ZabbixProxyも5.0で作成します。 OSはRHEL8.3を利用しています。 RHELは事前にsubscription-managerを利用してアカウントを…

102本目。今年度も振り返って思ったところを共有します。 2年次に受けた授業について 春学期編 秋学期はまだ終わってはいませんが、1年次の殆どの授業が終わった頃だと思います。mast21の皆さん、1年間授業を受けてみていかがでしたか？おそらく皆さんは僕より優秀だと思うので難なく乗り切ってるのではないかと思うのですが、少しでも参考になる部分があればと思って、昨年に引き続き、僕が2年次に受けた授業を振り返ってみようと思います。前回と同じように、授業内容の詳細というよりは受けた正直な感想を書いていくつもりです。授業内容はkdbもどきとかを見てくださればだいたい分かると思います。2年次もほとんどオンラ…

『達人に学ぶDB設計 徹底指南書』を読みました。エンジニアになる前に読んだことはあるものの、2年ほどエンジニア経験を積んだこのタイミングで読み返すと得られるものが多いのではないかと考えて、読み返すことに決めました。 感想 結論、とても良い書籍でした。DB設計に関係する様々なトピックが含まれています。重めのDB設計をやるときは手元に置き、何度も読み返したい1冊です。 特に、 第5章 論理設計とパフォーマンス ～正規化の欠点と非正規化 第6章 データベースとパフォーマンス のパフォーマンスに関する章が、現在の自分の業務に活かせる点が多くありました。「テーブルを追加する際に、適切にインデックスを定義…

個人用ドキュメント＆ブログ管理ツール(ガチめ)作成記 背景 なぜアウトプットのモチベがKeepできないのか ツールの大まかな要件 要件を満たすための工夫 (設計) 開発記録 おわりに reference 個人用ドキュメント＆ブログ管理ツール(ガチめ)作成記 初手、作成物： https://github.com/Symthy/docs-and-blog-enty-manager 作るに至った背景/作成にあたっての考え/過程等を記す。 背景 インプット：アウトプット = 3：7 が良いと言われているが、私自身この比率に全く届いていない所か、1:1にすら届いていない状態。 まずは、最低でも 1:1 …

自己紹介 仕事についての考え方 ぶち当たっている壁 今後の仕事について 取り組もうとしていること 最後に 自己紹介 社会人歴約10年 独身 収入のほとんどを趣味に費やす 仕事についての考え方 仕事は趣味のための収入を得る手段 仕事を選ぶ上での優先順位 給料 ＞ 福利厚生 ＞ 業務内容 給料：趣味に我慢をせずにすむだけの収入を得たい 福利厚生：趣味に使う時間・休みを確保したい 業務内容：こだわりゼロ（必要とされているポジションで必要とされていることを行う。その方が結果収入も上がりやすい。） ぶち当たっている壁 業務内容にこだわりがない故に 業務で使う以上の技術・知識を身につけようとしてこなかった…

SQLクエリ <?php DB::select('select * from tweets'); DB::insert('~~~'); DB::update('~~~'); DB::delete('~~~'); ※ selectメソッドはDBクラスの静的メソッドで、引数にSQLのクエリ文を文字列として入れる。返り値は各レコードの値が格納されたオグジェクトの配列。 ※ SQLさえわかっていればいいので記載は簡単だが、渡される値の内容によっては予想外のSQL文が実行される可能性もあり、バグも生まれやすいらしい そこでクエリビルダが出てくる クエリビルダ <?php // DB::select('s…

11月に就職後から1月現在までの状況 ・仕事をしてみての苦戦したことや不安 入社して戸惑ったのは、 "リモートでコミュニケーションが取りづらい" "質問するときに誰に聞けば良いのかが分からない" "自分で調べて考えた、の境界線がどこまでか(どこから質問をすれば良いのか)が分からない" "何が正しいのかの判断に迷うことがある" の４点でしょうか。 ここら辺は、ジャンルに関係なく共通の悩みの気がします。 質問先とか、新入社員のケアとかは、半分は会社側の体制のよるところもありますが、現実ではそこがしっかり整っている会社の方が少ないと思います。 弊社は、まだやりやすくケアしてくれる方なのでは感じますが…

前回からデータサイエンス100本ノックで勉強し始めています。 github.com Docker環境が用意されていて、docker composeコマンドでJupyter NotebookとPostgresqlのコンテナが立ち上がるのでかなり便利です。