SQL

AWS Athenaは最近コンソール画面も刷新され、さらに手軽に使いやすくなりましたね。 ところで、AthenaはクエリエンジンのベースにPrestoを採用しています。 そのため、私のようなRDBMS慣れした無精者は時々思わぬところで思わぬエラーに遭遇することになるのです。 AWS Athena Athena（Presto）にはOFFSETが無い ウィンドウ関数とLIMIT句を組み合わせて、OFFSETと同じ動作を実現する まとめ 参照 Athena（Presto）にはOFFSETが無い SELECTのクエリ結果をページングしようと思って、何の気無しに下記のようなSQLを投げると、（当たり前で…

この記事のおすすめの方 🔰 ・あいまい検索などのSQL 文の書き方を、すぐ忘れてしまう・エクセルのフィルターのようにクリックで、簡単にSQLiteのデータを抽出したい ・SQLiteのGUIツール「PupSQLite」をインストールしたけど、使い方がわからない みなさん、こんにちは！ リモートエンジニアのITのえんぴつです。 今回は、上のようなお悩みの方に向けて、『「PupSQLite」を使って、WHERE句をEXCELのフィルター機能のように設定する方法』をご紹介します。 💡 PupSQLiteは、Windows 向け sqlite 3のデータベースを操作するフリーソフトです。日本語のGUI…

データベースの違いがわからない。rails newする時のデータベースって何がいいの、、 分からないのなら調べちゃおう。 という事で、今回は個人開発によく使われているMySQLとPostgreSQL特徴についてまとめていきたい。 データベースとは データベースとは「構造化した情報の集合体 」であり、データベース管理システム（DBMS）によって管理されます。データベースは構造によって主に「階層型」「ネットワーク型」「リレーショナル型」に分けられます。 今まで学んできたのは、RDBMSというリレーショナルデータベースだった。 RDBMSでは、正規化されたデータベースを関連づけるために、主キーと外部…

おはようございます。Shotaです。 皆さんは、SQLについて知っていますか？ SQLは様々なプログラム言語と組み合わされて利用され、世の中にあるシステムのほとんどがSQLを使っているので、必ず習得したいスキルの一つです。 今日の記事では、これからSQLを勉強しようと考えている人のために SQLの概要 SQLを勉強するメリット これらを中心に解説していきます。 SQLとは プログラミング言語との違い SQLでできること SQLの種類 SQLの特徴 一方的に命令する SQL単体ではアプリを作れない 非エンジニアがSQLを勉強するメリット まとめ SQLとは SQLとは、リレーショナルデータベース…

fullVisitorId, hits.page.hostname, hits.page.pagePath, hits.hitNumber, hits.time, nextTime, CASE WHEN hits.isExit IS NOT NULL THEN last_interaction - hit_time ELSE next_pageview - hit_time END AS time_on_page FROM( SELECT fullVisitorId, hits.page.hostname, hits.page.pagePath, hits.hitNumber, hits.is…

やりたいこと やってみた 全部くっつけちゃえ データ量を増やしてやってみる やりたいこと SELECT * FROM `table_1` WHERE `id` IN( SELECT GROUP_CONCAT(`id`) FROM `table_1` GROUP BY `group_id` ); こんな感じで、カンマ区切りになった値をIN句の条件指定に使えるのかな～？ やってみた とりあえず、こんなテーブルで mysql> SELECT * FROM `table_1`; +------+----------+ | id | group_id | +------+----------+ | 1 …

クックパッドマートでサーバーサイドなどのソフトウェアエンジニアをしている石川です。 この記事では、クックパッドマートとは全然関係なく、私が正社員として新卒入社する前、2020 年初頭に技術部 SRE グループで就業型インターンをしていた際に実装したシステムについてご紹介します。 ALB のアクセスログ 弊社では AWS の Elastic Load Balancing (ELB) を多用しており、Application Load Balancer (ALB) が多くのウェブアプリケーションで利用されています。 ところで ALB はアクセスログを Amazon S3 に保存することができます。こ…

VirtualBoxのインストール Vagrantのインストール Oracleのインストール VirtualBoxのインストール 下記からインストーラーをダウンロードして、ウィザードに従ってインストールします。 www.virtualbox.org Vagrantのインストール 下記からインストーラーをダウンロードして、ウィザードに従ってインストールします。 www.vagrantup.com Oracleのインストール vagrantを使ってOracleをインストールします。 git clone https://github.com/oracle/vagrant-projects cd va…

今でも意味わかんないハプニングお納めください、、、、#演奏中に起こった事故 pic.twitter.com/t6YaIDicOR— めばゑ(MEBAE) (@mepamepa1004) 2021年10月22日 約6年ぶりに ruby-mysql リリースしたわ。まだ使ってる人いるのかな。なお MySQL 8.0 には対応してません。https://t.co/zaO7JKPVbm— とみたまさひろ🍣🍺 (@tmtms) 2021年10月23日 会場をうろうろしています #kaigionrails— とみたまさひろ🍣🍺 (@tmtms) 2021年10月23日 100日後に退職する47歳100日目…

多対多関係のテーブルを作る場合、DjangoではManyToManyFieldを使用します。するとDjangoは元々の多対多関係のテーブルと一対多関係になるような中間テーブルを自動的に生成します。この時、どちらのテーブルにManyToManyFieldを指定するかいつも悩みます。それについてちょっと調べてみましたので、この記事ではその結果を書いておきます。 結論から言うと、基本的にどちらに書いても変わらないような気がします。影響が出るとしてもテーブル構造やインデックス次第、という身も蓋もない話です。 実は、ManyToManyFieldの使い方をすぐに忘れてしまうので言語化しておこうと思い、つ…

Webアプリというにはだいぶ簡素。リポジトリはこれ。 github.com

年に一回くらい、突然Javaの話をブログに書き始めるJava Championの @cero_t です。 数年前、「Spring BootでもSQLファイルを使いたいな」と思って勢いで作った Bootiful SQL Template ですが、何気に仕事で使うことがたまにあるので細々とメンテナンスを続けています。 最近、APIを全面的に見直してFluent API化したバージョン2.0.0をリリースし、日本語のドキュメントも書き始めました。 sqltemplate/README_ja.md at main · cero-t/sqltemplate · GitHub 今回は、これをRecordに…

はじめに こんにちは、大ちゃんの駆け出し技術ブログです。 タイトルにあるとおり【無職に転生 ~ 就職するまで毎日ブログ出す】というチャレンジをしています！！！！昨日までは就活するまで本気出すでしたが、これだとまるで就活後は頑張らないのかと思われてしまいそうで、、、大人気アニメのタイトルのまるパクリチャレンジです。 RailsやらRubyやらSQLやらその他Webの知識やらが色々と抜け落ちているのを感じており、知識の定着のためにもアウトプットする機会を増やすためです。加えて、退職して文字通り無職に転生しましてプロニートになり、毎日時間に余裕ができたので引き締めるためにも毎日投稿を思い至りました！…

Cloud Composerでトラブルシュートしたので少しマニアックですが残しておきます。 事象 原因 解決策 参考URL 事象 Airflowの BigQueryValueCheckOperator を実行すると以下のエラーとなりました。404なのでBigQueryのジョブが見つからないみたいなエラーなのですが、実際に管理画面から見ると該当のIDのジョブは正常終了しています。 [2021-10-22 13:12:46,591] {taskinstance.py:1147} ERROR - <HttpError 404 when requesting https://bigquery.goog…

今日はカレーを食べ過ぎたので雑記にします。 カレーはスパゲティにかけてカレースパゲティになりました。カレーは食べるのはいいのですが、その後の鍋を洗うところが大変で、焦がしたりすると超大変になります。 その後は雨の中、銀行にいって用事を済ませて、カフェで SQL と多少格闘してから帰ってきました。データの中から「昨日の投稿」を一撃で引っ張り出すクエリが欲しいのですが、ちょっと難しいです。別に一撃にする必要はないのですが、何かクエリを分けるのも負けた感があって困ったものです。結局、分割することになりそうです。

ActiveRecordのライブラリーで、何かいいのないかなー？？？ 事の発端 CRUDのラッパー SQLを書く楽しみ 面倒な技術選定 検索して眺めた記事など（備忘録） 今どきの本 PHP → Laravel Python → Django 考察 事の発端 あるデータの登録作業を手動でやっていたら、まとめサイトを作りたい衝動に駆られた。 サクッとWebサイトを作るなら、PHPが簡単。 今までならCodeIgniterでパパっと作っていた。 しかし、CodeIgniterのORM、ActiveRecordの機能は普通なので、CRUDのコード量はそれほど減るわけじゃないと感じている。 CRUDのラ…

初めに 会社・事業紹介 ABEJA Insight for Retailについて 技術スタック 全体アーキテクチャ図 ① 映像録画・解析システム ②データ基盤部分 ③ Webダッシュボード その他 (全体共通部分) こんな人がほしいコーナー 最後に 初めに こんにちわ。大田黒（おおたぐろ）です。暑い日が落ち着いてきて、秋(冬？）が来たなぁと感じるこの頃です。皆様いかがおすごしでしょうか。前回の「ABEJAの技術スタックを公開します (2019年11月版)」が公開されてからしばらく経ちました。 引き続きエンジニアの方とお話させていただく中で、 「ABEJAってよく聞くけど...実際どんなことやっ…

こんにちは！Cy-PSIRTの純平です。 本エントリでは脆弱性報奨金制度の2020年の結果について振り返ります。 サイボウズ報奨金制度のキャラクター

KADOKAWA Connected / ドワンゴの @saka1 です。 少し前までは株式会社ドワンゴのWebバックエンドエンジニア的な仕事をしていたのですが、最近は出向1してKADOKAWAグループのDXを推進する戦略子会社である株式会社KADOKAWA Connected（以下KDX）でデータ分析周りのお仕事をしています。この世界はジョブチェンジが激しいですね。 しばらく開発に関与していたドワンゴ・KADOKAWA向け新データプラットフォームの初期リリースに成功したので、この記事ではその話を書きます。KDXのデータエンジニアリングに関する取り組みのほんの一端ではあるのですが、なんとなく雰…