query
「質問」「疑問」を意味する英単語。
データベースの分野においては、データベースに対して与える検索条件のことをいう。
こんにちは。 面倒くさがりの主婦です。 日々、苦手な家事に奮闘しながら生活しています。 この記事では開設4ヶ月目までのブログ記事を通して、どんな記事がよく見られていて、Googleの掲載順位はどうなっているのか、をサーチコンソールの結果とともに公開しています。 さらに、その記事が見られている理由と今後更に見てもらえるようにするための工夫や解決策を検証しています。 最も人気のコンテンツ Google検索で最も検索されたクエリ(検索ワードの組み合わせみたいなもの) 1位 Villa お伽噺 2位、大谷翔平 ヨーグルト 3位 中学受験 E判定からの合格 その他 10月にブログを始めて早4ヶ月目。 現…
はじめに データベースのテーブルデータを集計する際、Redashを使うとDBとの接続やクエリの記述がすぐにできて非常に便利です。 そのRedashでクエリを作成する際によく使うクエリパラメータのトリックを紹介します。 集計粒度の選択 データを集計する際は、目的に応じて異なるカラムを使って集計したくなることがよくあります。 このとき、ベースになるクエリは1つだけ作り、その中で集計に使うカラムを自由に都度選択できるようにすると、似たようなクエリを沢山作成して管理する必要がなくなり非常に便利です。 以下のようにカラム名の前にパラメータを配置し、そのパラメータでの入力は Dropdown List で…
電話番号の冒頭になくなった0をつけるには 【目次】 以前職場で、「システム入力された電話番号の冒頭の0がなくなっているのでどうしたら良いか」との質問を受けました。話合った結果一番良い対処方法は、システムの管理者にデータを出してもらう際に0が冒頭についた状態で修正をしてもらうこと。 もしそれでもダメなら以下の方法のクエリを用いて作業するということでした。月に2回はデータ抽出するのでクエリ対応の方が時間短縮となります。 では、なぜ冒頭の0が消えるかというと、下記の左は数値型なので数値としてセルデータが認識されています。なので冒頭に0は来ません。右は文字列としてセル内を認識しているので人間の目では数…
生後28日未満、120日以上の人数をだす方法 【目次へ】 今回は数値フィルタ-の利用の仕方。これは通常のExcelシートでもありますが、クリエでもできます。統計数値として年に1~2回出す場合は、「どうだったけ?」と考えるよりクリエを作って、元データを貼り付けて更新でサッサッと終わらす。個数を表にするならピボットテーブルを連動させればいいです。ピボットテーブルの解説は後日にします。 こちらを目指します! ①まずは以下のサンプルを作りましょう。 サンプル ②まずはいつも通りクエリエディッタを起動します。日付が時分まででているので日付のみにしていきます。 クエリエディッタを起動させると日付が時分まで…
壊されないための工夫編 【クエリ目次】 今回も補足回です。クエリに限らずですが、Excelを壊すとか、本来データ入力しなくてもいい場所にデータをいれる人がいるのが悩みです。パワークエリを利用しても元データを修正しないで、クエリの更新後のデータを修正する人がやはり出てくる可能性があります。 そのためクエリを知っている人を増やすだけでなく、所定の場所にデータをいれるように注意を惹かなければいけません。あるいは隠すとか。 ①ファイル名 ファイル名称の前に「クエリ~」と記載する。こうすることでパワークエリを利用して作成されていると注意がいきます。(マクロの場合はマクロでブックが保存されているのと同じで…
他のフォルダからのクエリの結合 【クエリ目次】 今回は、他のフォルダのテーブル化された表の結合となります。こちらも見出しは一緒にする必要があります。使いどころは複数人が記録を書いた場合の記録の合体、あるいはシステムから打ち出された複数の同一見出しのファイルを一つにまとめる。実際にシステムファイルから打ち出されたCSVファイルを加工するのに利用したら「40分の作業が15分でできるようになった」という話ももらいました。 ただし、指定のフォルダは固定していて途中で名称を変更されるとリンクアドレスが変更されてしまうので効かなくなってしまいます。階層の浅いところでやるのがよいでしょう。またパスワード入力…
クエリの結合 【クエリ目次へ】 今回は、3つ表を縦に1つの表として結合させます。例として保健所でやっている健診の未来者のリストを1つにまとめてます。表は簡易化してまいす。実際は住所もわかると思います。丁目までわかれば地区担当と突合させれば担当者もすぐわかりますね。年に何回か抽出するので、クエリを作っておけば1回2時間程度の時短が見込めるはずです。 注意点は、表の見出しが全て一緒である事が必要です。 ①各健診の未来者の表を作成し1つにまとめます。 3つの表を縦に連結し、加工します。 いつものように簡単な表を作成しましょう。 上記を準備 ②データタブから”テーブルまたは範囲から“を選択しクエリエデ…
二つの表の突合する。(クエリのマージ) 【クエリ目次へ】 今回は、二つの表を突合させます。ネコケンとしてはクエリのマージは保健師にとってゲームチェンジャーになりうる技能だと思っています。つまり事業を横断的に評価することができるようになるのです。 例えば「行政の事業を利用した人が別の社会資源を利用しているか突合させたい」と思う人もいますよね。 事実、保健師は事業評価を横断的にしたいと思っています。でも技術がないためできない状態です。(断言していいか?)勉強している人はVlookup関数を利用して突合させる事も可能です。でも、1回の作業に3時間かけ、しばらくして再度試みたら関数が壊れたり(壊された…
[目次へ] Webキャプチャー機能で画像化(画像は劣化します)簡単なPaintソフトの利用の仕方 今回は、行政の現場でPDFをJEPG形式やPNG形式の画像にする方法を解説します。Adobe社が提供している有償のものを使えば問題は解決します。またWebサイトを利用してもいいかもしれません。しかし行政の作成したチラシのPDF化されたものを画像形式にするために、勝手にアカウントを登録したり、アプリをダウンロードしたりすることは通常できません。 なのでできる方法を考えて自治体の職員は、挑戦しています。ネコケンも在職中はいくつか考えてやっていました。(ただし、セキュリティが更に高い場合はこんなことは、…
日時編 【クエリ目次へ】 今回は、セルの文字の分割とカスタム列の追加の日時編を行います。これを覚えれば、データ成形の幅がひろがります。割と対応する力つきますし、クエリのイメージがだいぶできるようになります。是非、マスターしてくださいね。 データは前回のものを使います。 ①表のセルを選択すると“クエリ”タブがでてくる。“クエリ”タブの“編集”をクリックする。 ②今回、/(スラッシュ)を利用して日付の2023/07/02を分割する。 “日付列”を選択し、変換タブから“列の分割”→“区切り記号による分割”を選択 ③“カスタム”を選択し、“/”(スラッシュ)を選択したらOKをクリック ↓ 上記のように…
こんにちは。篠原です。 Googleのコアアップデートが3月5日にロールアウトされて、このタイミングでコアアップデートのレポートを書く予定だったのですが全然終わらないですね…。 そんな中の社内のスレッドがこちらです。 活発な社内スレッド。こうして今日も新しいアイデアが生まれる。 ということで「Tableauはいいぞ」になりました。 自分で言っておいてなんですが何書くの… Tableauはいいぞ そもそもTableauを知らないという方に紹介をすると、Tableauはデータ探索を行うためのBIツールです。 LookerStudioのようなものをイメージしていただくと分かりやすいかもしれません。 …
「JavaのSpring Frameworkのようにアノテーションを用いないから、実行時に依存性解決を行っている」と勘違いしていましたが、実行時に依存性を解決するのはSpringも同じということです。 アノテーションの情報を実行時に、クラスのメタ情報として参照して挙動を決めていたのですね。 ともあれ、依存性注入ライブラリがより身近に思えるようになりました。Androidプログラミングでも使ってみたいです。 kodeinで、依存性注入の利点が理解できるようなサンプルプログラムを教えてください。 上の例では、UserRepository, SqlDaraBaseのインスタンスは、by di.ins…
第 12 回 SQL コンテストに参加しました。最終結果は 4 完 100 点で 11 位でした。 最終結果 近況報告 最近はデータベースを使って AOJ の提出検索をするアプリを作っているのですが、API でいつ提出データを取得するか (一括で取得するか、クエリが飛んできたタイミングで取得するか) の設計で悩んでいます。余談ですが、かっつくんが平日の日中に投げまくってるのを観測できて面白いです。 コンテストの振り返り 問題 1 データベースに新たに行を挿入する問題です。INSERT 句を使えばよいですが、列がたくさんあるのと追加行が 2 つあるので結構面倒です。 列名と値を 1 個ずつ写経し…
ABC321F 問題概要 Muliset に対する部分和問題に,追加と削除クエリを与えたもの. 俗に戻すDPと呼ばれる. 解法 (0) まず,multiset が固定されている場合を考える. これは普通の部分和DP. とくに,配列を 1次元にした inplace DP で考えると, 今回の問題に応用するときに楽. (1) 次に,multiset に1つ元 \(x\) を追加または削除することを考える. 簡単な追加の方を考える. (0)の考えを用いると, \(dfor \ i \in [x,k]\) \(dp_{i} += dp_{i-x}\) という処理をしている. 削除の方も同様に, \(f…
2023/08/14 18時ごろに起きる。 台風の影響で外が騒がしくなってきた。テレビをつけてみると、京都の綾部市で川が溢れたそう。綾部市の防災・危機管理課の課長の人が電話取材に応えており、こんな真夜中なのに大変な仕事だなあという気持ちになった。 普段は夜になると、大勢の謎の小虫が窓にくっついているのだけど、今日は台風のせいか全く小虫がいない。飛んで来れないのかもな。 2023/08/15 18時ごろに起きる。 相変わらず外は荒れているぽい。 妖怪PCいじいじ。 ABC230-Dの”Destroyer Takahashi”を解く。区間スケジューリングだ!!と実装して提出してみたけど、WAが出て…
04/15(月) 午後3時半前に起床。インターン先定例会に出た。 先週はセミナー準備に追われて進捗がなかった。セミナーが2回あったからなので、毎週こんなことになるわけではないはず……と言っておいたが、実際のところ今後どうなるのだろうか。まあどうなるというか、自分がどうするかの問題。 勉強会はコーディング時に使える便利ツールの紹介だった。VSCodeの拡張機能がメインだったので自分には関係ないなと思いながら聞いていたが、「GitLens」はかなり良さそうだった。GitHubのGUIからBlameを使うよりよほど高機能らしい。 解散後はずっと先週の週記を書いていた。日付が変わる前に一旦投稿し、その…
AWS Glueを使用してRDS内のデータのETLを行う機会があったので、CDKで実装してみました。いくつかハマった点もあったのでその記録です。 今回は以下のようにRDSにアクセスするCrawlerとジョブを実装します Glue Crawler からRDSにアクセスしてData Catalogを生成 Glue JobからRDSのデータをETLしてS3に格納。
Splay 木概論 Splay 木の基本操作 $\newcommand {\rank}{\mathtt{rank}}$Splay 木 $T$ は $0 ≤ Φ(T) ≤ n \log(n)$(ただし $n$ は節点数)なるポテンシャル $Φ(T)$ のもと、次の操作ができる二分木です。 クエリ 引数 事前条件 効果 ポテンシャル増分 最悪時間計算量 $\mathtt{splay}$ 節点 $u$ なし inorder を保って $u$ が根になるように変形する $O(\log(n)) - h(u)$ $O(h(u))$ 従って次のことがわかります。 $\mathtt{splay}$ をばかりを…
こんにちは。Algomatic の宮脇(@catshun_)です。 本記事では文書検索において一部注目された BGE M3-Embedding について簡単に紹介します。 Chen+'24 - BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
はじめに こんにちは! クラウド事業部の升谷です。 これまでAPI GatewayにてスタブAPIを作成する方法、APIキーの付与の方法を投稿してきました! API Gateway初心者でも簡単にAPIが作成できますのでぜひハンズオンしてみてください! techblog.ap-com.co.jp techblog.ap-com.co.jp 今回は最後のパートです! もう完成されているスタブAPIですが、さらにパワーアップしましょう! 受け取るAPIクエリによって応答を変えるよう改修していきます。 やりたいことのまとめ ↑のように設定を加え「HTTPステータスごとにAPI応答を定義する」ことで、…
この記事は個人ブログと同じ内容です www.ritolab.com // .table-warp {overflow-x: scroll;} データベースを操作する SQL SQL(Structured Query Language)は、関係データベース管理システム(RDBMS)でデータを管理・操作するための標準化された言語です。データベースに格納された情報を効果的に取得、挿入、更新、削除するために使用されます。 SQLは、テーブルと呼ばれるデータの形式で情報を格納し、クエリを使用してデータベースとの対話を行います。初心者にとっても覚えやすく、構文も直感的であるため、多くのデータベース管理シス…
こんにちはマネージドサービス部 大城です。 前回のブログ の続きを書きます。今回は Python で試してみます。 New Relic APM をインストールした後、ボトルネックがどこにあるのか確認して、少しだけチューニングします。 前準備 やってみた チューニングなしの状態 ベンチマーク1回目 New Relic画面確認(チューニングなしの状態) indexを作成する ベンチマーク2回目 New Relic画面確認(index作成後) N+1(エヌプラスワン)問題の解消 ベンチマーク3回目 New Relic画面確認(N+1問題解消後) 参考 ボトルネックはどこから手を付ければよいか 生成A…
こんにちは!DBREの福間(fkm_y)です。先月、弊社でデータベースの技術顧問をして頂いてる三谷(mita2)さんに開発本部向けの「MySQL SQLチューニング」勉強会を実施していただきました。 今回はMySQLの得意不得意なことの説明やSQLチューニングの流れ、具体的な事例を元にした対応例、また最近話題のHTAPな製品も紹介していただきとても参考になったのでポイントをおさえてレポートをお伝えします! 開催背景 本編 MySQL の得意なこと、苦手なこと データベースのチューニング手段と特徴 SQLチューニングの流れ インデックス SQLチューニング例 インデックスフルスキャンとカバーリン…
これは普通に解けた。 https://atcoder.jp/contests/abc350/tasks/abc350_g
こんにちは。SENSYプロダクト開発チームPdMの岩間です。 SENSYではDWHにBigQueryを使用しており分析やモデル構築において日々大量のクエリが実行されています。 案件ごとにGCP PJTを立ててコストアラートを設定していますが、ユーザー単位でBigQueryの利用状況を確認したい時があります。 そういった際にダッシュボードで簡易的にコストを確認する方法について紹介していきます。 クエリコスト取得 クエリコストの計算にはINFORMATION_SCHEMAのJOBSビューを使用します。 以下のクエリで実行PJTに対してユーザーごとに日別の合計コストを計算することができます。 変数と…