フルスキャン

こんにちは。 株式会社ラクスで先行技術検証をしたり、ビジネス部門向けに技術情報を提供する取り組みを行っている「技術推進課」という部署に所属している鈴木（@moomooya）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「技術推進プロジェクト」というプロジェクトがあります。 このプロジェクトで過去に検証した「継続的アプリケーションセキュリティ」について共有しようかと思います。 課題の経緯、前提条件 課題の経緯 期待する導入成果 シフトレフトや、脆弱性診断ツールに関する概念 前提条件 実現手法 …

以前、ハードディスクの空き容量が減って来たのでSeagateのBarraCuda、8TBを追加購入し、同じ型番の旧HDDから新HDDにデータ移動してました。 コスパ最強のSEAGATE製《8TB HDD》BarraCudaを追加購入。4TBくらいコピーを終えた所でPCから「テトン」と接続が切れる音がして、何かと思ったらコピー元の旧HDDが落ちた様子。長時間コピーでHDDが高熱になるとこう言う事はよくありますが、そもそも冷却しながらコピーしてるので不思議だなとは思いつつ再起動。（普通は再起動すれば認識します）すると「ドライブを使うにはフォーマットをする必要があります」と言うウィンドウが現れ、キャ…

はじめに こんにちは、CCIのくっちーです。 広告資料管理のプロダクトを開発しています。 今回はMongoDBのインデックスを見直して、パフォーマンス改善したことについて書こうと思います。 前提条件 MongoDBのバージョン：6.0 ストレージエンジン：WiredTiger 環境：AWS 構成 レプリカセット：3つ シャードは使っていない この記事について 書いてあること MongoDBのインデックスを見直したこと クエリに適したインデックスを追加し、aggregationクエリの速度改善 単一インデックス、複合インデックスの作成戦略 書いていないこと 改善対応後のAPIパフォーマンス計測に…

文章力、語彙力共に、年月を過ごす中で弱体化されていると感じます。 お久しぶりです、caramiso23です。 自身の老化を防ぐため、また未熟な精神を成長させる為にブログに手をつけようと思います。 とは言っても書くものはなく、ニートなので日常に彩りもありませんが...。 あとADHD(自称)ですので、話題が転々とすることをお許しください。 そうそう、つい先程起きた事なのですが GmailとEpic gamesとRobloxのアカウントを乗っ取られそうになりました。 記事で見たことはあったり友人が被害にあうのは見たことあったんですけど まさか自分がなるなんて...ってなりました。ただ理由はすぐ分か…

はじめに こんにちはiimonでエンジニアをしているhogeです。 最近ElasticSearchを勉強する機会がありました。アウトプットのためにElasticSearchに関する基礎的な知識を学びながら、OpenSearchとLambdaで物件検索APIを作ろうと思います。 AWSリソースは検証用のために簡易的に作ったため、本番環境では推奨されない設定が含まれますが、ご了承ください。 ElasticSearchとは ElasticSearchはElastic社が開発するApache Luceneを基盤とした検索エンジンです。ElasticSearchは以下の特徴を持ちます。 高速な全文検索や…

はじめに こんにちは、アソビュー株式会社でバックエンドエンジニアをしています竹村です。 ありがたいことにアソビューのサービスも長く続き、ご利用いただいているユーザーが増えるにしたがってデータも増え、SQLのパフォーマンス改善を行なうタスクが増えてきました。 今回はそんなSQLのパフォーマンス改善をしているなかで遭遇した問題とその対策について書こうと思います。 問題の概要と背景 パフォーマンス上問題がありそうなクエリを調査しているなかで、ごく一部のテーブルですが、数値であるべきカラムが誤って文字列型で定義されていたことがわかりました。 そしてこの型の不一致が原因で、SQLクエリの実行時にインデッ…

mattnさんがめちゃくちゃ良い感じの回答をしてくれていたが、詳細については触れていなかったのでほんの少しだけ回答を深掘ってみる。 mond.how 以下、引用 SQL でパフォーマンス改善するには幾らか手法がありますが、おおよそは以下の数個に絞られます。 フルスキャンを避ける事 インデックスを適切に張る事 集約関数や分析関数の利用 速い演算子や副問合せへの書き換え なぜ速い演算子に書き換えるべきなのか、なぜ分析関数が必要のか、なぜフルスキャンを避けるべきなのか、なぜインデックスを張るとパフォーマンスが改善するのか、そして適切にインデックスを貼らないどうなるのか、といった内容は読み物として調べ…

7月のテーマをデータベースとしていました。 計画が遅いけど、7月のテーマはデータベースにする。正規化とは？インデックスとは？リレーションシップとは？「何となくワカル」->「少しワカル」にもっていくのが目標や— siiiiisar (@siiiiisar) 2024年7月11日 DB設計の理解のために「達人に学ぶDB設計徹底指南書」を読みました。 達人に学ぶDB設計徹底指南書 第2版作者:ミック翔泳社Amazon 今まさに欲しい情報（正規化、インデックスなどの論理設計の知識）が網羅されていた上、 今後、必要になりそうな情報（物理設計の手順やバッドノウハウ集）についても書かれており、 読んで良かっ…

はじめに この記事では、LookerにおけるViewの作り方について説明します。 今回は可視化に利用するViewについて説明します。 前提のおさらい まず、LookerにおいてViewは可視化に利用する仮想のテーブルです。Lookerそのものはデータベースを管理しません。 Lookerはデータベースに対してクエリを発行してテーブルを作成、作成したテーブルをViewとして扱います。 つまり、View=テーブルという関係が成り立ちます。 Viewとテーブルの関係について深掘り Lookerは自前のデータベースあるいはデータソースを持たない関係上、接続先にあるデータベースからテーブルを参照してVie…

2024年6月9日 yano_t1107さん、ブックマークありがとうございました。 hatosyepusutoさん、tamayann58さん、いつもスターをありがとうございます。 何となく思い立って、ウイルスチェックをフルスキャンでやってみた。定年後は初めてかな。そうしたら、2件の脅威が見つかった。 フルスキャンで2件の脅威検出 クイックスキャンじゃ見つからなかったのに。それで、詳細をみると PUA:Win32/Creprote PUABundler:Win32/FusionCore どちらも、PUAで脅威は低いけど。とりあえず1は削除完了。昔のRSSリーダーのインストーラーみたいだった。RS…

はじめに DBManiaです。 突然ですが、みなさんはSnowflakeのパフォーマンスチューニングは行われていますか？ パフォーマンスチューニングはWarehouseのスケールアップとクエリーアクセラレーターで十分という方もいらっしゃるかも知れません。 しかし、実はSnowflakeは少しSQLのチューニングをしただけで2時間かかるクエリーが30秒で終わるようになることもあります。 今回はREVISIOで実践しているSQLパフォーマンスチューニング方法を公開したいと思います。 SQLチューニングに必須なこと。 みなさんは小学生のころに、相手の気持ちになって考えましょうと言われたことはないでし…

こんにちは！DBREの福間（fkm_y）です。先月、弊社でデータベースの技術顧問をして頂いてる三谷（mita2）さんに開発本部向けの「MySQL SQLチューニング」勉強会を実施していただきました。 今回はMySQLの得意不得意なことの説明やSQLチューニングの流れ、具体的な事例を元にした対応例、また最近話題のHTAPな製品も紹介していただきとても参考になったのでポイントをおさえてレポートをお伝えします！ 開催背景 本編 MySQL の得意なこと、苦手なこと データベースのチューニング手段と特徴 SQLチューニングの流れ インデックス SQLチューニング例 インデックスフルスキャンとカバーリン…