こんにちは、にょろりんこの備忘録的技術ブログです。今回はNode.jsを使い、アクセス不能になったURLをDBから削除する(DBクレンジング)という話です。 SaePornsのような動画検索サービスでは、日々大量のURLが自動で収集・登録されていきます。けれど、その中には収集時には存在していたが、その後に削除されたURLや、何らかの理由でアクセスできなくなったURLも混ざってきます。 そうした「もう存在しないURL」がDBに残り続けると、検索結果にノイズが増えたり、キャプション生成が止まったり、再生ページが404のまま残ったり──じわじわとサービス全体が詰まってきます。 ユーザーエクスペリエン…