技術ブログ

※全体のクローリング処理では Puppeteer を使用していますが、この記事で紹介するフィルタリング処理は Node.js 単体で完結しています。 こんにちは、にょろりんこです。 今回は、クローリング処理を高速化＆軽量化するために導入している、「事前URLフィルタリング」の仕組みについて紹介します。 髪を触るティアラ 私が開発・運用しているポルノ動画検索エンジン「SaePorns」では、Node.js + Puppeteer を用いて、動画ページのメタデータを自動抽出しています。 しかし、すべてのURLを律儀に開いていたのでは時間も帯域もいくらあっても足りません。 とくに以下のようなページは…

こんにちは、あなたを追跡しないポルノ動画検索エンジン、Sae-Porns管理人のにょろりんこです。 検索エンジンを作成する際、あなたのクローラーは noindex をちゃんと避けてますか？ クローリング／インデクシングする時に、気をつけなければいけないこと。それは noindex 設定になっているページをうっかりインデクシングしないこと。 考えるティアラ たとえば、運営者が明示的に「検索結果に載せないで」と指定しているページを、こちらの都合でインデクシングしてしまうのは、技術以前にリスペクトの問題。 そのページがどんなに重要な情報を含んでいても、検索対象に含めてしまえば意図しないトラブルを招く…

こんにちは、にょろりんこです。 今回は、「なぜ “Sae-Porns” という名前にしたのか？」というお話です。 ちょっとギョッとする名前かもしれませんが、これにはちゃんと理由があります。というか、最初はこういう名前ではなかったんです。 最初は「FairyWorks」という名前だった このプロジェクトを始めたとき、最初に考えた名前は FairyWorks（フェアリーワークス） でした。 「妖精のしごと」って、なんかちょっと素敵じゃないですか？ わたしが思い描いていたのはこんな検索エンジンでした： パーソナライズドされたおすすめなんかしない 学習もしない、追跡もしない ただ、妖精たちが人知れずコ…

こんにちは、にょろりんこです。 このブログは、私がひとりで開発している匿名検索サービス「Sae-Porns（えすえーいーぽーんず）」の進捗や裏話、試行錯誤の記録などを綴っていく場です。 初回は、「なんでそんなものを作ろうと思ったの？」という話から始めたいと思います。 ウェブに託していた、自分たちの自由な世界 そもそも、私はポルノサイトを作りたかったわけではありません。 私が本当にやりたかったのは、こういうことでした。 「追跡されないウェブサービスって、自分でも作れるんだろうか？」 たとえばDuckDuckGo（DDG）みたいに、ユーザーの情報を一切記録せずに動く検索エンジン。 ああいう思想に昔…

IT業界は日々進化し続けており、最新情報のキャッチアップはエンジニアにとって欠かせません。今回は、現役エンジニアやIT初心者にも大好評の「読み応えあり」「実践的」「共感できる」技術記事を厳選して10本ご紹介します。 これらの記事は、Qiitaなどの技術コミュニティで数千もの「いいね」を獲得しており、エンジニアのバイブルとも言えるほど支持されています。スキルアップを目指す方、キャリアに悩んでいる方、学びのきっかけが欲しい方にぴったりです。 1. 「新人エンジニアサバイバルガイド」 新しくエンジニアとしてキャリアをスタートしたあなたへ。必要な基礎知識を丁寧に解説しています。リンク：新人エンジニアサ…

なんでこのブログを始めたのか このブログでやっていきたいこと ちょっと自己紹介 最後に 「インフラエンジニアのキャリア研究所」へようこそ！ このブログは、インフラ技術を通して世界の未来を支え、そして自分自身の未来を作っていくために、日々の学びや挑戦をゆるっと記録していく場所です。 なんでこのブログを始めたのか インフラエンジニアは、世の中の「基盤」を支える仕事です。サーバーもネットワークも、クラウドも、全部が見えないところで世界を動かしている。そんな裏方の力強さに、僕は未来を感じました。 特に、AWSやAzureなどのクラウド技術には、これからの世界を変える可能性が詰まっています。 就職活動中…

と言うお知らせです。 で、どこに作ったの？ 新しい技術ブログはこちら： カラクリサイクル なんで作ったの？ 現在のカラクリスタ、実はLaprasなどに登録してあったりするのですが、純粋に技術の話をしているか、というとかなり微妙で、 エモーショナルな記事とかそれお前だけに関係する話だろ、という記事が結構多いのでそこを分離しようという魂胆をしています。 で、Zennを使う手もあるんじゃないの？と自分でも考えたのですが、 最近のZennは商業的な印象が強くなっていてなんとなく遠慮したい事と、 個人の印象としてZennへの記事投稿のハードルが高くなっている事もあって、もう少し手軽に、という事ではてなブ…