技術ブログ

Javaを始めたばかりの頃、わたしはエラー文に泣いてばかりだった。 「NullPointerException」とか「cannot find symbol」とか──どれも呪文みたいだった。 検索して、Qiitaを読んで、なんとか解決して。 でも、しばらくするとまた同じことでつまずいて、 「これ、どこかに自分用の記録として残しておかないと、永遠に同じことで迷子になるな…」と思った。 それが、技術ブログを始めた理由です。 ☁️ つまずいたことって、恥じゃない むしろ、誰かがその記録を見て「自分だけじゃなかった」と思ってくれたら、 その“失敗”は、誰かの安心になる。 Qiitaでは手順を中心に書くけ…

近年、エンジニアの副業が注目を集めています。本業で培ったスキルを活かして収入を増やすだけでなく、新たなスキル習得や人脈形成の機会にもなります。クラウドソーシングを利用すれば、Webサイト制作、アプリ開発、システム保守など、多様な案件から自分のスキルや経験に合った仕事を選べます。中には、企業のコンサルティングや技術指導といった高単価な案件も存在します。 技術ブログの運営も魅力的な副業の一つです。自身の専門知識や経験を記事として発信することで、読者からのアクセス数を増やし、広告収入を得ることが可能です。ニッチな分野に特化したブログは、専門性の高さが評価され、多くの読者を獲得できる可能性を秘めていま…

なんでこのブログを始めたのか このブログでやっていきたいこと ちょっと自己紹介 最後に 「インフラエンジニアのキャリア研究所」へようこそ！ このブログは、インフラ技術を通して世界の未来を支え、そして自分自身の未来を作っていくために、日々の学びや挑戦をゆるっと記録していく場所です。 なんでこのブログを始めたのか インフラエンジニアは、世の中の「基盤」を支える仕事です。サーバーもネットワークも、クラウドも、全部が見えないところで世界を動かしている。そんな裏方の力強さに、僕は未来を感じました。 特に、AWSやAzureなどのクラウド技術には、これからの世界を変える可能性が詰まっています。 就職活動中…

こんにちは、にょろりんこ的、備忘録技術ブログです。 以前に「インデックスする必要のないページは最初から開かない」という話をしましたが、今回は逆に「開いたページでも、いらないものは一切読み込まない」という話です。 関連記事 pop-ancient.hatenablog.com pop-ancient.hatenablog.com 特に動画サイトには、画像・スタイル・フォント・外部スクリプトなど、不要な通信のかたまりが大量に含まれています。 Sae-Pornsでは、これらを一網打尽にブロックすることで、圧倒的な軽量化を実現しています。 これは「ただのページ遷移」ではありません 本来、fetchEl…

※全体のクローリング処理では Puppeteer を使用していますが、この記事で紹介するフィルタリング処理は Node.js 単体で完結しています。 こんにちは、にょろりんこです。 今回は、クローリング処理を高速化＆軽量化するために導入している、「事前URLフィルタリング」の仕組みについて紹介します。 髪を触るティアラ 私が開発・運用しているポルノ動画検索エンジン「SaePorns」では、Node.js + Puppeteer を用いて、動画ページのメタデータを自動抽出しています。 しかし、すべてのURLを律儀に開いていたのでは時間も帯域もいくらあっても足りません。 とくに以下のようなページは…

こんにちは、あなたを追跡しないポルノ動画検索エンジン、Sae-Porns管理人のにょろりんこです。 検索エンジンを作成する際、あなたのクローラーは noindex をちゃんと避けてますか？ クローリング／インデクシングする時に、気をつけなければいけないこと。それは noindex 設定になっているページをうっかりインデクシングしないこと。 考えるティアラ たとえば、運営者が明示的に「検索結果に載せないで」と指定しているページを、こちらの都合でインデクシングしてしまうのは、技術以前にリスペクトの問題。 そのページがどんなに重要な情報を含んでいても、検索対象に含めてしまえば意図しないトラブルを招く…

こんにちは、にょろりんこです。 今回は、「なぜ “Sae-Porns” という名前にしたのか？」というお話です。 ちょっとギョッとする名前かもしれませんが、これにはちゃんと理由があります。というか、最初はこういう名前ではなかったんです。 最初は「FairyWorks」という名前だった このプロジェクトを始めたとき、最初に考えた名前は FairyWorks（フェアリーワークス） でした。 「妖精のしごと」って、なんかちょっと素敵じゃないですか？ わたしが思い描いていたのはこんな検索エンジンでした： パーソナライズドされたおすすめなんかしない 学習もしない、追跡もしない ただ、妖精たちが人知れずコ…