Web開発

こんにちは、にょろりんこの備忘録的ブログです。 この前書いたプログラミングスクールで「手に職つけて在宅ワーク」は詭弁では？というお話が思いのほかアクセスがあったので、今回はその続きを書こうと思います。 www.n-rinko.com あらためて結論から言います、プログラミングスクールに50万円払うのは、どう考えてもコスパが悪すぎて、選択肢にすら入らない。 「在宅で稼げる」「手に職がつく」「副業で月10万円」──そんな夢のような言葉が並ぶ広告を見かけますが、冷静に考えれば考えるほど、ツッコミどころしかありません。 今回は1個ずつ整理して確認をしていこうと思います。 スクール費用に５０万はコスパ悪…

こんにちは、にょろりんこの備忘録的技術ブログです。 今日は、クローリングやリンク収集処理の地味だけど超重要なパーツ、「URLの正規化」についてのお話です。 私が運用しているURLスクレイピング系のURL収集スクリプトでは、同じページを重複して処理しないために「URLの見た目」を正規化しています。たとえば、以下のようなケースです。 https://example.com/page/ と https://example.com/page → 同一 https://example.com/page#section1 と https://example.com/page → 同一 DB容量をちゃんと節…

こんにちは、にょろりんこの備忘録的技術ブログです。 今日は、Node.js製のWebクローラーでシードURLからリンクをたどる際に役立つ、同一ドメイン限定のフィルタ関数について紹介します。 クローラーの処理は、最初の1件――いわゆるシードURLから始まります。そこから <a> タグをたどってリンクをどんどん収集していくのですが、そのままにしておくとTwitterや広告、他サイトのリンクまですべて含まれてしまい、無制限に外部ドメインへ飛んでしまう「リンク暴走」状態になってしまいます。 とはいえ、これはこれで「全てのサイトを網羅したい」といった総当たり型クローラーの発想としては確かに理にかなってい…

こんにちは、にょろりんこの備忘録的技術ブログです。今日は少しリアルリアルな話をします。 私はこの４年間、毎日のように独学でコードを書き続け、累計たぶん3,000時間を超えるプログラミングをしてきました。HTMLとjQueryの入力欄から始まり、PHP、MySQL、Node.js、Puppeteer、プロキシ制御、形態素解析、そしてLLM翻訳に至るまで、技術的にも思想的にもSaePornsというサービスを作り続けてきました。 収益化自体は目的ではありません。まだ収益は出ていませんが、価値のあるものを作り続けた先に、必ず道は開けると信じています。 で、この経験からはっきり言えることがあります。「プ…

こんにちは、にょろりんこの備忘録的技術ブログです。 今回は、自作クローラシリーズの中核ともいえる「URL収集ロジック」について紹介してみようと思います。 静的なHTMLページはもちろん、JavaScriptでリンクが後から描画される動的ページ（SPAなど）にも対応できるように設計しています。 具体的には、Puppeteer と Node.js を使って、指定したページを開いて自動でスクロールし、`<a>` タグをすべて抽出する処理です。 補足：SPAとはなにか？ SPA（Single Page Application）とは、「ページ遷移が発生しない」タイプのWebアプリケーションのことです。普…

こんにちは、にょろりんこの備忘録的技術ブログです。 今回は、検索エンジンのインデクシングでよく使われる「回転型プロキシ」について、実際に契約してみたところ、全く回転しなかったという話と、そこから自前でIPローテーションの制御コードを作った過程について書いていきます。 まず大前提として、プロキシは切り替え方式で以下の2つに分けることができます。 回転型プロキシ（Rotating）：リクエストや時間ごとにIPが変わる。切り替えを自動でやってくれるので便利。 固定型プロキシ（Static/Dedicated）：同じIPを継続して使う。切り替えは自前でやるしかないが、そのぶん制御の自由度は高い。 これ…

こんにちは、にょろりんこの備忘録的技術ブログです。 今回は、外国語のAVタイトルから自然な日本語のキャッチコピーを生成する専用モジュール generate_mytho_only.py について紹介します。画像キャプションやタグ生成の処理でもMythoMaxを使っていますが、今回は「翻訳」ではなく「日本語の生成」に特化したユースケースです。英語・フランス語・スペイン語・中国語・韓国語など、さまざまな外国語のタイトルを、AV作品らしい自然な一文に日本語化するのが目的です。 ここでひとつ、言葉の定義について触れておきたいことがあります。generate_mytho_only.py の処理は、一見する…