Hatena Blog Tags
はてなブログ トップ
Web開発
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Web開発

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
ぽっぺんしゃんにょろりんこ•1日前

アクセス不能になったURLをDBから削除する。DBクレンジングという裏方作業のお話

こんにちは、にょろりんこの備忘録的技術ブログです。今回はNode.jsを使い、アクセス不能になったURLをDBから削除する（DBクレンジング）という話です。 SaePornsのような動画検索サービスでは、日々大量のURLが自動で収集・登録されていきます。けれど、その中には収集時には存在していたが、その後に削除されたURLや、何らかの理由でアクセスできなくなったURLも混ざってきます。 そうした「もう存在しないURL」がDBに残り続けると、検索結果にノイズが増えたり、キャプション生成が止まったり、再生ページが404のまま残ったり──じわじわとサービス全体が詰まってきます。 ユーザーエクスペリエン…

#ウェブ開発#Web開発#検索エンジン#404 Not Found#個人開発

ネットで話題

もっと見る
1301ブックマークPythonでWeb開発入門 みんなのPython Webアプリ編 HTML版(無料) | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 一部読者から高い評価をいただき，絶版となりながら中古市場でプレミア価格がついていた拙著「みんなのPython Webアプリ編」のHTML...coreblog.org
1207ブックマークChrome DevToolsを使いこなそう！ Web開発に必須なブラウザ開発ツールによるデバッグの基本 - エンジニアHub｜若手Webエンジニアのキャリアを考える！eh-career.com
1096ブックマーク便利なWeb開発向けツールまとめ｜かずたかnote.com
893ブックマークWeb開発者はもっと「安全なウェブサイトの作り方」を読むべき - Flatt Security Blogblog.flatt.tech
892ブックマーク高木浩光＠自宅の日記 - やはり退化していた日本のWeb開発者「ニコニコ動画×iPhone OS」の場合■ やはり退化していた日本のWeb開発者「ニコニコ動画×iPhone OS」の場合 一年前、「退化してゆく日本のWeb開発者」という題で、ケータイWebの技術面での蛸壺化について次のように書いた。 iPhoneに契約者固有ID送信機能が搭載される日 （略）こうして退化してゆくケータイWebが、日本のスタンダードとなってしまい、いつ...takagi-hiromitsu.jp
863ブックマークTwitter BootstrapでさくさくWeb開発 : アシアルブログblog.asial.co.jp
807ブックマークReactで学ぶ！いまどきのWeb開発speakerdeck.com
800ブックマークスマホのWeb開発に、Adobe Shadowが神ツールな件 | fladdictスゴイ。ヤバい。 Adobe Shadowは、Adobeのラボがリリースした、スマホコンテンツの開発支援ツール。 何ができるかというと、PCのブラウザで表示したURLのコンテンツを、iPhoneやiPadで同時に表示してくれる。 PCでサイトをリロードするだけで、iPhoneやiPadでも自動でブラウザがリロードされて、表示を検証できる！！ i...fladdict.net
783ブックマークGithubのWeb開発用エディタ「Atom」が、いつの間にか進化し過ぎている件！ | シェアしたくなる最新のWebサービス・ITニュース情報をチェック！ APPGIGA!!（アプギガ）plus.appgiga.jp

関連ブログ

ぽっぺんしゃんにょろりんこ•2日前

Node.js + Puppeteerでサムネイル画像を動画ページから抽出するという話

こんにちは、にょろりんこの備忘録的技術ブログです。 今回は、動画ページから最適なサムネイル画像URLを抽出するためのモジュール、fetch-image.js をご紹介します。 これは、私が開発・運用しているポルノ動画検索エンジン「Sae-Porns」の中でも、ユーザー体験に直結する非常に重要な処理のひとつです。 検索結果の画面で最初に目に入るのがサムネイル画像。つまり、ここで失敗するとクリックされない＝見てもらえないわけです。 ティアラ_ティータイム ところが実際の動画ページというのは、サイトによってHTML構造がバラバラ、さらには構造化データの欠落や、JavaScriptによる遅延読み込みな…

#ウェブ開発#Web開発#個人開発#Node.js#Puppeteer
ぽっぺんしゃんにょろりんこ•3日前

Node.js + Puppeteer で動画タイトルをなるべく正確に取得する方法

こんにちは、にょろりんこの備忘録ブログです。 今日は Sae-Porns の中でも地味だけど重要な処理──動画ページのタイトルをなるべく正確に取得する仕組みについて解説します。 今回取り上げるのは、以下のモジュールです： async function fetchTitle(page) { let finalTitle = null; const jsonLdHandle = await page.$('script[type="application/ld+json"]'); if (jsonLdHandle) { const jsonText = await page.evaluate(el…

#Web開発#ウェブ開発#Node.js#Puppeteer
ぽっぺんしゃんにょろりんこ•4日前

エンジニアと非エンジニアの仲が悪い組織はなぜ生まれるか？私がコードを書き始めた理由。

こんにちは、にょろりんこの備忘録ブログです。今日は自分語りでエンジニアと非エンジニアの仲が悪い組織はなぜ生まれるか？という話です。 私はかつて、あるWeb制作会社で営業職として働いていました。クライアントの課題を整理し、プロジェクトを設計し、現場と連携しながら進行を支える──一見すると、役割ごとに機能が分かれた合理的な組織でした。けれど、社内には目に見えない断絶がありました。エンジニアと非エンジニアの間に横たわる、深くて静かな“壁”のようなものです。お互いを尊重し合う関係ではなく、知識や立場を盾にしてマウントを取り合う空気が、日常として染みついていたのです。 具体的には、エンジニアが発する「じ…

#ウェブ開発#Web開発#雑記
きり丸の技術日記•5日前

ログインの定義とプラポリ取得のタイミングを整理

※ タイトルのプラポリとはプライバシーポリシーのことを指します。また、サービスの性質によっても異なる可能性があるので、必ずしも鵜呑みにしないでください。 始めに 最近、GDPRを意識してプライバシーポリシーの承認を厳格化して、承認しない場合はサービス利用できない仕様にしようとしています。 それに伴い、何を考慮すべきで何を実装すればいいかを整理したので、自分用にまとめておきます。また、それに伴ってログイン(サインイン)の指す範囲が人によってずれていたのでそれも併せて整理します。 ログインとは まずは、IT用語辞典のログイン/ログオンのページを引用します。 ログイン（login）とは、システムに自…

#Web開発
ぽっぺんしゃんにょろりんこ•5日前

Node.js + Puppeteerで不要リソースをブロックし、軽量＆安全にページを取得するという話

こんにちは、にょろりんこ的、備忘録技術ブログです。 以前に「インデックスする必要のないページは最初から開かない」という話をしましたが、今回は逆に「開いたページでも、いらないものは一切読み込まない」という話です。 関連記事 pop-ancient.hatenablog.com pop-ancient.hatenablog.com 特に動画サイトには、画像・スタイル・フォント・外部スクリプトなど、不要な通信のかたまりが大量に含まれています。 Sae-Pornsでは、これらを一網打尽にブロックすることで、圧倒的な軽量化を実現しています。 これは「ただのページ遷移」ではありません 本来、fetchEl…

#ウェブ開発#Web開発#個人開発#技術ブログ#Sae-Porns#Node.js#Puppeteer
いいかお前ら、よく聞け！•5日前

AWS　EC2インスタンスのお引越し作業

やるやる詐欺を繰り返してウェブ開発をサボッていましたが、そろそろ本気で動かないとまずいと思いました。 思いましたので、頑張って動きたいと思います。 現状はまったくの放置状態になっていました。 ひとまずjanusの起動には成功しており、ウェブデザインの変更などを考えていたところだったと思います。 恐らくですが、この辺りで転職をしたため忙しくなってサボっていました。 で、EC2を放置していたのですが、当然課金はされ続けます。 インスタンスを停止していないと月々8,000円近くかかります(ロードバランサーなど諸々含めての金額です)。 インスタンスを停止していれば4,000円かからないくらいに抑えられ…

#Janus備忘録#IT#日記#ブログ
3流プログラマのメモ書き•7日前

(JavaScript / .Net)CORS問題にハマる

背景 HTML/JS + WebAPI(ASP.NET) 構成のWEBサイトを構築しています。HTML/JSはVS CodeでデバッグはLive Serverを、WebAPI側(HTTPハンドラ *.ashx)は Visual Studioで開発デバッグしています。 HTML/JS側ではデバッグURLは、http://127.0.0.1:5500/ となり、WebAPI側は、http://localhost:49614/ となっています。 ポートやホスト名が異なるのでこの場合クロスオリジンとなり、ブラウザはクロスオリジン(この場合WebAPI)側にアクセスできません。 (HTML/JSとWeb…

#JavaScript#Web開発
ぽっぺんしゃんにょろりんこ•7日前

Node.jsのCLI引数を活用し、開発・本番を分岐するテストモードを実装！本番DBを汚すことなく動作確認をする話

こんにちは、にょろりんこの備忘録的ブログです。 今回は、Node.jsのCLI引数を活用し、開発・本番を分岐するテストモードを実装。本番DBを汚すことなく動作確認をするというお話をしていきます。 みなさん、こんな経験ありませんか？ スクリプトを試したいけど、本番DBのデータを壊したくない。 1件だけテストしたいのに、ループ処理が全部走ってしまう。 テスト用DBを別に用意したけど、本番の挙動と微妙に違ってハマる。 そんなとき便利なのが、「テストモードの分岐処理」です。 Node.jsでは、コマンドライン引数（CLI引数）を使って、「URLを手動指定されたときだけ1件テスト実行する」処理に簡単に分…

#Web開発#Node.js#個人開発#SQL
ぽっぺんしゃんにょろりんこ•8日前

イメージ画像から検索用タグを自動生成するというお話：③スダチ形態素解析編

こんにちは、にょろりんこの技術備忘録ブログです。 今回は、前回の「MythoMaxでキャッチコピー生成」編で得られた日本語タイトルを、さらに検索性の高い語句に分解していく第3ステップ──「形態素解析」編です。 今日の私は言語学者です。 AIが画像から文章をつくる（BLIP） 英語キャプションを日本語に翻訳（MythoMax） 形態素解析で語句を抽出（SudachiPy）←今回のテーマ１ フィルタ＆整形して、検索タグとして格納←今回のテーマ２ ティアラ_手を振る タイトルは自然でも、「そのまま検索語」には向かない MythoMaxで得られる出力は、たしかに自然な日本語の一文です。 しかし、たとえ…

#ウェブ開発#Web開発#Python#個人開発#形態素解析#sudachi