Hatena Blog Tags
はてなブログ トップ
Robots.txt
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Robots.txt

(ウェブ)
【ろぼっつどっとてぃーえっくすてぃ】

robots.txtはGoogle、Yahoo!などのロボット型検索エンジンに対して制限をかけるためのファイル。サイトの直下に置く必要がある。（http://mdn.mainichi.jp/(http://mdn.mainichi.jp/)に検索エンジンへの制限をかける場合、http://mdn.mainichi.jp/robots.txtに置くことになる。）

このキーワードは編集待ちキーワードです。 説明文の追記などをして下さるユーザーを求めています。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
よっちんのブログ•2日前

SpartanCTF 2024 Writeup

この大会は2024/4/18 1:00(JST)～2024/4/22 14:00(JST)に開催されました。 今回は個人で参戦。結果は2338点で168チーム中8位でした。 あと1問で全問制覇だったのに残念です。 自分で解けた問題をWriteupとして書いておきます。 Day by Day (Misc 99) 日付がランダムに並んでいるので、空いている日付を答える問題。まず日付順にソートする。 $ cat dates | sort > dates_sorted ソートした日付を順に見ていき、次の行が次の日になっていない箇所を探す。 #!/usr/bin/env python3 from dat…

ネットで話題

もっと見る
736ブックマークrobots.txtとは？設置する理由・SEO効果・書き方を解説lucy.ne.jp
535ブックマークWordPressで作ったサイトを最適化するためのrobots.txtWordPressで構築している当サイトのrobots.txtを見直そうと思い、参考にした記事をいくつか紹介します。 How to Write WordPress robots.txt for SEO robots.txtファイルは、ウェブを探し回る検索エンジンのロボットに制限を与えるものです。 参考：A Standard for Robot Exclusion ロボットは自動化されており、サイト...coliss.com
447ブックマーク辻正浩 | Masahiro Tsuji on Twitter: "よくあるrobots.txtの誤りで、致命的なトラブルになる事もあるのにあまり知られていない仕様の紹介で連ツイート。 誤りは表に出ることが少ないので日本語で実例紹介を見たことが無いのですが、公共の面も持つサイトでの誤りを発見したので注意喚起意図で実例を紹介します。(続く"twitter.com
391ブックマークhttp://mdn.mainichi.jp/robots.txtmdn.mainichi.jp
292ブックマークオンラインで動く、色, CSS, robots.txt, .htaccess等のジェネレーター色々:phpspot開発日誌オンラインで動く、色, CSS, robots.txt, .htaccess等のジェネレーター色々 2006年11月13日- Smashing Magazine Blog Archive Online Generators One can discuss, whether web-generators are useful or not. On the one hand, they don’t challenge our creativity, but on the other hand they make our life easier ...phpspot.org
283ブックマーク初心者にも分かる！robots.txtの作り方syncer.jp
274ブックマーク大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴www.geek.sc
211ブックマークrobots.txt レポート - Search Console ヘルプrobots.txt レポートには、サイトの上位 20 個のホストに対して Google が検出した robots.txt ファイル、前回のクロール日、発生した警告やエラーが表示されます。また、急いでいる場合には、レポートから robots.txt ファイルの再クロールをリクエストすることもできます。 このレポートは、ドメインレベルのプロパテ...support.google.com
194ブックマークGoogle's robots.txt Parser is Now Open Sourceopensource.googleblog.com

関連ブログ

今さら聞けないSEO対策のアレコレをじっくり解説•3日前

テクニカルSEOで達成する高速ロードと最適化されたモバイル対応

イントロダクション テクニカルSEOは、ウェブサイトが検索エンジンによって効率的にクロールされ、インデックスされるために必要な技術的要素の最適化を指す。これには、ウェブサイトの構造、ページのロード速度、モバイル対応、安全な接続など、多岐にわたる側面が含まれる。検索エンジンは、ユーザーに最も関連性の高い結果を提供することを目指しており、そのプロセスにおいてウェブサイトの技術的な健全性は極めて重要である。テクニカルSEOの最適化を適切に行うことで、検索エンジンはウェブサイトのコンテンツを適切に理解し、適切なキーワードで高いランキングを達成しやすくなる。このブログでは、テクニカルSEOの具体的な内容…

よっちんのブログ•3日前

CTF@CIT 2024 Writeup

この大会は2024/4/20 6:00(JST)～2024/4/22 4:00(JST)に開催されました。 今回もチームで参戦。結果は3690点で553チーム中66位でした。 自分で解けた問題をWriteupとして書いておきます。 Welcome to the first CTF@CIT (Welcome!) 問題にフラグが書いてあった。 CIT{F1rst_Fl4g} Discord (Welcome!) Discordに入り、#ctf-infoチャネルのトピックを見ると、フラグが書いてあった。 CIT{y0u_4r3_1n_th3_d1sc0rd_y1p33} Lost Flag (Mis…

daisukeの技術ブログ•6日前

PythonでWebスクレイピング（ChatGPTにPythonコードを生成してもらう）

Webスクレイピングとは、プログラムを使用して、Webサイトの情報（データ）をダウンロードし、データを解析、分析することを言います。 初回なので、スクレイピングをするにあたっての注意事項や基本的なところを書きます。 あまり無茶は出来ませんが、スクレイピングを使うと、とても便利なことがあると思います。 例えば、自分のブログのリンク切れ自動チェックや、ブログ記事一覧の自動作成、URLを入力すると記事タイトルを表示させるツール（URLを投稿日時にしてしまった場合に便利）など、ブログ運営に役に立ちそうなことが出来そうです。 今回は、自分のブログの記事のURLとタイトルの一覧を取得できるツールを作ってみ…

Teraru.jp•16日前

「ナビイ」はどうしたら良かったのか勝手に考えてみた

医療情報ネット（ナビイ）は診療日や診療科目といった一般的な情報に加え、対応可能な疾患・治療内容、提供しているサービスなどさまざまな情報から、全国の医療機関を検索することのできるシステムです。 引用元：https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/kenkou_iryou/iryou/teikyouseido/index.html

Money Forward Developers Blog•16日前

マネーフォワードの長期インターン生がOIDCのためのOSSを開発しました

はじめに こんにちは、マネーフォワード関西開発拠点のAPI推進部でインターンをしている進捗ゼミです。 私たちのチームでは、マネーフォワードのプロダクトがサードパーティーアプリケーションとAPIを通じて連携するための仕組みを作成しています。 私は、このチームで学んだことを活かして、Mini OAuth2 ProxyというOSSプロダクトを個人的に作成しました。 この記事では、インターンの経験を交えながら、Mini OAuth2 Proxyについて紹介します。 TL;DR OAuth2 ProxyはOIDC（OpenID Connect）による認証を簡単に追加することができる便利なOSSです OA…