robots.txtはGoogle、Yahoo!などのロボット型検索エンジンに対して制限をかけるためのファイル。サイトの直下に置く必要がある。(http://mdn.mainichi.jp/(http://mdn.mainichi.jp/)に検索エンジンへの制限をかける場合、http://mdn.mainichi.jp/robots.txtに置くことになる。)
このキーワードは編集待ちキーワードです。 説明文の追記などをして下さるユーザーを求めています。
ソース: medium.com 脆弱性:chat Bot 訳: 2 日から、Gemini と Chat GPT のようなチャット ボットであるプライベート プログラムへの招待を受け取ったので、いくつかのビジネス ロジックと ID のテストから始めますが、この製品には優れたセキュリティ チームがあり、Web サイトにも WAF またはセキュリティフィルター、開発者の頭はそうは思わないので、Webサイトとディレクトリのファイルを取得するために深く掘り下げ始め、robots.txtファイルを読み始めた後、パスが /s/ であることに気づき。 これまではそれが正常であることはわかっていますが、すべての…
Webスクレイピングで、 たくさんのデータを独自に収集して、 収集を自動化したい。 一番大事なのは、 サイト側がWebスクレイピングを許可しているかどうか。 サイトの ルートディレクトリにある 「robots.txt」の中身を見てみることで分かる。 https://www.yahoo.co.jp/robots.txt User-agent: * https://news.yahoo.co.jp/robots.txt User-agent: Google-ExtendedAllow: /articles/*/commentsDisallow: /articlesDisallow: /pickup…
1,000万円を超えたbitcoinを少しだけどもらえるURL https://bitflyer.com/invitation?id=l50e5ljw&lang=ja-JP ハピタスからポイントもらえるURL お名前.comのドメイン名のみ契約した状態でもssh接続すると /home/ユーザ名/public_html/20210101xxx.onamaeweb.jp/という公開フォルダに接続できる。 そこにおいたファイルは(ドメイン名は長ったらしいが)外部公開はされてるわけで、ここにtoC向けのサイトというよりは、例えばShopifyのWebhookに使うための自作公開APIを置いて商品注文を…
まず、ドキュメントを読むとすべてが書いてあります。 書いてあるのですが、プレビュー環境と本番環境でrobots.txtを出し分けたかったので、色々検証してみました。nextjs.orgまずは、ほぼほぼドキュメント通りの実装。 app/robots.ts import { MetadataRoute } from 'next'; const url = 'https://kimizuka.fm'; export default function robots(): MetadataRoute.Robots { return { rules: { userAgent: '*', allow: '/…
https://ctftime.org/event/2263 [Cloud] Silly Software [Cloud] My Buddy Erik 解けなかった [Web] Jarls Weakened Trust [Web] Ponies [Web] vikeMERCH [Web] movieDB 解けなかった [Cloud] Silly Software We're Silly Software, and we like bringing the Fun back into devops! We've decided that we're going to start distribu…
https://ctftime.org/event/2231 [Web] learn HTTP シリーズ [Web] learn HTTP [Web] learn HTTP better [Web] learn HTTP (final) 解いてない [Web] I am a web-noob [Web] rabbithole [Web] steps to success 解けなかった [Web] Uploader 解いてない [Web] learn HTTP シリーズ [Web] learn HTTP I made a simple web application to teach you g…
ソース: medium.com 脆弱性:XSS, FileUpload 訳: ** XSS の脆弱性: * トヨタの重要な DOM XSS:: $Keys$: 自動化ツール [gau+dalfox+etc..] トヨタ ドメインがあり、そのドメインのサブドメインを収集する必要があります。 などのツールを使用して sublist3r 、 subfinder 、 asset finder 、 amass を使用してこれらのサブドメインをフィルタリングできます。httpx 、ライブ サブドメインを取得するために使用され。 httpx -l subdomains.txt -o httpx.txt から…
各botの説明サイトと実際のサービスサイトを張っておきます Semrush は無料では使えないので Disallow: / でよいと思います Ahrefs は無料で多少使えますが、詳しく見ようと思うと有料 majestic MJ12bot は無料でさわりを見ることができ、詳しく見ようと思うと有料 webmup BLEXbot は無料でさわりを見ることができ、詳しく見ようと思うと有料・SemrushBot https://ja.semrush.com/bot/ https://ja.semrush.com/ ・AhrefsBot https://ahrefs.com/ja/robot https…
この大会は2024/3/1 19:30(JST)~2024/3/3 19:30(JST)に開催されました。 今回もチームで参戦。結果は3557点で1038チーム中98位でした。 自分で解けた問題をWriteupとして書いておきます。 Welcome to VishwaCTF'24 (Miscellaneous, Beginner) 問題にフラグが書いてあった。 VishwaCTF{arambhah sarvasya dharmasya} Who am I? (Miscellaneous, Easy) 問題作成者の情報を見るために「@Aditya Gaikwad」のメッセージから見てみる。自己紹…
本稿の目的 本稿は、2024(令和6)年1月23日に公表され、意見募集がなされた「AIと著作権に関する考え方について(素案)」につき、その結果(意見に対する回答)が公開されたので、自分の考えたことをまとめる目的で記載する文章である。 本稿は私個人の見解を記載したもので、何らの法的見解や個別の事案への解決策を示すものではなく、引用等を行う場合には十分に裏付けをとったうえで引用等することを強く推奨する。 「AIと著作権に関する考え方」とは 意見募集の「AIと著作権に関する考え方(素案)(概要)」2ページによれば、 著作物に表現された思想又は感情の享受を目的としない行為については、著作物の表現の価値…