Internet Archiveで"We were unable to get the robots.txt document to display this page."と表示される件について。

web

そもそも既に無いのに、robots.txtなんてあるわけないでしょ！！と突っ込みつつ、仕様変更されたのかなーと呆然していたところに以下のスレッドを見つける。

• Subject: We were unable to get the robots.txt document to display this page.

it is a known issue that is currently being worked on.

ということで、既知の問題らしいから、しばらく様子見。

追記

なんとかなったみたい。

ツイートする

Permalink | コメント(0) | トラックバック(0) | 23:12