robots.txt的用法
發表於 : 2009年 8月 11日, 11:11
這個網站有描述 rotots.txt 的用法.
http://www.robotstxt.org/
而且還有在一般網頁上的 meta header 的設定能通知搜尋引擎的行為: http://www.robotstxt.org/meta.html
http://www.robotstxt.org/
而且還有在一般網頁上的 meta header 的設定能通知搜尋引擎的行為: http://www.robotstxt.org/meta.html