robots.txt 檔案的用途

robots.txt 是一個文字檔
功能是告訴各個搜尋引擎的機器人程式，不要將某個部份的網頁納入到他們的資料庫中

robots.txt 檔案要放在 網頁 的根目錄下
內容包含兩個指令：
User-agent: 那個搜尋引擎，ex：googlebot， * 代表全部的搜尋引擎
Disallow: 不允許搜尋的目錄

ex：
User-agent: *
Disallow: /abc/
Disallow: /cde/
意思是不允許所有的搜尋引擎來搜尋 /abc 及 /cde 下的網頁資料

如果希望所有的網頁都不要被搜尋，那就要寫
User-agent: *
Disallow: /