robots.txt 裡的 Disallow是用來設定哪些目錄不想要讓 搜尋引擎 建立 Index 的檔案
但是我只要查看網站的 robots.txt 檔案,就可以知道到底這個網站有哪些不想讓人知道的目錄
如果網站管理人員只有做 robots.txt 來阻止 搜尋引擎 建立 Index 的檔案,那就危險了
還是為這些不想讓人進入的目錄建立更嚴謹的控管機制吧
方法:
1.
http://網址/robots.txt2.
利用 google : inurl:robots.txt site:網址 +"disallow"PS:還有一些搜尋引擎根本不管 robots.txt 的設定,ex:某些中國的搜尋引擎