轉眼過去，我接觸SEO已經2個月有餘了，在這期間，我學到了許多，明白了許多，但是對於SEO的前輩來說，我只是一個乳臭未乾的小子，線面給大家分享一點關於robots.txt的寫法，新手學習，如果你是高手，就當時複習下吧。
準備工作
伺服器
網站域名
做好的網站
robots.txt
步驟/方法
選個好的域名，沒被搜尋引擎K過的；
把網站傳到伺服器；
寫robots.txt檔案；
將寫好的robots.txt檔案穿至網站的根目錄；
檢視robots.txt檔案：域名/robots.txt;
注意事項
一個網站最好寫個robots.txt檔案，雖然沒有也不會有太大的問題，但有一個會有利於搜尋引擎檢索你的頁面；
不要把允許蜘蛛爬行的檔案和不允許蜘蛛爬行的檔案搞混淆了；
做好一個網站的優化，選伺服器很重要，要沒被搜尋引擎K過，還要穩定，速度要快；
一定要把robots.txt檔案傳至網站的根目錄。