網站的robot文件如何書寫以及放置才有作用?

新手站長在建站的過程中，不可避免的要接觸到robot文件，robot文件是對搜索引擎蜘蛛設定的，是告訴抓取的蜘蛛網站裡什麼東西能抓取，什麼東西不能抓取。那麼robot文件該如何去書寫，已經要將robot文件放在哪裡才會對搜索引擎蜘蛛有效呢。

工具/原料

電腦，互聯網

FTP軟件

方法/步驟

新建一個文本文檔，文件名稱命名為robots.txt。

使用Disallow和allow語法書寫robots文件，寫明網站要禁止什麼，不禁止什麼，如圖。

打開FTP軟件，鏈接網站數據庫。沒有FTP軟件可百度搜素下載。

找到網站“public-html”文件，進入文章根目錄。

連接本地文件，將robots.txt文件上傳到網站根目錄下。

打開瀏覽器，輸入域名+ robots.txt，檢查“robots.txt”文件是否已經上傳無誤。

注意事項

網站robot文件一旦設置好，如果不是特別需要，一般不要隨意去更改。