新手站長在建站的過程中,不可避免的要接觸到robot文件,robot文件是對搜索引擎蜘蛛設定的,是告訴抓取的蜘蛛網站裡什麼東西能抓取,什麼東西不能抓取。那麼robot文件該如何去書寫,已經要將robot文件放在哪裡才會對搜索引擎蜘蛛有效呢。
工具/原料
電腦,互聯網
FTP軟件
方法/步驟
新建一個文本文檔,文件名稱命名為robots.txt。
使用Disallow和allow語法書寫robots文件,寫明網站要禁止什麼,不禁止什麼,如圖。
打開FTP軟件,鏈接網站數據庫。沒有FTP軟件可百度搜素下載。
找到網站“public-html”文件,進入文章根目錄。
連接本地文件,將robots.txt文件上傳到網站根目錄下。
打開瀏覽器,輸入域名+ robots.txt,檢查“robots.txt”文件是否已經上傳無誤。
注意事項
網站robot文件一旦設置好,如果不是特別需要,一般不要隨意去更改。