我們查看網站后臺文件時會發現，各種文件中有一個robots.txt文件。而robots文件對于優化有很重要的作用，主要就體現在網站的收錄上。那不知大家對于Robots協議了解嗎?下面，我們蘇州網站建設小編就準備給大家介紹一下。
1、Robots.txt存儲位置
Robots文件必須換在網站的根目錄下，因為搜索引擎抓取網頁是從根目錄開始，而蜘蛛抓取網站內容時會先檢測Robots文件，按照Robots文件的規則去抓取網站內容(即要查看其它網站的Robots文件可以直接輸入“域名/robots.txt”就能看到具體內容)。
2、Robots與Nofollow的區別
Robots與Nofollow的本質區別在于Nofollow只是在當前網頁禁止蜘蛛跟蹤超鏈接，而蜘蛛可能會通過其它路徑抓取到被Nofollow的網頁。而Robots是禁止搜索引擎索引Disallow的網頁。也就是說在搜索引擎可以搜索到Nofollow掉的網頁，但是搜索不到Robots Disallow的網頁。
3、Robots的語法規則
Sitemap指定網站地圖的路徑，User-agent指定具體的搜索引擎蜘蛛(User-agent: *，代表所有搜索引擎、User-agent:Googlebot指定谷歌搜索引擎蜘蛛)。Allow:是允許抓取的路徑，Disallow:是禁止抓取的路徑?？梢允褂猛ㄅ浞篋isallow: /*.css$禁止蜘蛛爬取所有css文件(具體可以查看本站的Robots文件)。
4、Robots的運用
通過Robots禁止網站后臺登入地址被搜索引擎收錄，避免黑客使用搜索引擎的inulr命令找到網站后臺的登入地址，以提高網站的安全性。同時也可以禁止蜘蛛抓取容量較大的文件，以提高網站的訪問速度。
通過我們蘇州網站建設小編的介紹，相信大家對于Robots協議有了一些了解了吧。當然，如果各位還想了解更多網站優化內容，歡迎來易搜寶官網聯系我們。感謝各位的支持和瀏覽。
