快速使用百度站長(zhǎng)工具檢查和配置Robots
百度站長(zhǎng)工具檢查和配置Robots http://zhanzhang.baidu.com/robots/index
一、檢查當(dāng)前Robots配置:
1、 首先點(diǎn)擊“檢測(cè)robots.txt”
2、 輸入你要查詢(xún)的網(wǎng)址
3、 按“檢測(cè)”
4、 按“檢測(cè)”后就會(huì)出現(xiàn)以下內(nèi)容是當(dāng)前不允許抓取和允許抓取的列表,像后臺(tái)文件夾這些應(yīng)該設(shè)置為“不允許抓取”。
若檢測(cè)結(jié)果為上圖,表明空間不存在robots.txt表示您允許搜索引擎可以抓取您網(wǎng)站全部的內(nèi)容包括后臺(tái)信息。
二、配置Robots
1、 點(diǎn)擊“生成robots.txt”
2、 設(shè)置“user-agent”為“所有”即允許所有搜索引擎收錄網(wǎng)站信息,狀態(tài)分別有“允許抓取”和“不允許抓取”按你的需要設(shè)置好哪個(gè)路徑是允許搜索引擎收錄網(wǎng)站信息的或不收錄的?!奥窂健贝砜臻g中那個(gè)路徑要做Robots的。
3、 “user-agent”“狀態(tài)”“路徑”這三個(gè)都設(shè)置好了,可以點(diǎn)擊“創(chuàng)建”按鈕。這時(shí)“robots.txt內(nèi)容”會(huì)自動(dòng)添加你剛配置好的信息,將你要配置的都創(chuàng)建好后點(diǎn)擊“下載”將“robots.txt”下載到本地后上傳到服務(wù)器網(wǎng)頁(yè)根目錄下即可。