robots文件在seo網(wǎng)站優(yōu)化中的位置舉足輕重，它的作用在于讓搜索引擎便于抓取優(yōu)質(zhì)內容，過(guò)濾掉一些無(wú)用頁(yè)面、鏈接或者文件等。一個(gè)網(wǎng)站想要排名且不被攻擊，少了它可不行。接下來(lái)就為大家細致講解一下robots文件。

1.什么是robots機器人文件？

robots文件是網(wǎng)站和搜索引擎之間的通信協(xié)議文件。我們可以使用此文件告訴搜索引擎蜘蛛可以抓取哪些鏈接以及不允許包含哪些鏈接。
此文件的全名稱(chēng)為robots.txt。文件名必須名為robots.txt。其次，此文件必須是小寫(xiě)的。
此robots.txt文件必須放在網(wǎng)站的根目錄中。當蜘蛛抓取您的站點(diǎn)時(shí)，它將首先讀取該文件并根據文件中寫(xiě)入的記錄獲取頁(yè)面。
并非所有網(wǎng)站都有此文件。如果您沒(méi)有此文件，蜘蛛可以隨意抓取您的網(wǎng)站鏈接。
所以從事seo必須為網(wǎng)站做一個(gè)合理的機器人文件?，F在我們在織造系統中都是一樣的。它基本上是相同的，所以它是不合理的，所以我們需要單獨重寫(xiě)這個(gè)文件。
2.文件編寫(xiě)規則
User-agent（用戶(hù)代理）:蜘蛛名稱(chēng)
User-agent（用戶(hù)代理）: *
*是一個(gè)表示所有蜘蛛名稱(chēng)的通配符
用戶(hù)代理: baiduspider
但我們工作的網(wǎng)站基本上都被替換為*
Disallow:/post crawled links
用戶(hù)代理: *
Disallow: /1.php
禁止所有搜索引擎蜘蛛抓取此1.php文件
Allow：/后跟一個(gè)允許抓取的鏈接
20個(gè)頁(yè)面鏈接20不允許抓取，80個(gè)允許抓取
除了您編寫(xiě)的禁用文件外，其余文件不會(huì )寫(xiě)入，表示默認情況下允許對其進(jìn)行爬網(wǎng)。
編寫(xiě)機器人文件的具體方法
Disallow:/admin
禁止抓取管理目錄。
Disallow: /a/*.htm
Www.xxxx.com/a/1.html
Www.xxxx.com/a/2.htm
無(wú)法正常抓取第二個(gè)URL鏈接
這種寫(xiě)作方便了網(wǎng)民今后禁止大量相同格式的網(wǎng)頁(yè)文件。我們直接使用*通配符。
Disallow:/*？ *
是否禁止抓取所有標簽？ URL鏈接（動(dòng)態(tài)URL鏈接）
如果您的站點(diǎn)是動(dòng)態(tài)站點(diǎn)而您尚未進(jìn)行偽靜態(tài)處理，則不應使用此類(lèi)寫(xiě)入。
將導致網(wǎng)站的動(dòng)態(tài)鏈接不被包括在內。
Disallow：/Show.asp ID=870
您可以編寫(xiě)要阻止的單個(gè)鏈接。
3，Disallow: /.jpg$
Disallow: /.png$
$是一個(gè)通配符，與*相同，這意味著(zhù)所有含義該代表禁止捕獲所包含網(wǎng)站的根目錄中以.jpg結尾的所有圖像文件。
Www.xxxx.com/images/404.png
如果您不希望搜索引擎引用您網(wǎng)站的圖像，那么我們可以直接屏蔽圖像文件夾。

Disallow: /圖像

4，Disallow: /ab/abc.html
禁止在ab目錄中抓取abc網(wǎng)頁(yè)文件。
總結一下：它會(huì )寫(xiě)一個(gè)禁止的措辭，然后允許的措辭是相同的原則，也就是說(shuō)，以前的記錄是不同的。
Allow: /a/1.html
如果沒(méi)有必要編寫(xiě)單獨的頁(yè)面路徑，則寫(xiě)入權限記錄通常是添加到網(wǎng)站的站點(diǎn)地圖文件。
Allow：/sitemap.htm
這起著(zhù)重要作用
由于我們需要將此站點(diǎn)地圖添加到漫游器文件中，因此我們首先需要為該站點(diǎn)設置站點(diǎn)地圖頁(yè)面。
5000篇文章內容鏈接
阻止一條鏈接
外貿推廣www.hudoo-tech.cn
Disallow: /a/1.html
5，robots文件生成工具有哪些？
站長(cháng)工具就有這個(gè)功能，旺旺第三方工具都有這個(gè)功能。
最后關(guān)于robots文件詳細介紹就到這里，seo網(wǎng)站優(yōu)化專(zhuān)員提示小伙伴們r(jià)obots文件需要放在網(wǎng)站根目錄下才行。