robots文件在seo網(wǎng)站優(yōu)化中的位置舉足輕重，它的作用在于讓搜索引擎便于抓取優(yōu)質(zhì)內(nèi)容，過濾掉一些無用頁面、鏈接或者文件等。一個(gè)網(wǎng)站想要排名且不被攻擊，少了它可不行。接下來就為大家細(xì)致講解一下robots文件。

1.什么是robots機(jī)器人文件？

robots文件是網(wǎng)站和搜索引擎之間的通信協(xié)議文件。我們可以使用此文件告訴搜索引擎蜘蛛可以抓取哪些鏈接以及不允許包含哪些鏈接。
此文件的全名稱為robots.txt。文件名必須名為robots.txt。其次，此文件必須是小寫的。
此robots.txt文件必須放在網(wǎng)站的根目錄中。當(dāng)蜘蛛抓取您的站點(diǎn)時(shí)，它將首先讀取該文件并根據(jù)文件中寫入的記錄獲取頁面。
并非所有網(wǎng)站都有此文件。如果您沒有此文件，蜘蛛可以隨意抓取您的網(wǎng)站鏈接。
所以從事seo必須為網(wǎng)站做一個(gè)合理的機(jī)器人文件?，F(xiàn)在我們?cè)诳椩煜到y(tǒng)中都是一樣的。它基本上是相同的，所以它是不合理的，所以我們需要單獨(dú)重寫這個(gè)文件。
2.文件編寫規(guī)則
User-agent（用戶代理）:蜘蛛名稱
User-agent（用戶代理）: *
*是一個(gè)表示所有蜘蛛名稱的通配符
用戶代理: baiduspider
但我們工作的網(wǎng)站基本上都被替換為*
Disallow:/post crawled links
用戶代理: *
Disallow: /1.php
禁止所有搜索引擎蜘蛛抓取此1.php文件
Allow：/后跟一個(gè)允許抓取的鏈接
20個(gè)頁面鏈接20不允許抓取，80個(gè)允許抓取
除了您編寫的禁用文件外，其余文件不會(huì)寫入，表示默認(rèn)情況下允許對(duì)其進(jìn)行爬網(wǎng)。
編寫機(jī)器人文件的具體方法
Disallow:/admin
禁止抓取管理目錄。
Disallow: /a/*.htm
Www.xxxx.com/a/1.html
Www.xxxx.com/a/2.htm
無法正常抓取第二個(gè)URL鏈接
這種寫作方便了網(wǎng)民今后禁止大量相同格式的網(wǎng)頁文件。我們直接使用*通配符。
Disallow:/*？ *
是否禁止抓取所有標(biāo)簽？ URL鏈接（動(dòng)態(tài)URL鏈接）
如果您的站點(diǎn)是動(dòng)態(tài)站點(diǎn)而您尚未進(jìn)行偽靜態(tài)處理，則不應(yīng)使用此類寫入。
將導(dǎo)致網(wǎng)站的動(dòng)態(tài)鏈接不被包括在內(nèi)。
Disallow：/Show.asp ID=870
您可以編寫要阻止的單個(gè)鏈接。
3，Disallow: /.jpg$
Disallow: /.png$
$是一個(gè)通配符，與*相同，這意味著所有含義該代表禁止捕獲所包含網(wǎng)站的根目錄中以.jpg結(jié)尾的所有圖像文件。
Www.xxxx.com/images/404.png
如果您不希望搜索引擎引用您網(wǎng)站的圖像，那么我們可以直接屏蔽圖像文件夾。

Disallow: /圖像

4，Disallow: /ab/abc.html
禁止在ab目錄中抓取abc網(wǎng)頁文件。
總結(jié)一下：它會(huì)寫一個(gè)禁止的措辭，然后允許的措辭是相同的原則，也就是說，以前的記錄是不同的。
Allow: /a/1.html
如果沒有必要編寫單獨(dú)的頁面路徑，則寫入權(quán)限記錄通常是添加到網(wǎng)站的站點(diǎn)地圖文件。
Allow：/sitemap.htm
這起著重要作用
由于我們需要將此站點(diǎn)地圖添加到漫游器文件中，因此我們首先需要為該站點(diǎn)設(shè)置站點(diǎn)地圖頁面。
5000篇文章內(nèi)容鏈接
阻止一條鏈接
外貿(mào)推廣www.hudoo-tech.cn
Disallow: /a/1.html
5，robots文件生成工具有哪些？
站長工具就有這個(gè)功能，旺旺第三方工具都有這個(gè)功能。
最后關(guān)于robots文件詳細(xì)介紹就到這里，seo網(wǎng)站優(yōu)化專員提示小伙伴們r(jià)obots文件需要放在網(wǎng)站根目錄下才行。