robots文件在seo網站優化中的位置舉足輕重，它的作用在于讓搜索引擎便于抓取優質內容，過濾掉一些無用頁面、鏈接或者文件等。一個網站想要排名且不被攻擊，少了它可不行。接下來就為大家細致講解一下robots文件。

1.什么是robots機器人文件？

robots文件是網站和搜索引擎之間的通信協議文件。我們可以使用此文件告訴搜索引擎蜘蛛可以抓取哪些鏈接以及不允許包含哪些鏈接。
此文件的全名稱為robots.txt。文件名必須名為robots.txt。其次，此文件必須是小寫的。
此robots.txt文件必須放在網站的根目錄中。當蜘蛛抓取您的站點時，它將首先讀取該文件并根據文件中寫入的記錄獲取頁面。
并非所有網站都有此文件。如果您沒有此文件，蜘蛛可以隨意抓取您的網站鏈接。
所以從事seo必須為網站做一個合理的機器人文件。現在我們在織造系統中都是一樣的。它基本上是相同的，所以它是不合理的，所以我們需要單獨重寫這個文件。
2.文件編寫規則
User-agent（用戶代理）:蜘蛛名稱
User-agent（用戶代理）: *
*是一個表示所有蜘蛛名稱的通配符
用戶代理: baiduspider
但我們工作的網站基本上都被替換為*
Disallow:/post crawled links
用戶代理: *
Disallow: /1.php
禁止所有搜索引擎蜘蛛抓取此1.php文件
Allow：/后跟一個允許抓取的鏈接
20個頁面鏈接20不允許抓取，80個允許抓取
除了您編寫的禁用文件外，其余文件不會寫入，表示默認情況下允許對其進行爬網。
編寫機器人文件的具體方法
Disallow:/admin
禁止抓取管理目錄。
Disallow: /a/*.htm
Www.xxxx.com/a/1.html
Www.xxxx.com/a/2.htm
無法正常抓取第二個URL鏈接
這種寫作方便了網民今后禁止大量相同格式的網頁文件。我們直接使用*通配符。
Disallow:/*？ *
是否禁止抓取所有標簽？ URL鏈接（動態URL鏈接）
如果您的站點是動態站點而您尚未進行偽靜態處理，則不應使用此類寫入。
將導致網站的動態鏈接不被包括在內。
Disallow：/Show.asp ID=870
您可以編寫要阻止的單個鏈接。
3，Disallow: /.jpg$
Disallow: /.png$
$是一個通配符，與*相同，這意味著所有含義該代表禁止捕獲所包含網站的根目錄中以.jpg結尾的所有圖像文件。
Www.xxxx.com/images/404.png
如果您不希望搜索引擎引用您網站的圖像，那么我們可以直接屏蔽圖像文件夾。

Disallow: /圖像

4，Disallow: /ab/abc.html
禁止在ab目錄中抓取abc網頁文件。
總結一下：它會寫一個禁止的措辭，然后允許的措辭是相同的原則，也就是說，以前的記錄是不同的。
Allow: /a/1.html
如果沒有必要編寫單獨的頁面路徑，則寫入權限記錄通常是添加到網站的站點地圖文件。
Allow：/sitemap.htm
這起著重要作用
由于我們需要將此站點地圖添加到漫游器文件中，因此我們首先需要為該站點設置站點地圖頁面。
5000篇文章內容鏈接
阻止一條鏈接
外貿推廣www.hudoo-tech.cn
Disallow: /a/1.html
5，robots文件生成工具有哪些？
站長工具就有這個功能，旺旺第三方工具都有這個功能。
最后關于robots文件詳細介紹就到這里，seo網站優化專員提示小伙伴們robots文件需要放在網站根目錄下才行。