用于SEO网站优化的机器人协议知道它是用来禁止搜索引擎爬行或抓取像s这样的文件：淘宝是用机器人协议建立的，当我们搜索淘宝时，除了标题，没有在网站上显示任何信息，这是机器人职业的角色。托科尔
    
     obots协议的全称（也称为爬虫协议、机器人协议等）是机器人排除协议。通过机器人协议，网站告诉搜索引擎哪些页面可以爬行，哪些页面不能爬行。
    
     为什么我们需要使用机器人TXT文件告诉搜索机器人不要抓取我们网页的一部分，如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和后台图片等。RCH引擎，用户看不到它们。大多数搜索机器人需要密码才能输入或数据文件，在这种情况下，让搜索机器人爬行，浪费了服务器资源，增加了服务器的压力，所以我们可以使用机器人。TXT告诉机器人专注于收集我们的文章页，增强用户体验。
    
     很多网站都提供各种各样的内容浏览版本，虽然对用户来说很方便，但是对蜘蛛来说却很难，因为它不能分辨出哪个是主要的，哪个是第二的，一旦让它认为你是恶意的重复，你就会很痛苦。
    
     很多人想知道机器人与网站安全有多大关系。许多低级别的黑客正在搜索默认的后台登录，以实现入侵网站的目标。
    
     一般来说，只有少数人偷链条，但是一旦链条被搜索引擎偷走，你就不能吃掉100M的宽带。如果你不做照片网站，你不想被搜索引擎窃取。
    
     现在做优化知道做网站地图，但是很少有人会提交，绝大多数人只是简单地添加一个链接到页面，事实上，机器人就是支持这个功能的。
    
     以上五个机器人足以提高你控制搜索引擎蜘蛛的能力，正如百度所说：我们应该和搜索引擎成为朋友，增加一些交流，以消除一些隔膜。
    
     若要阻止访问包含问号的所有网站（具体而言，此类网站以您的域名开头，后面跟随任何字符串，然后跟随任何问号，然后跟随任何字符串），请使用下列命令：
    
     若要指定与网站结尾字符的匹配，请使用$.例如，拦截以结尾的所有URL。XLS，使用如下：用户代理：谷歌BOT
    
     您可以结合Allow指令使用此模式匹配。例如，如果表示会话ID，则可能希望排除所有包含的地址，以确保Google BOT不会爬行重复页面。在这种情况下，你可以设置你的机器人。TXT文件如下：
    
     禁止：/*指令阻塞所有包含的地址（具体地说，它拦截所有以您的域名开头、后跟任何字符串、后跟一个问号、然后是任何字符串的地址）。
    
     Allow：/*$指令将允许任何结束的地址（具体来说，它将允许所有以您的域名开头、后跟任何字符串、后跟、然后没有任何字符的地址）。
    
     以上介绍大部分来自Google的http:-www-google-com.we...Cnanswer=40360。百度的异同可以在http:WWW百度COM/Simult/Roopts.HTML中看到。
    
     PS：网站查看RooTuts.txt文件的一般方法是将FooTr.Txt添加到主页。例如，淘宝是HTTP：WWW淘宝COM/RooptsTXT。请注意，只有当你的网站包含你不想被搜索引擎包括的内容时，你才需要使用robots.txt文件。TXT文件。