很多搜索引擎优化人员都知道这些关键词：NoIndex、No.、Canonical和.llow。但是作者联系了很多不懂搜索引擎指令的SEO。事实上，这会对网站的包含和排名产生重大影响。在本文中，我们将此作为一个特殊的主题。C介绍每个向导的作用，并通过比较来解释它们之间的细微差别。
    
     为了理解这些概念，我们首先需要理解经典的PageRank算法。为了篇幅起见，让我们将页面的SEO能力称为一个熟悉的权重。这个权重具有移动性，高权重页面将把更多的权重传递给它链接到的页面。这个链接不仅是站点内的链接，也是我们通常知道的外部链接。此外，页面上的链接越多，每个链接所传递的权重就越低。权重就像知识。在传输之后，发送器不会减少，但是发送器会增加。我们称之为通过的权重是链接汁，或链接公平。我们也把它转换成链接权重，有时我们可以把它看作一次投票。
    
     Noindex是字面意思，它告诉搜索引擎不要对页面进行索引。有关其他用法，请参阅Wikipedia。Google还支持X-Robots-Tag HTTP头中的NoIndex信息，以支持非HTML文档，如pdf。
    
     设置为NoIndex的页面不能获得页面权重。但这并不意味着链接到这个页面的页面不能获得链接权重。只要该页面不设置为No.，它也有一个临时的权重值，该值流出到它所链接的页面。
    
     NoIndex被Google和Yahoo等主流搜索引擎使用，但是百度仍然不支持这个标签。因此，如果我们不希望我们的页面被百度索引，我们需要使用机器人。TXT。
    
     NoFollow阻止链接权重流向目标页面，并且受NoFollow影响的页面将无法获得链接权重。在SEO的经典技术中，NoFollow可以防止权重分散，更重要的是，它可以有效地利用搜索引擎的爬行预算，即获取配额。
    
     我们已经注意到，搜索引擎并不是每次爬行网站时都会遍历它们。通过分析Web服务器的访问记录，您可以了解搜索引擎的爬行行为。为了防止蜘蛛漫无目的地爬行，您需要使用NoFollow来引导蜘蛛捕捉您的密钥。在有限数量的抓取页面限额内的内容，至少你认为是高质量的内容。如果蜘蛛的抓取限额被浪费在垃圾页面上，那么包含高质量的页面将导致问题。
    
     Canonical并不阻止搜索引擎蜘蛛爬行，但是仅仅为了引导包含，它能够有效地避免重复内容的负面影响。Canonical的另一个优点是变体页面获得的链接权重被带回其原型页面。尽管Canonical具有这些优点，但是它不能节省爬行配额，因此当搜索引擎需要爬行大量可变页面时，索引效率会降低。
    
     虽然搜索引擎（不仅百度，而且谷歌）可能不符合机器人。TXT，机器人。txt的.il仍然是节省爬行配额和防止像百度这样的搜索引擎索引不符合NoIndex指南的特定页面的有效方法。.llow的缺点也是显而易见的。首先，不允许的页面不能被抓取和索引，因此它们不能为链外的页面提供链接权重，并且它们自己的权重不能被讨论。另一个缺点是它浪费了指向其他网站外部链接的有价值的链接权重。
    
     理解NoIndex和NoFollow的含义，就不难同时理解这两个应用程序的作用。同样，百度不支持NoIndex标签。NoIndex、NoFollow应用程序不能同时给出页面权重，因为页面不会被索引。e时间，没有链接权重要流到链接页面。如果外部链指向页面，则会导致链接权重的损失。搜索引擎将爬行页面，这将不会节省爬行配额。
    
     由此可以看出，NoIndex+NoFollow没有.llow的优势，但是在页面管理方面比动态机器人更灵活。如果页面只是变体，我们建议使用Canonical，它消耗爬行配额，但是保留页面权重和链接权重。