重复内容通常是指存在于域或域之间并且匹配或类似于其他内容的内容。也就是说，一个网站中可能存在许多重复页面，例如内容页面、产品搜索列表页面、指向同一页面的不同URL，这些都是有智慧的。在重复的范围内，表面上似乎并不重要。这对网站无害。但对于蜘蛛来说，这是灾难。当然，大多数时候，这不是故意的页面复制。
    
     不同的URL指向同一个页面，这也是一个重复的页面。在爬行之前，蜘蛛不知道这些不同的URL指向同一个页面。它会慢慢地爬行，爬行之后，它会知道它是一个复制的页面，在对应的处理中，表面上似乎没有问题。事实上，蜘蛛已经花了很多精力来解析。这些重复的URL，相当于浪费宽带。
    
     作者选择地址http:www.***.net/并使用Apache服务器设置方法在.HTAccess文件。
    
     通常，一个网站会有一个页面要浏览，一个文本要打印。这个打印的文本通常是不可见的，只需要打印才能看到文本，但是内容与页面文本相同，与页面文本形成副本。对用户来说无关紧要，但是与蜘蛛不同。应该避免这种情况。解决方法是使用机器人。TXT禁止蜘蛛抓取打印文本。
    
     每个网站都有自己的版权说明，有些网站在底部有很多关于版权的文本。事实上，这是完全不必要的。看看19层底部的版权。
    
     这很清楚。把关于版权、公司动态和法律声明的所有内容放在一个单独的页面上，只用文本链接它们。这也大大减少了模型文本的重复。
    
     一个大型网站有404个页面，但是这404个页面也是一个资源副本，最好使用机器人。禁止爬行。
    
     当今的网站有一个用户喜欢的工具，那就是网站搜索栏。用户可以更快地找到他们想要的内容，但是蜘蛛不是一回事，它会增加重复，所以它也应该被屏蔽。
    
     通常，可以根据网站系统，即用于站点搜索以执行搜索的文件，向robots.txt文件添加.llow:/search.php$(/search.php)。
    
     我发现很多方法禁止重复的页面可以通过使用机器人来解决。TXT文件，所以我们必须掌握机器人使用的正确方法。TXT，发挥其强大的力量。
    
     无论是SEO还是网站，每一个细节都是成功或失败的关键。如果你比别人多付一点钱，你就能赢。对于蜘蛛来说，重复的页面非常耗时耗力，我们也应该对蜘蛛进行解压缩。
    
     SEO推广博客：http://wwwZZGun.net /SEO JiSu/机器人SEO /（转载请保留）