网站在没有做静态化的时候直接上线，之后又重新做静态化处理,在搜索引擎收录中时常有一个现象，一个页面有两个收录地址,一个是动态链接,一个是静态链接,显然这样的搜索引擎收录对网站权重影响很大,所以我们在网站优化的时候要使用robots来屏蔽掉动态链接。

    首先,我们来看看为什么会出现重复收录的情况,可能的原因有以下几点

    1.搜索引擎是程序语言来识别判断，做不到像人一样的充分的识别，只是链接地址不一样就收录了，动态地址和静态地址自然就分不清楚了。

    2.建站过程中因为时间原因或是测试需要在还没有做静态化的情况下就上线了网站,搜索引擎直接收录所致

    3.模板问题,例如wordpress程序虽然看上去网站整站已经做了静态化,但是在网站地图中都是动态链接

    其次,我们说说重复收录的后果有哪些

    搜索引擎更喜欢静态页面,所以有时会自动剔除动态链接,这样收录之后再删除的工作重复，会使蜘蛛工作量加大，反感你的网站，降低收录

    最后，如何避免内容被重复收录

    1.网站中尽量用统一的静态地址，检查网站中手动增加或是导航链接等地方是否还有动态链接，有的话一律改为动态的。

    2.robots.txt进行动态文件的屏蔽，如：“Disallow: /*?*”提示：如此屏蔽法适合在不存在“TAG标签”下利用，否则标签也将被屏蔽。不同程序进行不同屏蔽。

    robots.txt文件的规范性。在文件开头进行空格。例如，robots.txt文件的开头：

    “User-agent: *

    Disallow: /plus/ad_js.php”

    很多的时候，user-agent分号后面没有空格，而是直接“*”号了。这就是一个很微小的错误，但是也是致命的错误。

    要注意的是，我们知道php动态页面都是从数据调用的数据，而这个网页不是真实存在的，所以搜索引擎久而久之就会丢弃这样的页面，它会认为这是不可靠的页面。所以我们要屏蔽这样的动态页面，从而降低我们网页的重复页面。那么我们只要在robots.txt文件里面，加上这样的代码就行了："Disallow:/*?*”。这个代码的意思是根目录下个所有动态禁止搜索引擎访问。

    网站建设与优化严把细节优化，内容重复收录是大患，应认真对待，否最终难以逾越排名障碍。