robots网站协议分析

最近发现网站的的收录问题非常的大，就是以前没有设置好抓取协议，我们具体看下那些问题：

1. 抓取后台
2. 抓取网站日期归纳页面集合
3. 抓取动态搜索页面

日期

结局的方法超级简单，写一个robots协议规则就好啦，以前我写过一些robots规则，可以去看一下。

错误抓取带来的负面影响

1. 网站数据丢失
2. 网站后台被展示，
3. 同关键词，形成内部竞争

协议规则的写法：

User-agent: *
Disallow: 
Disallow: /data/
Disallow: /wp-admin/
Disallow: /*?*

总结

每个网站的数据保护都是不一样的，所以做法都是不同，在设置的上面一定要注意这个写法的正确与否，要不给网站带来的损失会非常的大，搜索引擎的蜘蛛会按照你写的规则抓取相应的界面，但是是你自己随意修改，同时修改的阶段太多，将会给你带来非常大的问题，蜘蛛会感觉你的网站不够靠谱，会选择性质的抓取，或者直接的放弃抓取。