你如果想赚点零花钱的加我微信：422591055。首次咨询送“女朋友”一个。
首先搜索引擎抓取你网站的时候最先查看的就是你有没有robots文件，这个robots文件的重要性大家也就可想而知了。
如果该文件不存在，所有的搜索引擎蜘蛛将能访问网站上所有的页面。（就是你的网站后台，一些列信息都可以抓取收录）
先查看一下淘宝网、京东、就爱dnf专区的网站robots写法（先模仿再创造嘛）
User-agent: 针对的搜索引擎
Disallow: 禁止抓取的意思
Allow: 允许抓取的意思
Sitemap: 告诉爬虫这个页面是网站地图
*代表的所有的搜索引擎种类，*是一个通配符
robots文件的一些常用写法
案例参考： 不懂的欢迎在下方留言，石家庄SEO会为大家认真解答。 或添加男孩儿usually：唯心/QQ 1057425140 进行一对一解答禁止所有搜索引擎蜘蛛访问网站的任何部分
User-agent: *
Disallow: /
仅允许所有搜索引擎蜘蛛抓取/zb_users/upload目录下的文件
User-agent: *
Disallow: /
Allow: /zb_users/upload
仅禁止所有搜索引擎蜘蛛抓取/zb_users/upload目录下的文件
User-agent: *
Allow: /
Disallow: / zb_users/upload
常见搜索引擎蜘蛛：
百度蜘蛛：Baiduspider
谷歌蜘蛛：Googlebot
360蜘蛛：360Spider
搜狗蜘蛛：Sogou News Spider
必应蜘蛛：bingbot您可能感兴趣的文章
