详细讲解robots.txt的写法和具体的使用

时间:2010-6-23 14:17:55

    今天给大家讲解下robots.txt的写法和具体的使用情况。各位站长朋友比较少关注robots.txt,但善用robots.txt绝对对你的网站是有百益而无一害的。
    robots.txt   是为了不想让搜索引擎的蜘蛛来收录网站的一些机密、隐私，和没用的东西等如网站某些目录是程序目录，完全没有被抓取的必要，为了提高服务器性能，避免搜索抓取时消耗服务器资源，可以禁止所有搜索引擎抓取这些目录。2.网站部分目录是一些会员信息或者是其实敏感，私密性的内容，禁止搜索引擎抓取的。3.某些目录下的内容全是采集未作任何修改的内容，这部分内容仅是为了丰富内容，但是并不想被搜索引擎收录，这时就需要禁止搜索引擎抓取。4.又例如你的网站仅是你跟你恋人的恋爱家园，仅仅是你们自娱自乐的，而不想被抓取的。
　禁止所有搜索引擎收录网站任何页面的语法为：
        User-agent: *
　　Disallow: / 
禁止所有搜索引擎抓取特定目录或者特定页面的语法例子为：
        User-agent: *
　　Disallow: /plus/count.php
　　Disallow: /include
　　Disallow: /news/old
禁止某指定搜索引擎抓取你网站任何内容的语法为：
        User-agent: baiduspider
　　Disallow: /
仅允许指定的搜索蜘蛛抓取你网站的内容的语法为：
        User-agent: baiduspider
　　Disallow:
        User-agent: *
　　Disallow: /
最后说明下：当蜘蛛来网站寻找robots.txt 文件时，如果寻找不到，会在LOG文件记录一条404错误，为了减少log文件，去除无用信息，所以建议你在网站根目录下添加robots.txt，即使是空的robots文件也好。 如果robots.txt 运用的好，网站的收录量会很好！