折腾日记：如何禁止搜索引擎抓取收录网站-夜雨聆风

本文最后更新于2018-05-03，某些文章具有时效性，若有错误或已失效，请在下方留言或联系老夜。

建站差不多也快一年了多多少少还是学到了点东西，老夜也是对建站慢慢的失去了热情，不再像以前那样通宵达旦的折腾了。因为懒得折腾，又怕不久后就忘了，这里会慢慢的写点教程分享给需要的人，就当为自己做笔记了！

刚开始建站热情高昂，可谓是初生牛犊不怕虎，当时什么都敢发出来，经历了几次侵权邮件警告后也老实安分下来，再加上几次磕磕碰碰，目前网站终于是稳定下来了，老夜也开始注重文章内容了，每天再忙也要抽点时间写点东西分享给大家。对于建站的朋友，手头上多多少少都有几个小站点，随着近几年版权闹得越来越凶，一些涉及到版权的内容也多多少少都受到部分限制。就比如说老夜自用的视频站来说吧，本就是自己搭建为家人和朋友使用的，加上自己也懒得推广，本来就没几个人用，但侵权信还是收到了，归根结底还是各大搜索引擎的锅。今天老夜就叫大家如何让这些小机灵鬼乖乖的不再造访你的网站……

robots.txt方法

robots就是一种网络协议(网络爬虫排除标准)，网站管理员通过设置robots内容让搜索引擎知道那些页面该抓取，那些页面不该抓取。robots.txt是一个文件，通常网站是自动生成的，只有设置好TXT中的内容，搜索引擎的蜘蛛才会按照相关的规则执行并对网站进行相关的抓取收录，robots.txt文件是搜索引擎第一个查看的文件，所以通过设置robots协议还是非常有效的。

设置方法也是十分的简单，首先找到网站文件的根目录看看是否有robots.txt文件，如果没有自行创建一个，将以下代码添加到TXT文件中：（复制你奶奶个腿，本文是老夜写的，改了名字冒充老夜，要脸吗）

User-agent: *

Disallow: /

通过以上代码，就是告知所有的搜索引擎不在抓取和收录网站的所有内容了，也就意味着不久之后收录的内容全部没了，慎重修改。

如果是仅禁止部分搜索引擎抓取，需要单独添加代码，这里以百度为例：

User-agent: Baiduspider
Disallow: /

以上代码就是彻底赶走了百度的蜘蛛了，如果还行禁止其他搜索引擎，老夜在这里也不一个个说明了，这里偷点懒直接附上工具：

robots.txt文件自动生成器：tool.chinaz.com/robots/

设置完成后基本上大功告成了，请将文件上传至网站根目录，刷新浏览器缓存后访问www.你的域名/robots.txt就可以查看刚刚设置的规则了。更多robots规则今后会抽时间单独写一篇文章……

网页代码方法：

虽然上述方法差不多就能达到效果，但是搜索引擎也并不是那么的听话，之前百度就偷偷给我的网站移动页面转码并加自家的广告推广，设置禁止转码后也是效果甚微，真是服气了！具体文章详情：网站移动端文章被百度强行转码处理办法

废话不多说，直接上教程，网页修改代码一般是加到<head>和</head>中间的meta标签中。不同的网站程序<head>所在的文件是不相同的，这里拿wordpress站点为例，<head>是在header.php头文件中。代码如下：

<meta name="robots" content="noarchive">
//禁止所有搜索引擎抓取网站并显示网页快照
<meta name="Baiduspider" content="noarchive">
//禁止百度搜索引擎抓取网站并显示网页快照
<meta name="googlebot" content="noarchive">
//禁止谷歌搜索引擎抓取网站并显示网页快照

根据上述代码选择一个适合自己的加到<head>之前的meta标签就可以了。

推荐设置<meta name=”robots” content=”noarchive”>一了百了

如果不知道加到哪个位置，这里可以参考老夜的设置方法(如下图)：