数学之美系列十七：闪光的不一定是金子 谈谈搜索引擎问题(Search Engine Anti-SPAM)

自从有了搜索引擎，就有了针对搜索引擎网页排名的(SPAM)。以至于用户发现在搜索引擎中排名靠前的网页不一定就是高质量的，用句俗话说，闪光的不一定是金子。

搜索引擎的，虽然方法很多，目的只有一个，就是采用不正当手<wbr>段提高自己网页的排名。早期最常见的方法是重复关键词<wbr>。比如一个卖数码相机的网站，重复地罗列各种数码相机的品牌，如尼康<wbr>、佳能和柯达等等。为了不让读者看到众多讨厌的关键词<wbr>，聪明一点的者常用很小的字体和与背景相同的颜色来掩盖这些<wbr>关键词。其实，这种做法很容易被搜索引擎发现并纠正。<br><br> 在有了网页排名<wbr>(page rank)以后，者发现一个网页被引用的连接越多，排名就可能越靠前<wbr>，于是就有了专门卖链接和买链接的生意。比如，有人自己创建成百<wbr>上千个网站，这些网站上没有实质的内容，只有到他们的客户网站的<wbr>连接。这种做法比重复关键词要高明得多，但是还是不太难被发现<wbr>。因为那些所谓帮别人提高排名的网站，为了维持生意需要大量地卖链<wbr>接，所以很容易露马脚。（这就如同造假钞票，当某一种假钞票的流通量相当大以后，就容易找到根源了。）再以后，又有了形形色色的方式<wbr>，我们就不在这里一一赘述了。<br><br> 几年前，我加入Google做的第一件事就是消除网络<wbr>。在Google最早发现搜索引擎的是Matt Cutts，他在我加入Google前几个月开始研究这个问题<wbr>，后来，辛格，马丁和我先后加入进来。我们经过几个月的努力<wbr>，清除了一半的者。(当然，以后抓的效率就不会有这么高了。<wbr>）其中一部分网站从此"痛改前非"，但是还是有很多网站换一种方法<wbr>继续，因此，抓成了一种长期的猫捉老鼠的游戏<wbr>。虽然至今还没有一个一劳永逸地解决问题的方法，但是<wbr>，Google基本做到了对于任何已知的方法<wbr>，在一定时间内发现并清除它，从而总是将的网站的数量控制在一<wbr>个很小的比例范围。<br><br> 抓的方法很像信号处理中的去噪音的办法。学过信息论和有信号<wbr>处理经验的读者可能知道这么一个事实，我们如果在发动机很吵的汽<wbr>车里用手机打电话，对方可能听不清；但是如果我们知道了汽车发动<wbr>机的频率，我们可以加上一个和发动机噪音相反的信号<wbr>，很容易地消除发动机的噪音，这样，收话人可以完全听不到汽车的噪音<wbr>。事实上，现在一些高端的手机已经有了这种检测和消除噪音的功能<wbr>。消除噪音的流程可以概括如下：<br><img alt="noise-channel" src="http://www.kuqin.com/upimg/allimg/071204/2204550.gif" width="600"><br> 在图中，原始的信号混入了噪音，在数学上相当于两个信号做卷积<wbr>。噪音消除的过程是一个解卷积的过程。这在信号处理中并不是什么<wbr>难题。因为第一，汽车发动机的频率是固定的，第二<wbr>，这个频率的噪音重复出现，只要采集几秒钟的信号进行处理就能做<wbr>到。从广义上讲，只要噪音不是完全随机的、并且前后有相关性<wbr>，就可以检测到并且消除。（事实上，完全随机不相关的高斯白噪音<wbr>是很难消除的。）<br><br> 搜索引擎的者所作的事，就如同在手机信号中加入了噪音<wbr>，使得搜索结果的排名完全乱了。但是，这种人为加入的噪音并不难<wbr>消除，因为者的方法不可能是随机的（否则就无法提高排名了）<wbr>。而且，者也不可能是一天换一种方法，即方法是时间相关<wbr>的。因此，搞搜索引擎排名算法的人，可以在搜集一段时间的信<wbr>息后，将者抓出来，还原原有的排名。当然这个过程需要时间<wbr>，就如同采集汽车发动机噪音需要时间一样，在这段时间内<wbr>，者可能会尝到些甜头。因此，有些人看到自己的网站经过所谓<wbr>的优化（其实是），排名在短期内靠前了，以为这种所谓的优<wbr>化是有效的。但是，不久就会发现排名掉下去了很多。这倒不是搜索引擎<wbr>以前宽容，现在严厉了，而是说明抓需要一定的时间<wbr>，以前只是还没有检测到这些的网站而已。<br><br> 还要强调一点<wbr>，Google抓和恢复网站原有排名的过程完全是自动的(并没有个人的好恶）<wbr>，就如同手机消除噪音是自动的一样。一个网站要想长期排名靠前<wbr>，就需要把内容做好，同时要和那些网站划清界限。</wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr></wbr>

来自：http://googlechinablog.com/2006/11/search-engine-anti-spam.html