头条号平台去重消重过程(二


 注意:此处介绍的只是计算原理,并非实际发生的计算过程。

信息的「身份证」,一种更常见的称呼是「信息指纹」,是计算机应用领域里经常用以判断信息重复性的方法。「信息指纹」的计算方法有很多种,但原理是相似的:

你可能知道,不管是中文、外文还是数字,在计算机系统里,实际上都是以0或1的代码形式存储的,例如大写字母A的ASCII编码就是01000001,而小写字母z的ASCII编码是01111010(实际上也存在很多种编码标准,ASCII是一种常见的英语编码标准,采用8位二进制数字编码)。这实际上就相当于,每个字符都有一个自己专属的信息指纹。

简单来说,计算会对文本中出现的不同字符的信息指纹,结合它们各自在内容中出现的次数,反复进行算术运算,最终得到一篇内容的信息指纹。理论上说,如果运算足够多的次数,就会产生足够独一无二的数字结果。

信息指纹的重复概率有多低呢?假设我们通过上面的计算,得到一串128位的二进制数字,这在计算机系统里只需要占用很小的空间,但是根据「抽屉原理」,这样的数字重复一千八百亿次才能重复一次!这对于一般的信息消重来说,已经非常足够了。

总而言之,相同文章具有不同信息指纹,或者不同文章具有相同信息指纹的概率都几乎是0,对于“消重”机制,不必担心误判,也不能心存侥幸!

原理上说,不同内容的身份证是不一样的,而相同内容的身份证是一样的。并且,相似的内容会具有相似的身份证。这是头条号的系统对内容进行消重的基础。