从SQL SERVER中查重：要点在于正确的比对（sqlserver 查重）

从SQL Server中查重

查重是检查文本是否有相同单词或段落的过程，在很多应用中，特别是搜索引擎，内容公司，信息库等中都有使用查重的情况。 SQL Server是微软的一款数据库管理系统，很多企业用SQL Server实现文本的查重功能，但是准确的比对要点可不是随便就能做到的，比对方法不对，比对度低，就会大量漏报重复文本，从而影响企业的利益。

查重比对要点在于精确度，下面介绍SQL Server中查重的要点：

1. 引入相似度比对。首先，要利用SQL Server中的相似度比对功能，比如可以利用Jaccard距离，把重复文本的比对精度提升到97%以上，以提高查重的效果。

2. 搭建查重系统的技术架构。接下来，为了实现查重的效果，要合理搭建整个系统的架构，多采用普通Web语言（php），并充分利用SQL Server2016 功能。

3. 细节比对策略。最后，实现比对精度达97%，利用SQL Server存储过程可以根据业务需要，细节比对文本中的内容，注意要排除字符的位置，以及一些乱码等影响比对的影响项。

下面给出一个SQL语句，根据Jaccard距离比对两个文本的相似度：

SELECT * FROM

(

SELECT

a.OutputString_ID,

a.TestString_ID,

1 – dbo.JaccardDistance(a.OutputString, b.TestString)/dbo.JaccardDistance(b.TestString, b.TestString) AS SimParity

FROM

OutputStringTable a,

TestStringTable b

WHERE

b.TestString_ID = a.OutputString_ID

) c

WHERE c.SimParity >= 0.97

通过以上示例，可以在SQL Server里实现比较精确、可靠的文本查重功能。

总之，从SQL Server中查重要点在于比较精确，要做到这点，可以建立技术架构，利用相似度比对，按需细节比对等多种方法，才能获得有效、完美的查重效果。