采集的数据中若某行数据的所有字段与其他行内所有字段都重复，重复的数据行就会被删除。

不管数据是在一个网页采集的还是多个网页。即不判断来源，只对比最终结果。