先给结论:不要按“文章”去重,要按“事实单元”去重。把同一事实拆成可核对的原子陈述,指定唯一主责页面,其余文章只保留与自身论点直接相关的部分,并用链接或简短引用替代复述。这样做的代价是前期要维护一份事实清单,收益是新增文章时不必反复判断“这句话是不是已经写过了”。
判断依据不是文章数量,而是同一事实在不同文章里承担的功能是否相同。
区分这两种条件的实际动作:给每篇文章的每个事实句标注“前提”或“背景”。标注为背景的句子,如果删掉后文章论点仍然成立,就删;标注为前提的句子,检查它是否指向同一个可核对来源,若指向不同来源,说明存在真正的分歧,需要先解决分歧再谈去重。
多个角色对同一事实理解不同时,争论“谁写得对”通常没有结果。更有效的做法是把分歧写成可核对的条目:
假设一个短例子:三个角色分别认为“免费额度每月重置”“免费额度按自然月重置”“免费额度不重置”。这三个说法无法通过换词统一。把它们写成条目后会发现,分歧点在于“重置周期”和“是否按自然月”是两个独立条件。核对后可能得到“按自然月重置,但跨月未使用部分不累积”。这个结论一旦确定,三篇文章都引用同一条目,冗余自然消失。这里的分歧不是文字问题,而是条件缺失问题。
具体动作分三步,每步都有可观察的结果,并影响下一步:
这一步的结果会直接影响后续写作:新增文章时,先查事实清单,已存在的事实只引用不重写;不存在的事实才新增条目。这样做的例外是:当同一事实在新文章里需要被质疑或重新解释时,可以保留完整表述,但必须同时更新主责页面,否则两处会再次分叉。
不是所有重复都值得消除。以下情况保留重复更合理:读者可能从不同入口进入,且该事实是理解下一步的必要前提;或者该事实涉及安全、合规、资金等高风险动作,单独复述比跳转更安全。此时应保持表述完全一致,而不是换词改写。换词改写会让读者以为是不同事实,反而增加核对成本。
另外,不要用“请求量下降”或“某页面抓取减少”来证明去重成功。这些现象可能来自抓取预算调整、页面结构调整、外部链接变化等多种原因,不能单独作为处理正确的证据。真正可核对的结果是:事实清单上同一事实只有一个详细解释位置,且各文章引用该位置时指向一致。
最后,去重的目标是让每个页面有独立论点,不是让所有页面读起来不一样。如果两个页面论点确实相同,合并页面比改写句子更有效。判断标准很简单:删掉重复事实后,两个页面是否还能各自回答一个不同的问题。能,就保留并链接;不能,就合并。