OpenRefine 客户数据清洗与去重

方案思路

这个方案把“清洗”与“补全”分开：先用本地工具解决身份和格式问题，再把干净的名单交给补全、分级或 CRM。OpenRefine 的分面用于发现问题，聚类用于提出合并候选，操作历史用于回滚和复核。方案的目标不是一次性把所有字段补齐，而是让每条客户记录有稳定主键、可解释的合并理由和可追溯的清洗记录。

实施要点

先导出副本并冻结原始表，给每行分配记录 ID。然后按字段做分面：公司名、域名、国家、行业、联系人邮箱。域名通常比公司名更适合作为公司主键，但集团、子公司和经销商要分开处理。标准化只改变可观察的格式，不要在这一步推断法律实体。聚类时先用键碰撞处理明显的大小写、空格和标点差异，再用最近邻检查拼写变体；每组合并都要有人确认。最后导出清洗表与变更日志，标注仍需补全或核验的字段。

资源如何协作

OpenRefine 是清洗和合并的主工具；Google Sheets 可用于导出审核清单、让业务同事确认合并结果，或作为导入 CRM 前的临时底表。不要把 Google Sheets 当作长期主数据；它适合协作审核和快照。若后续需要补全邮箱或公司规模，再把清洗后的表交给 Clay、Hunter 或 ZeroBounce 等专门工具，避免在脏数据上反复付费。

适用条件与不适用情形

适合客户名单在数百到数万条、重复主要来自名称写法和格式差异、且有人愿意逐项审核的团队。若名单超过交互式处理的舒适范围、需要每天自动去重，或需要基于多个字段计算匹配概率，应改用脚本化记录链接方案。若团队无法判断法律实体差异，应先请业务或法务人员定义合并规则，而不是把聚类结果直接应用。

风险与人工审核

最大的风险是误合并：两家名称相似的公司可能是不同采购主体，合并后会导致联系人、订单和历史沟通错位。建议对高价值账户逐条确认，对自动建议只批量处理明显的大小写和标点差异。清洗文件包含个人信息，应限制访问和备份范围；使用外部对账服务前确认数据去向。每次合并保留原始值、操作人和理由，便于回滚和审计。