去除重复行

使用方法

去除重复行是指逐行扫描一份列表，只保留唯一的行，去掉任何在列表中已经出现过的行。工具会将每一行与前面出现过的行进行比较，并自动删除重复项，你无需手动翻阅电子表格导出文件或粘贴的文本块来寻找重复内容。 只要你手上的列表意外出现了重复项，这个工具就很有用：在发送营销活动前对电子邮件或邮寄地址列表进行去重，清理从合并了多个文件的 CRM 或电子表格中导出的数据，从服务器日志中删除重复的日志条目以便查看实际发生了哪些错误以及各有多少条不同的记录，或者整理从多个来源抓取的关键词列表，避免同一个关键词被重复计算。 工具默认保留每一行的首次出现——你粘贴文本中最早出现的那一份会被保留，之后所有与其完全相同的重复行都会被删除，因此你原始列表的顺序会被保留下来。如果你的列表中大小写不统一，请开启不区分大小写匹配，这样“Apple”和“apple”会被视为同一行，只保留其中一个。开启去除首尾空格后，带有尾部空格或多余缩进的行就不会因为这些不可见字符而被误判为另一行。如果你希望最终的唯一列表按 A 到 Z 排序，而不是保持原始顺序，请开启按字母顺序排序。 举个例子，粘贴一份简短的列表：apple、banana、apple、cherry、banana、date。在不开启任何选项的情况下，工具会保留每一行的首次出现，报告保留 4 行唯一内容、移除 2 行重复内容，最终按原始顺序留下 apple、banana、cherry、date。如果其中两行只是大小写不同或带有尾部空格，那么开启不区分大小写匹配或去除首尾空格也能捕捉到这些额外的重复项。 使用时，只需将你的列表粘贴到输入框中，选择与你的数据相匹配的选项，去重后的结果会立即出现在输出框中，一键即可复制。 若要在处理真实数据时获得最干净的结果，建议将去除首尾空格与不区分大小写匹配结合使用：导出的列表中经常会出现同一个值以不同大小写或带有偶发尾部空格重复出现的情况，同时开启这两个选项就能捕捉到精确匹配会遗漏的这些近似重复项。

常见问题

保留的是哪一个重复项？

默认情况下会保留每一行的首次出现，之后的重复项会被移除。若想重新排列唯一行的顺序，可开启“按字母顺序排序”。

是否会忽略大小写和空格？

可以选择开启。“不区分大小写”会将“Apple”和“apple”视为相同，“去除每行首尾空格”在比较时会忽略行首和行尾的空格。

我的文本会被发送到服务器吗？

不会。所有操作都在你的浏览器中运行——你的文本永远不会被上传。

会改变我文本行的顺序吗？

不会，除非你开启排序功能。默认情况下，工具会按照每一行在原始列表中首次出现的顺序保留所有唯一行，只移除之后的重复项。如果你希望唯一行按 A 到 Z 重新排序，而不是保持原有位置，可开启“按字母顺序排序”。