去除重复记录步骤用于从输入流中移除重复的行集。步骤配置信息如图1所示。
图1步骤配置信息
下文详细解释各控件的含义：
1、转换步骤名称：步骤的名称，在单一转换中，名称必须唯一。
2、增加计数器到输出？：勾选之后，可自定义计数字段名来记录有多少重复行（类似于关系型数据库中group by having count(*)执行后产生的效果）。如图2预览的结果所示
图2 预览结果数据
3、重定向重复记录：勾选之后，会把剔除之后的数据，当作错误数据进行错误输出到另一个数据流，如图3所示，将去除重复记录连接到输出步骤时选择错误处理步骤。
图3 错误处理步骤
如需对步骤错误处理进行设置，右键点击该步骤图标，选择定义错误处理，将弹出“步骤错误处理设置”窗口，如图4所示，必须要勾选“启用错误处理”，其它根据需要进行填写。
注：如果转换要执行成功需在目标表里面建立对应的字段：“错误数列名”、“错误描述列名”（对应图1中“重定向重复记录”的错误描述）、“错误列的列名”、“错误编码列名”，其中“错误描述列名”为必填；最后三个条件，根据实际需求填写，如果不满足其中一个条件，转换会自动停止，也可不填。
图4 错误步骤信息设置
4、用来比较的字段：用来去重的字段，可选择多个字段去重。如图所示，点击“获取”按钮，获取输入表中的字段；点击选择是否忽略大小写（Y是忽略，N是不忽略）。如图5所示
图5 比较字段的信息
文章原创首发于：https://ckettle.ccsaii.com.cn/help/StepPluginType/Unique?s=csdn
更多CKettle内容，欢迎点击上述链接学习。