Kettle 输出组件

Excel输出

组件说明

将数据输出到 excel 文件，格式可以采用 excel 模板

组件预览

excel输出预览

组件详解

文件

文件名：文件输出的路径（可通过【浏览】选择路径）
创建父目录：根据文件名创建相应的目录
启动时不创建文件：如果不勾选上则启动时立即创建文件，不管有没有数据保存进去，因为转换脚本一启动就会将整个流程需要的东西编译及创建完毕。

内容

追加：每次插入数据都是在后面追加进去，而不是覆盖，取消勾选则每次操作覆盖掉旧数据，相当于先删除文件在重新创建。
头：将字段名称作为标题输出在第一行
编码： excel文件的编码，默认即可
保护工作表？：对文件进行加密，得输入密码才能打开查看
自动调整列大小：根据内容长度自动调整列宽度
保留NULL值：意思应该是如果输出的值是 NULL 值，则输出 NULL

组件示例

excel输出示例

JSON output

组件说明

将数据流以JSON格式输出到文件或数据流中

组件预览

json output预览

组件详解

一般

选项	描述
操作	分为3种，write to file 是直接写到 js 文件，Output value 是以值的方式输出到流里，Output value and write to file 是即输出到 js 文件又输出到值里
JSON条目名称	最终保存 json 数据它的名字
一个数据条目的数据行	意思是分组输出，0 默认全部分为一组输出，其他比如1，就是每1行数据一组，分批输出到多个文件中（如果想将所有数据合并在一起，这里配置0，数据将会转为 json 数据）
输出值	输出到流里的字段名称
兼容模式	兼容模式
文件名	数据最终输出到的目标文件
追加方式	以追加方式输出到文件，就是不覆盖，而是输出到文件尾部
创建父文件夹	创建父文件夹
启动时不创建文件	转换启动时不创建js文件
扩展名	数据最终保存的文件扩展名
编码	数据最终保存到文件中的编码格式
发送结果到servlet	发送结果到servlet;
添加日期到文件名	选择在扩展名之前输出日期，例如：`_20190816`
添加时间到文件名	选择在扩展名之前输出时间,例如：`_235959`
显示文件名	最终你的数据保存到目标文件名
结果中添加文件名	选择将文件名添加到内部文件名结果集。此内部结果集稍后可用于处理所有已创建的文件

字段

选项	描述
字段名	数据流中的列名
元素名称	json数据中的key名

组件示例

转换

json output示例

预览

当“一个数据条目的数据行”设置为“0”时，输出结果为一个文件，内容如下

{
  "data": [
    {
      "icd_code": "00.0100",
      "creator": null,
      "update_time": "2024\/04\/29 15:30:09.000000000",
      "pinyin": null,
      "icd_description": "治疗性操作",
      "create_time": "2024\/04\/29 15:30:09.000000000",
      "icd_type": "icd9",
      "vali_flag": "1",
      "icd_name": "头和颈部血管治疗性超声",
      "remark": null,
      "id": "1",
      "operator": null
    },
    {
      "icd_code": "00.1000",
      "creator": null,
      "update_time": "2024\/04\/29 15:30:09.000000000",
      "pinyin": null,
      "icd_description": "治疗性操作",
      "create_time": "2024\/04\/29 15:30:09.000000000",
      "icd_type": "icd9",
      "vali_flag": "1",
      "icd_name": "化学治疗物质植入",
      "remark": null,
      "id": "10",
      "operator": null
    }
  ]
}

当“一个数据条目的数据行”设置为“1”时，输出结果为两个文件，内容分别如下

{
  "data": [
    {
      "icd_code": "00.0100",
      "creator": null,
      "update_time": "2024\/04\/29 15:30:09.000000000",
      "pinyin": null,
      "icd_description": "治疗性操作",
      "create_time": "2024\/04\/29 15:30:09.000000000",
      "icd_type": "icd9",
      "vali_flag": "1",
      "icd_name": "头和颈部血管治疗性超声",
      "remark": null,
      "id": "1",
      "operator": null
    }
  ]
}

{
  "data": [
    {
      "icd_code": "00.1000",
      "creator": null,
      "update_time": "2024\/04\/29 15:30:09.000000000",
      "pinyin": null,
      "icd_description": "治疗性操作",
      "create_time": "2024\/04\/29 15:30:09.000000000",
      "icd_type": "icd9",
      "vali_flag": "1",
      "icd_name": "化学治疗物质植入",
      "remark": null,
      "id": "10",
      "operator": null
    }
  ]
}

Microsoft Excel 输出

组件说明

和 Excel输出 差不多，将数据流写入 excel 文件

组件预览

msexcel 预览

组件详解

文件&工作表

文件

选项	描述
文件名称	用于指定文件输出名称、存储路径
扩展名	选择 xls 或者 xlsx 两种格式
Stream XSLX data	将大型 XLSX 文件写入输出文件时选择此选项 1. 如果要流式传输 XLSX 文件，请选择此选项。当您选中此复选框时，系统使用流 API 来编写大文件而没有任何内存限制（不超过MS Excel的1,048,575行和16,384列的限制）。 2. 如果您不想流式传输 XLSX 文件，请清除此复选框。只有选择扩展为 xlsx 格式时该选项才可用
分隔每一行数据	在多个副本中运行步骤时，选择此选项可在文件名（例如_0）中包含副本号，例如同时启动步骤的多个副本
文件名包含日期	文件名称包含日期,如：_20190916
文件名包含时间	文件名称包含时间，如：_235959
指定日期格式	指定日期的format格式
如果文件已存在	如果文件存在选择数据的输出方式，覆盖现有文件或者继续使用原文件输出
在接收到数据钱不创建文件	如果选择此选项，则该步骤仅在检测到行后才创建该文件。如果清除此选项，则始终会创建输出文件，无论行是否实际写入文件。
结果中添加文件名	使用此选项可将文件名添加到MS Excel输出文件中。

工作表

选项	描述
工作表名	输出表的 sheet 名称
设为活动工作表	如果选中，则在 Excel 中打开文件时，默认情况下将在上面的工作表中打开 MS Excel 文件
如果输出文件以已经存在此工作表	如果已经存在则选择输出方式，一种是覆盖、一种是继续追加输出
保护工作表(仅限XLS格式)	保护当前 XLS 格式的 Excel 表格,选择此项后输入保护人及密码

模板

选项	描述
使用模板创建新文件	如果要使用指定的 MS Excel 模板创建输出文件，请选择此选项。选择此选项可指定用于创建输出文件的 Excel 模板。如果选择此选项，还必须在下面的模板文件字段中指定模板文件名。如果不想指定模板文件，请清除此选项。
模板文件	如果选中了上面的“创建新文件时使用模板”复选框，则输入要使用的模板文件名，或单击“浏览”按钮并导航到该文件。
使用模板创建新工作表	如果要使用指定的模板工作表创建输出工作表，请选择此选项。选择此选项可指定用于创建输出图纸的模板图纸。如果选择此选项，还必须在下面的“模板工作表”字段中指定模板工作表的名称。如果不想指定样板图纸，请清除此选项。
模板工作表	如果选中了上面的“创建工作表时使用模板”复选框，则输入要使用的工作表名称，或单击“浏览”按钮并导航到该名称。
Hide Template sheet	确定打开 MS Excel 输出文件时是否希望模板工作表可见。选择此选项可对打开输出文件的用户隐藏模板工作表。清除此选项可向打开输出文件的用户显示模板工作表。

内容

内容选项

选项	描述
开始输出自单元格	默认A1,我们在分页导出数据输出到Excel时,该字段需要使用变量替代
当输出记录时	选择覆盖或者继续输出
输出表头	选择输出表头
输出表尾	输出表尾
强制公式重新计算	重新计算公式
不改变现有单元格格式	不改变现有单元格格式

写入已存在的工作表

选项	描述
在表的末尾开始写(追加行)	在工作表的结尾，追加写入数据
抵消行数	在往工作表写入数据时，抵消多少行
在写入文件前添加的空行数	在工作表中写入内容前，先写入多少空行
删除表头	删除excel中的表头部分

字段

选项	描述
名称	字段的名称
类型	字段的数据类型：字符串、日期或数字。
格式	要在工作表中使用的Excel格式。有关有效格式，请参阅Excel手册。还有一些在线参考资料。
单元格式样式	Excel电子表格（字母列、数字行）中的一个单元格，如A1、B4等，用于复制此列的样式。该值通常是模板中预先设置的单元格。
字段标题	如果设置了，它将用于页眉/页脚，而不是壶穴字段名。
单元格表头/表位格式	用于复制页眉/页脚样式的单元格（通常是模板中预先设置样式的单元格）。
field contains formula	如果字段包含Excel公式，则设置为“是”。您不需要在字段值之前包含符号=。
超连接	包含要链接到的目标的字段。支持的目标可以是指向其他Excel电子表格单元格、网站URL、ftp、电子邮件地址或本地文档的链接。
Cell comment (XLSX)	XLSX格式允许在单元格上添加注释。如果要生成注释，可以为给定列指定包含注释和作者的字段。
Cell comment author (XLSX)	XLSX格式允许在单元格上添加注释。如果要生成注释，可以为给定列指定包含注释和作者的字段。

组件示例

转换

msexcel示例

预览

msexcel示例预览

SQL 文件输出

组件说明

根据数据源配置的数据库类型输出相应的 SQL 脚本，可以是 DDL 、DML 等

组件预览

sql output预览

组件详解

一般

连接

选项	描述
数据库连接	数据源
目标模式	oracle 中 user（用户）或 mysql 中 db（数据库）
目标表	顾名思义，它就是“表”

输出文件

选项	描述
增加创建表语句	sql 脚本中包含 create （建表）语句
增加清空表语句	sql 脚本中包含 truncate (截断) 语句
每个语句另起一行	sql 脚本中每1条语句单独1行
文件名	sql 脚本名称
创建父目录	创建父文件夹
启动时不创建文件	转换启动时不创建 sql 脚本
扩展名	sql 脚本文件的扩展名，默认为“.sql”
文件名中包含步骤号	输出步骤设置为多线程执行时自动生成从“0”开始计数的步骤号
文件名中包含日期	选择在扩展名之前输出日期，例如：`_20190816`
文件名中包含时间	选择在扩展名之前输出时间,例如：`_235959`
追加方式	追加方式保存数据
每...行拆分	如果生成的 sql 脚本中有多行记录，如果设置此参数非0，结果文件会拆分成多个 sql 文件。
显示文件名	保存 sql 脚本文件名（全路径）
将文件加入到结果文件中	选择将文件名添加到内部文件名结果集。此内部结果集稍后可用于处理所有已创建的文件

内容

日期格式：指定日期类型的显示格式
编码：sql 文件编码

组件示例

将 excel 和数据库表中数据合并，并导出 sql 脚本

转换

sql output转换

预览

sql 脚本内容

CREATE TABLE mdm.icd
(
  id TINYTEXT
, icd_type TINYTEXT
, icd_code TINYTEXT
, icd_name TINYTEXT
, icd_description TINYTEXT
, pinyin TINYTEXT
, vali_flag TINYTEXT
, remark TINYTEXT
, create_time TINYTEXT
, creator TINYTEXT
, update_time TINYTEXT
, operator TINYTEXT
)
;

INSERT INTO mdm.icd(id, icd_type, icd_code, icd_name, icd_description, pinyin, vali_flag, remark, create_time, creator, update_time, operator) VALUES ('1','icd9','00.0100','头和颈部血管治疗性超声','治疗性操作',null,'1',null,'2024/04/29 15:30:09.000000000',null,'2024/04/29 15:30:09.000000000',null);
INSERT INTO mdm.icd(id, icd_type, icd_code, icd_name, icd_description, pinyin, vali_flag, remark, create_time, creator, update_time, operator) VALUES ('10','icd9','00.1000','化学治疗物质植入','治疗性操作',null,'1',null,'2024/04/29 15:30:09.000000000',null,'2024/04/29 15:30:09.000000000',null);
INSERT INTO mdm.icd(id, icd_type, icd_code, icd_name, icd_description, pinyin, vali_flag, remark, create_time, creator, update_time, operator) VALUES ('10006','icd9','78.7100','肩胛骨，锁骨和胸廓［肋骨和胸骨］折骨术','手术',null,'1',null,'2024-04-29 15:30:09.0',null,'2024-04-29 15:30:09.0',null);
INSERT INTO mdm.icd(id, icd_type, icd_code, icd_name, icd_description, pinyin, vali_flag, remark, create_time, creator, update_time, operator) VALUES ('10007','icd9','78.7101','肩胛骨折骨术','手术',null,'1',null,'2024-04-29 15:30:09.0',null,'2024-04-29 15:30:09.0',null);

XML output

组件说明

将数据流转换为 xml 文件，数据流可以是任何形式、来源

组件预览

xml output预览

组件详情

文件

选项	描述
文件名称	xml 文件名
启动时不创建文件	建议选择，可以规避款文件带来的报错
输出传递到servlet	选择使用web服务返回数据，而不是写入文件
扩展	在文件名的末尾添加句点和扩展名“.xml”。
文件名中包含步骤号	在多个副本中运行该步骤（启动一个步骤的多个副本）时，选择在文件名中包含复制号(如：_0)。
文件名中包含日期	文件名中包含系统日期，如：_20181231。
文件名中包含时间	文件名中包含系统时间，如：_235959。
指定日期时间格式	指定文件名中包含日期时间的格式。
结果中添加文件名	输出结果数据流中添加文件名列

内容

选项	描述
已压缩	XML 文件存储在ZIP归档文件
编码	XML 文件的头中指定编码
父 XML 元素	XML 文档中根元素的名称
记录 XML 元素	XML 文档中使用的行元素的名称
分隔每一...记录	单个 XML 文件中放置的最大数据行数
忽略输入到XML文件的null值	忽略输出到 XML 文件中的 null 值

字段

选项	描述
文件名称	来源数据流中的字段名称
元素名称	XML 文件中要使用的元素的名称
Content type	字段是元素节点（Element）还是属性节点（Attribute）
类型	字段的类型
格式	数据格式，用于时间、数字类型字段的格式化
长度	字段的长度
精度	数字类型字段精度
货币	指定用于表示货币的符号（如：$或€）
分组	指定用于分隔四位数或更大数字中的千位单位的方法，可以是10,000.00中的逗号（,）或5.000,00中的（.）
空	当字段的值为 null 时，指定要插入到输出文本文件中的字符串
最小宽度(按钮)	更改字段选项卡中的选项，使文本文件中的行宽度最小

组件示例

转换

xml output预览

注意： 在“内容”中设置标签名称

预览

输出 xml 文件内容如下

<?xml version='1.0' encoding='UTF-8'?>
<icds>
    <icd id="1" icd_type="icd9">
        <icd_code>00.0100</icd_code>
        <icd_name>头和颈部血管治疗性超声</icd_name>
        <icd_description>治疗性操作</icd_description>
        <pinyin/>
        <vali_flag>1</vali_flag>
        <remark/>
        <create_time>2024/04/29 15:30:09.000000000</create_time>
        <creator/>
        <update_time>2024/04/29 15:30:09.000000000</update_time>
        <operator/>
    </icd>
    <icd id="10" icd_type="icd9">
        <icd_code>00.1000</icd_code>
        <icd_name>化学治疗物质植入</icd_name>
        <icd_description>治疗性操作</icd_description>
        <pinyin/>
        <vali_flag>1</vali_flag>
        <remark/>
        <create_time>2024/04/29 15:30:09.000000000</create_time>
        <creator/>
        <update_time>2024/04/29 15:30:09.000000000</update_time>
        <operator/>
    </icd>
    <icd id="10006" icd_type="icd9">
        <icd_code>78.7100</icd_code>
        <icd_name>肩胛骨，锁骨和胸廓［肋骨和胸骨］折骨术</icd_name>
        <icd_description>手术</icd_description>
        <pinyin/>
        <vali_flag>1</vali_flag>
        <remark/>
        <create_time>2024/04/29 15:30:09.000000000</create_time>
        <creator/>
        <update_time>2024/04/29 15:30:09.000000000</update_time>
        <operator/>
    </icd>
    <icd id="10007" icd_type="icd9">
        <icd_code>78.7101</icd_code>
        <icd_name>肩胛骨折骨术</icd_name>
        <icd_description>手术</icd_description>
        <pinyin/>
        <vali_flag>1</vali_flag>
        <remark/>
        <create_time>2024/04/29 15:30:09.000000000</create_time>
        <creator/>
        <update_time>2024/04/29 15:30:09.000000000</update_time>
        <operator/>
    </icd>
</icds>

删除

组件说明

根据给定的条件删除目标表数据

组件预览

删除组件预览

组件详解

查询值所需的关键字：

比较符：支持的比较符有=,<>,<,<=,>,>=,LIKE,BETWEEN,IS NULL,IS NOT NULL

组件示例

根据 excel 中数据关联删除数据库表信息

转换

删除组件转换

预览

执行前数据

mysql> select * from icd_tmp where id in (1,10) ; 
+----+----------+----------+------------------------+-----------------+--------+-----------+--------+---------------------+---------+---------------------+----------+
| id | icd_type | icd_code | icd_name               | icd_description | pinyin | vali_flag | remark | create_time         | creator | update_time         | operator |
+----+----------+----------+------------------------+-----------------+--------+-----------+--------+---------------------+---------+---------------------+----------+
| 1  | icd9     | 00.0100  | 头和颈部血管治疗性超声 | 治疗性操作      | NULL   | 1         | NULL   | 2024-04-29 15:30:09 | NULL    | 2024-04-29 15:30:09 | NULL     |
| 10 | icd9     | 00.1000  | 化学治疗物质植入       | 治疗性操作      | NULL   | 1         | NULL   | 2024-04-29 15:30:09 | NULL    | 2024-04-29 15:30:09 | NULL     |
+----+----------+----------+------------------------+-----------------+--------+-----------+--------+---------------------+---------+---------------------+----------+
2 rows in set (0.16 sec)

执行后数据

mysql> select * from icd_tmp where id in (1,10) ;
Empty set

插入或更新

组件说明

通过设置的关键字在表中查找数据，如果没有找到就执行插入操作。如果能找到，并且设置的需要更新的字段有任何改变时，执行更新操作。否则，什么也不做。

组件预览

插入或更新预览

组件详解

选项	描述
数据库连接	数据源
目标模式	user or db
目标表	表
提交记录数量	一次提交的记录数量
不执行任何更新	不执行更新操作
用来查询的关键字	可以指定字段值或者比较符。可以用以下比较符：`=,<>,<,<=,>,>=,LIKE,BETWEEN,IS NULL,IS NOT NULL`
更新字段	需要更新的字段

组件示例

转换

插入或更新示例

预览

插入或更新预览

数据同步

组件说明

根据指定字段值，实现数据库表同步（删除、更新、插入），一般配合合并记录使用

组件预览

数据同步预览

组件详解

一般

选项	描述
提交记录的数量	一次提交给数据库的数据条数
批量更新	使用数据库的批量更新，推荐使用，能大大提高大数据量数据提交的性能
表名在字段里定义	勾选此配置，可以通过数据流中的字段获取表名
用来查询的关键字	可以指定字段值或者比较符。可以用以下比较符：`=,<>,<,<=,>,>=,LIKE,BETWEEN,IS NULL,IS NOT NULL`
更新字段	需要更新的字段，可以设置某些字段不更新

高级

选项	描述
操作字段名	用于区分“插入”、“删除”、“更新”操作的字段
当值相等时插入	用于执行“插入”的值
当值相等时更新	用于执行“更新”的值
当值相等时删除	用于执行“删除”的值

组件示例

连接组件 > 合并记录

文本文件输出

组件说明

将数据流输出到文本文件中

组件预览

文本文件预览

组件详解

文件

选项	描述
文件名称	文件名
输出传递到servlet	使用 Servlet 字符输出流，不再输出到文件
创建父目录	自动创建父目录
启动时不创建文件	转换开始时不会生成文件
从字段中获取文件名	通过数据流中的字段获取文件名
文件名字段	指定输入流文件名的字段
扩展名	指定输出文件名的扩展名
文件名包含步骤数	当输出步骤设置为多线程执行时，则自动生成从“0”开始计数的步骤号
文件名里包含数据分区号	使用分区模式时，文件名称中包含分区的ID
文件名里包含日期	生成文件的文件名包含年、月、日
文件名里包含时间	生成文件的文件名会包含时、分、秒
指定日期时间格式	勾选后，控件“日期时间格式”将变为可用，并按照选定的日期格式生成文件名后缀
日期时间格式	时间格式下拉框，将根据选取的格式生成文件名后缀
显示文件名	预览生成的文件名
结果中添加文件名	勾选此项，可把转换的结果文件名存进流中，使其可以在后续步骤中被获取

内容

选项	描述
追加方式	是否在指定的文件最后追加行
分隔符	指定在文本中分隔字段的字符
封闭符	用于封闭字段的字符
强制在字段周围加封闭符	在每列数据的两侧都加上封闭符
禁用封闭符修复	禁用封闭符修复
头部	如果你想有一个头部行，使这个选项可用（文件第一行）
尾部	如果你想有一个尾部行，使这个选项可用（文件最后一行）
格式	DOS 或者 UNIX 。UNIX 文件行分隔符是换行符。DOS 文件可以是换行符或者回车符
压缩	指定压缩的类型（ zip 或者 gzip ）
编码	指定文件使用的编码。如果空白就使用系统缺省的编码
字段右填充或裁剪	在字段最后添加空格或者删除字符，直到长度达到指定
快速数据存储(无格式)	当处理大量数据到一个文本文件时，提高性能（不包含任何格式化信息）
分拆…每一行	分割成多个部分
增加文件结束行	指定输出文本的结束行

字段

选项	描述。
名称	设置要在输出流中显示的字段名称
类型	字段类型（String、Date、Number 等）
格式	控制输入数据的格式（整数、有小数位、日期格式等）
长度	对于Number：有效数的数量。对于String：字符的长度。对于Date：打印输出字符的长度（例如4 代表返回年份）
精度	对于Number：浮点数的数量。对于 String , Date , Boolean ：未使用
货币	用来解释如$10,000.00 的数字
小数	小数点可以是”.”(10;000.00)或者”,”(5.000,00)
分组	分组可以是”.”(10;000.00)或者”,”(5.000,00)
去除空字符串方式	处理之前先去空
Null	空值如何处理，可以设置默认值

组件示例

转换

文本文件输出预览

结果预览

扩展名为“txt”

txt预览

扩展名为“csv”

csv预览

Tips：csv 本质上就是一个“文本文件”，使用文本文件输出表格时，扩展名使用 csv 借助 excel 浏览会有意想不到的方便。

更新

参考 插入/更新

表输出

组件说明

将数据流写入到数据库的表中

组件预览

表输出预览

组件详解

选项	描述
数据库连接	数据源
目标模式	user 或 db
目标表	表
提交记录数量	一次提交给数据库的条数，合理设置可以提高数据库性能
裁剪表	每次操作前，先把目标表 `truncate` 清空一下
忽略插入错误	插入报错时，不会终止转换。在批量插入的时候这个功能不可用。
指定数据库字段	选中此选项，才可以做源数据和目标表列的映射
表字段	表中列名
流字段	数据流中字段名

组件示例

转换

表输出转换

预览

执行转换前

mysql> select * from icd_tmp ; 
Empty set

执行转换后

mysql> select * from icd_tmp ; 
+----+----------+----------+------------------------+-----------------+--------+-----------+--------+---------------------+---------+---------------------+----------+
| id | icd_type | icd_code | icd_name               | icd_description | pinyin | vali_flag | remark | create_time         | creator | update_time         | operator |
+----+----------+----------+------------------------+-----------------+--------+-----------+--------+---------------------+---------+---------------------+----------+
| 1  | icd9     | 00.0100  | 头和颈部血管治疗性超声 | 治疗性操作      | NULL   | 1         | NULL   | 2024-04-29 15:30:09 | NULL    | 2024-04-29 15:30:09 | NULL     |
| 10 | icd9     | 00.1000  | 化学治疗物质植入       | 治疗性操作      | NULL   | 1         | NULL   | 2024-04-29 15:30:09 | NULL    | 2024-04-29 15:30:09 | NULL     |
+----+----------+----------+------------------------+-----------------+--------+-----------+--------+---------------------+---------+---------------------+----------+
2 rows in set (0.09 sec)

配置文件输出

将数据流输出到 properties 配置文件，没啥可说的~~~~