ETL简介以及使用ETL（Kettle）进行数据接入的具体例子

一．数据抽取：即确定数据源，采集原始数据，通过不同的数据接口，从不同的数据源中抽取数据。
二．数据转换：指接收来自不同系统的输入并将其转换成目标需要的格式的过程，包括数据的各种统计、合并、汇总、查询、过滤、排序、函数计算、合并拆分、转换等。数据清洗是对抽取的数据进行有效性检查，从中去除无效、重复、错误记录的过程。
三. 数据装载：负责将数据按照目标数据库元数据定义的表结构装入目标系统，即对经过前几步清洗和转换后的数据进行存储。

ETL基本概念

步骤：ETL的基本构成块，最小的功能单位。
转换：由多个步骤组成的业务处理流程。
作业：由多个步骤和转换组成的业务流程。
跳：步骤之间的关系，也可以看做步骤间的缓存。

ETL资源库

用来保存转换和作业的数据库。

ETL变量

命名参数：

变量的一种，作为转换或作业参数使用。

通过改变命名参数，可以实现流程的复用。

业务表梳理以及接入规划

数据接入流程

业务表梳理

ETL任务规范

接入规划

数据接入中的方便工具

1、Excel

2、文本编辑器

具体例子

导出生产表信息

1、ORACLE

with tmp as (
SELECT 
	A.CONSTRAINT_NAME tmp1,
	A.table_name tmp2,
	A.COLUMN_NAME tmp3
FROM
	all_cons_columns A,
	all_constraints b 
WHERE
	A.CONSTRAINT_NAME = b.CONSTRAINT_NAME 
	AND b.constraint_type = 'P'
	-- AND A.OWNER = 'XRAPUSER'
	-- AND A.TABLE_NAME = 'AGZX_HLWPJ'
)SELECT 
       '62.64.13.44'       AS IP
      ,'xxx'               AS SYS
      ,A.OWNER
      ,A.TABLE_NAME        AS TABLE_NAME_EN      --英文表名
      ,B.COMMENTS          AS TABLE_NAME_CN      --中文表名
      ,A.COLUMN_ID                               --字段序号
      ,A.COLUMN_NAME       AS COLUMN_NAME_EN     --字段名称
      ,C.COMMENTS          AS COLUMN_NAME_CN     --字段注释
      ,A.DATA_TYPE               --字段类型
      ,A.CHAR_LENGTH             --字段长度
      ,A.DATA_LENGTH             --数据长度
      ,A.DATA_PRECISION          --数据精度
      ,A.DATA_SCALE              --小数位
	  ,case when tmp.tmp1 is not null then 'Y' else null end as primary_key
 FROM ALL_TAB_COLUMNS A          --表与字段信息
 
 LEFT JOIN ALL_TAB_COMMENTS B   --表名信息
   ON B.OWNER = A.OWNER
  AND B.TABLE_NAME = A.TABLE_NAME

 LEFT JOIN ALL_COL_COMMENTS C   --字段名信息
   ON C.OWNER = A.OWNER
  AND C.TABLE_NAME = A.TABLE_NAME 
  AND C.COLUMN_NAME = A.COLUMN_NAME
  
 left join tmp 
   on tmp.tmp2 = A.TABLE_NAME 
  and tmp.tmp3 = A.COLUMN_NAME
 
WHERE A.OWNER = 'XRAPUSER' 
ORDER BY A.OWNER,A.TABLE_NAME,A.COLUMN_ID

2、MYSQL

SELECT 
       "62.64.39.135"      AS IP
      ,"sfbz"               AS SYS
      ,TABLE_SCHEMA
      ,TABLE_NAME        AS TABLE_NAME_EN      		
      ," "          AS TABLE_NAME_CN     						
      ,ORDINAL_POSITION                           		
      ,COLUMN_NAME       AS COLUMN_NAME_EN   				
      ,COLUMN_COMMENT          AS COLUMN_NAME_CN  
      ,DATA_TYPE               											
      ,CHARACTER_MAXIMUM_LENGTH            					
      ,CHARACTER_OCTET_LENGTH            						
      ,NUMERIC_PRECISION        											
      ,NUMERIC_SCALE            									
	  ," " as primary_key
		,COLUMN_TYPE
 FROM information_schema.columns  
  where table_name like "result_%" and table_schema="dzzyk" order by TABLE_NAME_EN ,ORDINAL_POSITION