目录
一.学习目标
了解数据库sakila中的数据表
理解数据仓库sakila_dw 的架构设计
熟悉DVD租赁商店的业务流程
掌握构建DVD租赁商店数据仓库的具体实现
二.案例介绍
概要:sakila样本数据库是MySQL官方提供的一个模拟DVD租赁商店管理的数据库。本章,我们将综合运用前面几章的知识,对数据库sakila中的数据进行清洗操作,从而构建一个DVD租赁商店数据仓库系统,即实现定期从源数据库sakila中抽取增量数据,转换成符合DVD租赁业务的数据,最后加载到目标数据仓库中。
2.1.案例背景介绍
在日益激烈的商业竞争中,在线DVD租赁商店的决策者都迫切地需要更加准确的战略决策信息。每个在线DVD租赁商店的数据都存储在数据库中,因此该数据库中拥有海量的数据,并不缺乏足够的信息,但是这些数据并不是战略决策需要的信息。虽然这些海量数据对于在线DVD租赁商店的运作是非常有用的,但是对于商业的战略决策和目标制定的作用是微乎其微的。
对于在线DVD租赁商店的决策者来说,他们需要从多个不同的商业角度观察数据,例如时间、电影、演员、用户等角度观察数据,并进行相关的分析得出决策,但是数据库中的数据不适合从多个角度进行分析,无法得出战略决策。然而,数据仓库支持复杂的分析操作,侧重于决策支持,并且还提供直观易懂的查询结果,因此我们需要基于数据库sakila创建一个DVD租赁商店数据仓库,并将sakila数据库中的数据加载到数据仓库中,便于在线DVD租赁商店的决策者对数据进行分析得出商业决策。
2.2.数据仓库的架构模型
数据仓库sakila_dw的架构模型是一个星型模型,其中dim_film表、dim_customer表、dim_actor表、dim_store表、dim_staff表、dim_date表以及dim_time表均为维度表;fact_rental表为事实表。
sakila_dw.sql(数据库中表是空的,无记录)
/*
SQLyog Community v13.1.6 (64 bit)
MySQL - 8.0.26 : Database - sakila_dw
*********************************************************************
*/
/*!40101 SET NAMES utf8 */;
/*!40101 SET SQL_MODE=''*/;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;
CREATE DATABASE /*!32312 IF NOT EXISTS*/`sakila_dw` /*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci */ /*!80016 DEFAULT ENCRYPTION='N' */;
USE `sakila_dw`;
/*Table structure for table `dim_actor` */
DROP TABLE IF EXISTS `dim_actor`;
CREATE TABLE `dim_actor` (
`actor_key` int NOT NULL AUTO_INCREMENT,
`actor_last_update` datetime NOT NULL,
`actor_last_name` varchar(45) NOT NULL,
`actor_first_name` varchar(45) NOT NULL,
`actor_id` int NOT NULL,
PRIMARY KEY (`actor_key`)
) ENGINE=MyISAM AUTO_INCREMENT=601 DEFAULT CHARSET=latin1;
/*Table structure for table `dim_customer` */
DROP TABLE IF EXISTS `dim_customer`;
CREATE TABLE `dim_customer` (
`customer_key` int NOT NULL AUTO_INCREMENT,
`customer_last_update` datetime NOT NULL DEFAULT '1970-01-01 00:00:00',
`customer_id` int DEFAULT NULL,
`customer_first_name` varchar(45) DEFAULT NULL,
`customer_last_name` varchar(45) DEFAULT NULL,
`customer_email` varchar(50) DEFAULT NULL,
`customer_active` char(3) DEFAULT NULL,
`customer_created` date DEFAULT NULL,
`customer_address` varchar(64) DEFAULT NULL,
`customer_district` varchar(20) DEFAULT NULL,
`customer_postal_code` varchar(10) DEFAULT NULL,
`customer_phone_number` varchar(20) DEFAULT NULL,
`customer_city` varchar(50) DEFAULT NULL,
`customer_country` varchar(50) DEFAULT NULL,
`customer_version_number` smallint DEFAULT NULL,
`customer_valid_from` date DEFAULT NULL,
`customer_valid_through` date DEFAULT NULL,
PRIMARY KEY (`customer_key`),
KEY `customer_id` (`customer_id`) USING BTREE
) ENGINE=MyISAM AUTO_INCREMENT=4794 DEFAULT CHARSET=latin1;
/*Table structure for table `dim_date` */
DROP TABLE IF EXISTS `dim_date`;
CREATE TABLE `dim_date` (
`date_key` int NOT NULL,
`date_value` date NOT NULL,
`date_short` char(12) NOT NULL,
`date_medium` char(16) NOT NULL,
`date_long` char(24) NOT NULL,
`date_full` char(32) NOT NULL,
`day_in_year` smallint NOT NULL,
`day_in_month` tinyint NOT NULL,
`is_first_day_in_month` char(10) NOT NULL,
`is_last_day_in_month` char(10) NOT NULL,
`day_abbreviation` char(3) NOT NULL,
`day_name` char(12) NOT NULL,
`week_in_year` tinyint NOT NULL,
`week_in_month` tinyint NOT NULL,
`is_first_day_in_week` char(10) NOT NULL,
`is_last_day_in_week` char(10) NOT NULL,
`month_number` tinyint NOT NULL,
`month_abbreviation` char(3) NOT NULL,
`month_name` char(12) NOT NULL,
`year2` char(2) NOT NULL,
`year4` smallint NOT NULL,
`quarter_name` char(2) NOT NULL,
`quarter_number` tinyint NOT NULL,
`year_quarter` char(7) NOT NULL,
`year_month_number` char(7) NOT NULL,
`year_month_abbreviation` char(8) NOT NULL,
PRIMARY KEY (`date_key`),
UNIQUE KEY `date` (`date_value`) USING BTREE,
UNIQUE KEY `date_value` (`date_value`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
/*Table structure for table `dim_film` */
DROP TABLE IF EXISTS `dim_film`;
CREATE TABLE `dim_film` (
`film_key` int NOT NULL AUTO_INCREMENT,
`film_last_update` datetime NOT NULL,
`film_title` varchar(64) NOT NULL,
`film_description` text NOT NULL,
`film_release_year` smallint NOT NULL,
`film_language` varchar(20) NOT NULL,
`film_original_language` varchar(20) NOT NULL,
`film_rental_duration` tinyint DEFAULT NULL,
`film_rental_rate` decimal(4,2) DEFAULT NULL,
`film_duration` int DEFAULT NULL,
`film_replacement_cost` decimal(5,2) DEFAULT NULL,
`film_rating_code` char(5) DEFAULT NULL,
`film_rating_text` varchar(30) DEFAULT NULL,
`film_has_trailers` char(4) DEFAULT NULL,
`film_has_commentaries` char(4) DEFAULT NULL,
`film_has_deleted_scenes` char(4) DEFAULT NULL,
`film_has_behind_the_scenes` char(4) DEFAULT NULL,
`film_in_category_action` char(4) DEFAULT NULL,
`film_in_category_animation` char(4) DEFAULT NULL,
`film_in_category_children` char(4) DEFAULT NULL,
`film_in_category_classics` char(4) DEFAULT NULL,
`film_in_category_comedy` char(4) DEFAULT NULL,
`film_in_category_documentary` char(4) DEFAULT NULL,
`film_in_category_drama` char(4) DEFAULT NULL,
`film_in_category_family` char(4) DEFAULT NULL,
`film_in_category_foreign` char(4) DEFAULT NULL,
`film_in_category_games` char(4) DEFAULT NULL,
`film_in_category_horror` char(4) DEFAULT NULL,
`film_in_category_music` char(4) DEFAULT NULL,
`film_in_category_new` char(4) DEFAULT NULL,
`film_in_category_scifi` char(4) DEFAULT NULL,
`film_in_category_sports` char(4) DEFAULT NULL,
`film_in_category_travel` char(4) DEFAULT NULL,
`film_id` int NOT NULL,
PRIMARY KEY (`film_key`)
) ENGINE=MyISAM AUTO_INCREMENT=3001 DEFAULT CHARSET=latin1;
/*Table structure for table `dim_film_actor_bridge` */
DROP TABLE IF EXISTS `dim_film_actor_bridge`;
CREATE TABLE `dim_film_actor_bridge` (
`film_key` int NOT NULL,
`actor_key` int NOT NULL,
`actor_weighting_factor` decimal(3,2) DEFAULT NULL,
PRIMARY KEY (`film_key`,`actor_key`),
KEY `dim_actor_dim_film_actor_bridge_fk` (`actor_key`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
/*Table structure for table `dim_staff` */
DROP TABLE IF EXISTS `dim_staff`;
CREATE TABLE `dim_staff` (
`staff_key` int NOT NULL AUTO_INCREMENT,
`staff_last_update` datetime NOT NULL DEFAULT '1970-01-01 00:00:00',
`staff_first_name` varchar(45) DEFAULT NULL,
`staff_last_name` varchar(45) DEFAULT NULL,
`staff_id` int DEFAULT NULL,
`staff_store_id` int DEFAULT NULL,
`staff_version_number` smallint DEFAULT NULL,
`staff_valid_from` date DEFAULT NULL,
`staff_valid_through` date DEFAULT NULL,
`staff_active` char(3) DEFAULT NULL,
PRIMARY KEY (`staff_key`),
KEY `staff_id` (`staff_id`) USING BTREE
) ENGINE=MyISAM AUTO_INCREMENT=19 DEFAULT CHARSET=latin1;
/*Table structure for table `dim_store` */
DROP TABLE IF EXISTS `dim_store`;
CREATE TABLE `dim_store` (
`store_key` int NOT NULL AUTO_INCREMENT,
`store_last_update` datetime NOT NULL DEFAULT '1970-01-01 00:00:00',
`store_id` int DEFAULT NULL,
`store_address` varchar(64) DEFAULT NULL,
`store_district` varchar(20) DEFAULT NULL,
`store_postal_code` varchar(10) DEFAULT NULL,
`store_phone_number` varchar(20) DEFAULT NULL,
`store_city` varchar(50) DEFAULT NULL,
`store_country` varchar(50) DEFAULT NULL,
`store_manager_staff_id` int DEFAULT NULL,
`store_manager_first_name` varchar(45) DEFAULT NULL,
`store_manager_last_name` varchar(45) DEFAULT NULL,
`store_version_number` smallint DEFAULT NULL,
`store_valid_from` date DEFAULT NULL,
`store_valid_through` date DEFAULT NULL,
PRIMARY KEY (`store_key`),
KEY `store_id` (`store_id`) USING BTREE
) ENGINE=MyISAM AUTO_INCREMENT=8 DEFAULT CHARSET=latin1;
/*Table structure for table `dim_time` */
DROP TABLE IF EXISTS `dim_time`;
CREATE TABLE `dim_time` (
`time_key` int NOT NULL,
`time_value` time NOT NULL,
`hours24` tinyint NOT NULL,
`hours12` tinyint DEFAULT NULL,
`minutes` tinyint DEFAULT NULL,
`seconds` tinyint DEFAULT NULL,
`am_pm` char(3) DEFAULT NULL,
PRIMARY KEY (`time_key`),
UNIQUE KEY `time_value` (`time_value`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
/*Table structure for table `fact_rental` */
DROP TABLE IF EXISTS `fact_rental`;
CREATE TABLE `fact_rental` (
`customer_key` int NOT NULL,
`staff_key` int NOT NULL,
`film_key` int NOT NULL,
`store_key` int NOT NULL,
`rental_date_key` int NOT NULL,
`return_date_key` int NOT NULL,
`rental_time_key` int NOT NULL,
`count_returns` int NOT NULL,
`count_rentals` int NOT NULL,
`rental_duration` int DEFAULT NULL,
`rental_last_update` datetime DEFAULT NULL,
`rental_id` int DEFAULT NULL,
KEY `dim_store_fact_rental_fk` (`store_key`),
KEY `dim_staff_fact_rental_fk` (`staff_key`),
KEY `dim_time_fact_rental_fk` (`rental_time_key`),
KEY `dim_film_fact_rental_fk` (`film_key`),
KEY `dim_date_fact_rental_fk` (`rental_date_key`),
KEY `dim_customer_fact_rental_fk` (`customer_key`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS */;
/*!40014 SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS */;
/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;
三.数据准备
3.1.数据库sakila的下载和安装
我们可以从MySQL的官网下载数据库sakila的建库脚本,若是在Windows环境下安装数据库sakila,则下载名称为sakila-db.zip的压缩包文件;若是在Linux环境下安装数据库sakila,需要下载名称为sakila-db.tar.gz的压缩包文件。 本次下载的是名称为sakila-db.zip的压缩包文件,该压缩包文件中包含三个文件,分别是文件sakila.mwb、文件sakila-data.sql和文件sakila-schema.sql。其中,文件sakila.mwb是一个MySQL Workbench数据模型,用于查看数据库结构;文件sakila-data.sql是用于创建数据库sakila的数据;文件sakila-schema.sql是用于创建数据库sakila的数据结构。
数据库sakila下载完成后,直接解压压缩包,然后使用MySQL图形化管理软件SQLyog(本文使用navicat)先运行脚本文件sakila-schema.sql创建数据库sakila和数据表,再运行脚本文件sakila-data.sql向数据库sakila中的数据表加载数据,最后刷新数据库并查看数据库sakila中的数据表及数据表中的数据,若数据表中均含有数据则说明安装数据库sakila成功,否则说明安装不成功,需要重新解压安装。 需要注意的是,安装数据库sakila之前需要下载并安装MySQL关系型数据库,并且版本不可以低于5.0。
3.2.数据库sakila简介
数据库sakila中一共含有十六张数据表,分别是actor(演员)表、address(地址)表、category(类别)表、city(城市)表、country(国家)表、customer(顾客)表、film(电影)表、film_actor(演员所属电影)表、film_category(电影所属的类别)表、film_text(电影描述)表、inventory(库存)表、language(语言)表、payment(付款)表、rental(租赁)表、staff(工作人员)表以及store(商店)表。
sakila建库SQL语句:点击获取
四.案例实现
我们基于数据库sakila构建一个星型模型的DVD租赁商店数据仓库,并命名为sakila_dw。数据仓库sakila_dw中的事实表fact_rental是根据数据库sakila中的数据表rental创建的;维度表是根据数据表sakila中数据表的分类创建的,即从人员、时间、地点以及事件四个角度进行创建数据仓库sakila_dw的维度表,具体如下: 从人员角度角度创建维度表dim_customer和维度表dim_staff,分别表示租赁业务中的客户和员工; 从时间角度创建维度表dim_date和维度表dim_time,用于记录所有DVD的租赁时间和归还时间; 从地点角度创建维度表dim_store,用于记录DVD光盘是从哪个商店租赁的; 从事件角度创建维度表dim_actor和维度表dim_film,其中维度表dim_actor用于记录演员的基本信息,维度表dim_film用于记录电影的基本信息。由于电影是租赁和归还的实际对象,因此维度表dim_film应与事实表fact_rental关联。一部电影是由多位演员出演,所以会有桥接表dim_film_actor_bridge,该表将电影与演员相关联。
4.1加载日期数据至日期维度表
通过Kettle工具加载日期数据至dim_date日期维度表。
(1)打开kettle创建转换
(2)配置控件
生成记录控件:双击进入生成记录控件,在“限制”处添加生成的日期,默认为10,这里改为3650,即生成10年的日期(10*365);在“字段”框添加字段language(语言)、country_code(国家码)、initial_date(初始化的日期),对生成的日期进行初始化,具体如图所示。
增加 序列控件:双击“增加序列”控件,进入“增加序列”配置界面,并在“值的名称”处将valuename改为DaySequence,即增加一列日期字段,后续用于改变“生成记录”控件生成的日期,如图所示。
JavaScript代码:双击“JavaScript”控件,进入“JavaScript”配置界面,勾选“兼容模式?”处的复选框,使得JavaScript代码控件的兼容性更强;在Java Script代码框中编写代码(代码见下方),如图所示。
代码写好后,点击下方获取变量将字段添加到下方,如上图。
个人经验:在填写好后字段后,建议查看一遍字段类型,将date字段数据类型改为Date,其余的都改为string。此建议只是在我运行时,数据库中写不进去记录后所做的,仅供参考,具体看自己实践情况。
JavaScript代码:
//Script here
//生成locale
var locale = new java.util.Locale(language.getString(),country_code.getString());
//生成Calendar
var calendar = new java.util.GregorianCalendar(locale);
//设置时间
calendar.setTime(initial_date.getDate());
//设置日历为当前日期
calendar.add(calendar.DAY_OF_MONTH,DaySequence.getInteger()-1);
//获取日期
var date = new java.util.Date(calendar.getTimeInMillis());
//生成短日期
var date_short = java.text.DateFormat.getDateInstance(java.text.DateFormat.SHORT,locale).format(date);
//生成中日期
var date_medium = java.text.DateFormat.getDateInstance(java.text.DateFormat.MEDIUM,locale).format(date);
//生成长日期
var date_long = java.text.DateFormat.getDateInstance(java.text.DateFormat.LONG,locale).format(date);
//生成全日期
var date_full = java.text.DateFormat.getDateInstance(java.text.DateFormat.FULL,locale).format(date);
//简单格式化
var simpleDateFormat = java.text.SimpleDateFormat("D",locale);
//天在年的第几天
var day_in_year = simpleDateFormat.format(date);
//建立格式器
simpleDateFormat.applyPattern("d");
//天在月的第几天
var day_in_month = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("EEEE");
//星期的名称
var day_name = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("E");
//星期的缩写
var day_abbreviation = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("ww");
//一年的第几周
var week_in_year = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("W");
//一月的第几周
var week_in_month = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("MM");
//月份
var month_number = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("MMMM");
//月的名称
var month_name = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("MMM");
//月的缩写
var month_abbreviation = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("yy");
//两位的年
var year2 = simpleDateFormat.format(date);
simpleDateFormat.applyPattern("yyyy");
//四位的年
var year4 = simpleDateFormat.format(date);
//季度名称
var quarter_name = "Q";
//季度
var quarter_number;
switch(parseInt(month_number)){
case 1:case 2:case 3:quarter_number = "1";break;
case 4:case 5:case 6:quarter_number = "2";break;
case 7:case 8:case 9:quarter_number = "3";break;
case 10:case 11:case 12:quarter_number = "4";break;
}
quarter_name += quarter_number;
//定义常量
var yes = "yes";
var no = "no";
//获取周的第一天
var first_day_of_week = calendar.getFirstDayOfWeek();
var day_of_week = java.util.Calendar.DAY_OF_WEEK;
//判断是否为周的第一天
var is_first_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
is_first_day_in_week = yes;
}else{
is_first_day_in_week = no;
}
//日历的下一天
calendar.add(calendar.DAY_OF_MONTH,1);
//获取下一天
var next_day = new java.util.Date(calendar.getTimeInMillis());
//判断是否周的最后一天
var is_last_day_in_week;
if(first_day_of_week == calendar.get(day_of_week)){
is_last_day_in_week = yes;
}else{
is_last_day_in_week = no;
}
//判断是否为月的第一天
var is_first_day_in_month;
if(day_in_month == 1){
is_first_day_in_month = yes;
}else{
is_first_day_in_month = no;
}
//判断是否为月的最后一天
var is_last_day_in_month;
if(java.text.SimpleDateFormat("d",locale).format(next_day)==1){
is_last_day_in_month = yes;
}else{
is_last_day_in_month = no;
}
//年_季度
var year_quarter = year4 + "-" + quarter_name;
//年_月份
var year_month_number = year4 + "-" + month_number;
//年_月缩写
var year_month_abbreviation = year4 + "-" + month_abbreviation;
//日期代理剑(唯一键)
var date_key = year4 + month_number + (day_in_month<10?"0":"") + day_in_month;
表输出控件: 双击进入表输出控件,连接好数据库,选择目标表为dim_date,具体如下
目标表选好后,勾选指定数据库字段,点击下方数据库字段,单击【输入字段映射】按钮,弹出“映射匹配”对话框,依次选中“源字段”选项框的字段和“目标字段”选项框的字段,再单击【Add】按钮,将一对映射字段添加至“映射”选项框中,具体如下:
(3)保存运行
运行时间较长请耐心等待.........
数据库中部分数据,共3650条数据
4.2 加载时间数据至时间维度表
(1)操作介绍
通过Kettle工具加载时间数据至日期维度表dim_time。
(2)打开kettle创建转换
(3)配置控件
生成记录控件:双击“生成记录”控件,进入“生成记录”配置界面,在“限制”处添加生成的时间,这里添加的是生成24小时数据,起始的时间为0;在“字段”框添加生成小时字段的相关信息,如图所示。
增加序列控件:双击“增加序列”控件,进入“增加序列”配置界面,将“值的名称”处将valuename改为hours24,即增加一列小时字段,由于时间是由时分秒构成,因此我们需要生成时分秒字段的数据,这里生成24小时数据,后续步骤中会生成60分和60秒的数据,如图所示。
JavaScript代码控件:双击“JavaScript代码”控件,进入“JavaScript代码”界面,勾选“兼容模式?”处的复选框,使得JavaScript代码控件的兼容性更强;在Java Script代码框中编写代码;单击【获取变量】按钮,将代码中定义的变量添加至字段框。JavaScript代码控件的配置如图所示。
//生成12小时格式
var hours12=hours24.getInteger()%12;
//生成AM,PM格式
var am_pm=hours24.getInteger()>12?"PM":"AM";
生成记录2控件:双击“生成记录2”控件,进入“生成记录”界面,在“限制”后的文本框添加60表示生成60条数据(60分钟从0分开始至59分结束共60条数据);在“字段”框添加生成字段的名称、字段类型及默认值为0,如图所示。
增加序列2控件:双击“增加序列2”控件,进入“增加序列2”界面,将“值的名称”处将valuename改为minutes,即增加一列分钟字段,用于记录分钟数,在起始值后的文本框内将默认值1修改为0,表示从0开始生成60条数据(上一步“生成记录2”控件限制了条数),即生成数据为0-59,如图所示。
生成记录3控件:双击“生成记录3”控件,进入“生成记录”界面,在“限制”后的文本框添加60,表示生成60条数据(即60秒钟从0秒开始至59秒结束共60条数据);在“字段”框添加生成字段的名称、字段类型及默认值为0,如图所示。
增加序列3控件:双击“增加序列3”控件,进入“增加序列3”界面,将“值的名称”处将valuename改为minutes,即增加一列秒字段,用于记录秒数,在起始值后的文本框内将默认值1修改为0,表示从0开始生成60条数据(上一步骤中“生成记录3”控件限制了条数),即生成数据为0-59,如图所示。
记录关联(笛卡尔输出)控件:这一步不需要配置
JavaScript代码2控件:双击“JavaScript代码2”控件,进入“JavaScript代码2”界面,勾选“兼容模式?”处的复选框,使得JavaScript代码2控件的兼容性更强;在Java Script代码框中编写代码;单击【获取变量】按钮,将代码中定义的变量添加至字段框。JavaScript代码2控件的配置,如图所示。
JavaScript2代码:
//生成time
var time=hours24.getInteger()+":"
+minutes.getInteger()+":"
+seconds.getInteger();
//time_key
var time_key=(hours24.getInteger()<10?"0":"")
+hours24.getInteger()+(minutes.getInteger()<10?"0":"")
+minutes.getInteger()+(seconds.getInteger()<10?"0":"")
+seconds.getInteger();
表输出控件:双击进入表输出控件,单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_time;勾选“指定数据库字段”的复选框,用于将维度表dim_time的字段与JavaScript 控件流中的字段进行匹配,如图所示。
映射匹配:勾选指定数据库字段,点击数据库字段,选择输入字段映射,进行映射匹配。
(4)保存运行
总共有86400条记录,执行时间可能较长,一定要耐心等待!!!
数据库中部分记录
4.3 加载员工数据至员工维度表
(1)操作介绍
通过Kettle工具加载员工数据至员工维度表dim_staff。
(2)打开kettle创建转换
(3)配置控件
表输入控件:双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据 库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。
注意:这里的数据库是sakila_dw数据库!!
在SQL框中编写SQL语句,用于获取字段staff_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_staff_last_update;单击“预览”按钮,查看临时字段max_dim_staff_last_update是否将默认值设置为“1970-01-01 00:00:00”,如图所示。
表输入2控件 :双击“表输入2”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。
注意:这里的数据库是sakila数据库,可通过新建来连接,连接名称记得不能和表输入控件的一样,否则会显示连接已存在。
在SQL框中编写SQL语句,用于获取sakila数据库中staff数据表中的最新数据,如图所示。
字段选择控件:双击“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“需要改变元数据的字段”处添加字段active,由于数据仓库sakila_dw中字段staff_active的数据类型为char类型,因此,我们需要将数据表staff中字段active的数据类型改为String类型,如图所示。
值映射控件:双击“值映射”控件,进入“值映射”界面,在“使用的字段名”处的下拉框选择字段active;在“字段值”框中,添加源值和目标值,这里是将Y替换成Yes,将N替换成No,如图所示。
维度查询/更新控件: 双击“维度查询/更新”控件,进入“维度查询/更新”界面,单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_staff;在“关键字”选项卡处添加关键字字段staff_id,用于指定维度表字段和值映射控件流中字段的比较条件,若维度表中的数据有更新,则通过字段staff_id进行更新操作;在“字段”选项卡处添加查询/更新字段,用于更新目标维度表中的字段数据;在“代理关键字段”处的下拉框中选择staff_key为代理关键字段,并指定“创建代理键”是使用自增字段;在“Version字段”处的下拉框中选择staff_version_number;在“Stream日期字段”处的下拉框中选择last_update;在“开始日期字段”处的下拉框中选择staff_valid_from;在“截止日期字段”处的下拉框中选择staff_valid_through,如下图所示。
注意:这次的的数据库连接是sakila_dw数据库!!!
(4)保存运行
通过navicat工具,查看数据表dim_staff是否已成功插入员工数据,查看结果如图所示。
4.4加载用户数据至用户维度表
(1)操作介绍
通过Kettle工具加载用户数据至用户维度表dim_customer。
(2)打开kettle,建立转换
转换1:
转换2:
注意:下面的转换在映射(子转换)控件中会用到,并且在4.5中也会用到,提前建立好,配置步骤我会在下面讲解。
(3)转换2控件配置
映射输入规范控件:双击“映射输入规范”控件,进入“Mapping input specification”界面,
并添加映射的字段“address_id”,该字段为传递的参数(由于转换load_dim_customer中表
输入2控件流获取的字段address_id,用于查询用户的地址信息,而后续数据仓库的维度表
数据也需要用户的地址信息,因此这里将字段address_id作为传递的参数),添加完毕后单
击【确定】按钮,完成“映射输入规范”控件的配置,如图所示。
数据库查询控件:双击进入控件,单击名右侧的【浏览】按钮,添加数据表address;
在“查询所需的关键字”框中,添加查询所需的关键字字段address_id,由于该字段是唯一的,
因此可作为数据表address中数据和映射输入规范控件流中数据的比较条件;在“查询表返回的
值”框中,添加查询表返回的值,如图所示。
数据库查询2控件:双击进入控件,单击名右侧的【浏览】按钮,添加数据表address;
在“查询所需的关键字”框中,添加查询所需的关键字字段address_id,由于该字段是唯一的,
因此可作为数据表address中数据和映射输入规范控件流中数据的比较条件;在“查询表返回的
值”框中,添加查询表返回的值,如图所示。
数据库查询3控件:双击进入控件,单击表名处的【浏览】按钮,添加数据表country;
在“查询所需的关键字”框中,添加查询所需的关键字字段country_id,用于指定字段流与表字
段的数据进行比较的比较条件;在“查询表返回的值”框中,添加查询表返回的值,如图所
示。
过滤记录控件:双击“过滤记录”控件,进入“过滤记录”配置界面,在“条件”处设置过滤的
条件,对有第二个地址的用户进行过滤操作;单击左边“<field>”框,弹出字段对话框,选择要
过滤的字段address2,如图所示。
JavaScript代码控件:双击“JavaScript代码”控件,进入“JavaScript代码”配置界面,
勾选“兼容模式?”处的复选框,使得JavaScript代码控件的兼容性更强;在Java Script代
码框中编写代码,如图所示。
字段选择控件:双击“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“移
除”处添加要移除的字段,如图所示。
(4)转换1控件配置
表输入控件:双击进入控件,在SQL框中编写用于获取字段customer_last_update中的
最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段
max_dim_customer_last_update;单击“预览”按钮,查看临时字段
max_dim_customer_last_update是否将默认值设置为“1970-01-01 00:00:00”,如图所示。
表输入2控件:双击进入控件配置界面,在SQL框中编写SQL语句,用于获取数据库
sakila中数据表customer中的最新数据,如图所示。
映射(子转换)控件:双击“映射”控件,进入“映射”界面,单击“映射转换”选项卡处的
【浏览】按钮,选择添加转换2(我演示选择的文件实际就是转换2,只不过我的名字不是转换
2),用于获 取用户的地址信息,如图所示。
字段选择控件:双击步骤1中的“字段选择”控件,进入“选择/改名值”界面,在“元数据”选
项卡的“需要改变元数据的字段”处添加字段active,由于数据表customer中字段active的类型
为tinyint,因此需要将字段active的类型改为String,与维度表dim_customer中字段
customer_active的类型相对应,如图所示。
值映射控件:双击步骤1中的“值映射”控件,进入“值映射”界面,在“使用的字段名”处的
下拉框选择字段active;在“字段值”框中,添加源值和目标值,由于数据表customer中字段 active的值为1和0,对应的是Y和N,这里将Y替换成Yes,将N替换成No,如图所示。
维度查询/更新”控件 :双击进入控件,单击目标表右侧的【浏览】按钮,选择输出的目
标表,即维度表dim_customer;在“关键字”选项卡处添加关键字字段customer_id,用于
指定维度表字段和流字段的比较条件;在“字段”选项卡处添加查询/更新字段;在“代理关键字
段”处的下拉框中选择customer_key为代理关键字段,并指定“创建代理键”是使用自增字
段;在“Version字段”处的下拉框中选择customer_version_number;在“Stream日期字段”
处的下拉框中选择last_update;在“开始日期字段”处的下拉框中选择
customer_valid_from;在“截止日期字段”处的下拉框中选择customer_valid_through,如图
所示。
(5)保存运行
只展示部分数据
4.5加载商店数据至商店维度表
(1)操作介绍
通过Kettle工具加载商店数据至商店维度表dim_store。
(2)打开kettle,建立转换
(3)配置控件
表输入控件:双击进入表输入控件,在SQL框中编写SQL语句,用于获取字段
store_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段
max_dim_store_last_update;单击“预览”按钮,查看临时字段max_dim_store_last_update是
否将默认值设置为“1970-01-01 00:00:00” ,如图所示。
表输入2控件:双击进入表输入2控件,在SQL框中编写SQL语句,用于获取sakila数据
库中store数据表中的最新数据,如图所示。
映射(子转换)控件:双击“映射”控件,进入“映射”界面,单击“映射转换”选项卡处的
【浏览】按钮,选择添加转换2(4.5步骤中的转换2,我起的名字和本文说的不一样),用于
获取用户的地址信息,如图所示。
数据库查询控件:双击进入控件配置界面,单击表名右侧的【浏览】按钮,添加staff数
据表,用于查询商店员工的信息;在“查询所需的关键字”框中,添加查询所需的关键字
staff_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的
值,即员工姓名,如图所示。
维度查询/更新控件:单击【浏览】按钮,选择输出的目标表,即维度表dim_store;在
“关键字”选项卡处添加关键字字段store_id,用于指定维度表字段和流字段的比较条件;在“字
段”选项卡处添加查询/更新字段,用于指定维度表字段store_id和流字段store_id数据一致需要
更新的字段,;在“代理关键字段”处的下拉框中选择store_key为代理关键字段,并指定“创建
代理键”是使用自增字段;在“Version字段”处的下拉框中选择store_version_number;在
“Stream日期字段”处的下拉框中选择last_update;在“开始日期字段”处的下拉框中选择
store_valid_from;在“截止日期字段”处的下拉框中选择store_valid_through,如图所示。
(4)保存运行
数据库中数据:
4.6 加载演员数据至演员维度表
(1)操作介绍
通过Kettle工具加载演员数据至演员维度表dim_actor。
(2)打开kettle,建立如下转换
(3)配置控件
表输入控件:双击进入控件,在SQL框中编写SQL语句,用于获取字段
actor_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段
max_dim_actor_last_update;单击“预览”按钮,查看临时字段max_dim_actor_last_update是
否将默认值设置为“1970-01-01 00:00:00”,如图所示。
表输入2控件:双击进入表输入2控件,在SQL框中编写SQL语句,用于获取数据库sakila
中数据表actor中的最新数据,如图所示。
插入/更新控件:单击目标表右侧的【浏览】按钮,弹出“数据库浏览器”窗口,选择目标
表,即维度表dim_actor,单击【获取字段】按钮,用来指定查询数据所需要的关键字,这里
选 择的是dim_actor数据表中的actor_id字段和输入流里面的actor_id字段;单击【获取和更
新字段】按钮,用来指定需要更新的字段,如图所示。
(4)保存运行
部分数据:
本篇文章并不完善,后期我会逐渐完善,请见谅!!!