XXXXXBI系统(一期)
技术方案建议书
二〇一二年九月十九日
目 录
1.2《XXXXXBI系统》 Cognos产品技术方案内容简介 - 5 -
2.3《XXXXXBI系统》Cognos产品技术建议 - 8 -
第三章《XXXXXBI系统》Cognos产品技术方案构架 - 9 -
3.1.2.2 Cognos8产品体系结构图: - 10 -
3.1.3 Cognos 8 BI产品数据流程示意图 - 13 -
3.2.4.1Cognos 主要功能模块结构示意图 - 18 -
3.2 Cognos BI总体解决方案的优势: - 32 -
3.2.2 强大的报表制作、部署和发布和管理功能 - 32 -
3.2.6大用户数和大数据量的数据访问分析能力 - 33 -
3.2.9报表中的分析:“分析 - 然后 - 查询” (Analysis- Then -Query™) - 34 -
4.1《XXXXXBI系统》 Cognos技术方案架构详细设计 - 34 -
《XXXXXBI系统》Cognos技术方案构成 - 34 -
4.2实施《XXXXXBI系统》要求的主要技术要点 - 50 -
Cognos能满足《XXXXXBI系统(一期)》的要求 - 51 -
5.2 Cognos技术方案在系统集成方面的优势 - 75 -
5.3 Cognos技术方案在应用过程中将带来的收益 - 76 -
5.3.4 系统的可扩展性为企业发展留出广阔空间 - 76 -
6.3.4.6 OLAP分析应用和关键指标管理开发 - 91 -
6.4 Cognos技术方案在方案实施上的优势 - 95 -
第一章 引言
1.1《XXXXXBI系统》建设思路
XXXXX构建了基于Oracle RAC环境下的J2EE报表应用系统,随着公司业务的不断增长、数据量不断攀升。对于满足财务公司的业务及时性需求,便于用户进行辅助决策支持,应用系统需要为不同角色、不同视角的用户提供不同条件的数据查询和数据分析,由于业务量的不断增加、原有的简单数据库连接SQL方式的查询无法满足复杂查询和需求变更带来的复杂度,因此针对现有系统环境,非常有必要进行整体数据库查询优化、报表设计方式优化,并基于优化成果进行符合财务公司业务发展的BI建设,其中包括数据集市报表系统、安全追溯系统、数据仓库平台系统、辅助决策支持系统、业务分析平台系统。根据当前情况,本文重点阐述BI建设中的主要模块和实现效果。
1.2《XXXXXBI系统》 Cognos产品技术方案内容简介
Cognos作为世界上最大、最成功的商业智能软件供应商。不仅其商业智能软件产品系列在技术上长期稳居领先地位,遥遥领先其他竞争者,同时Cognos提供数据仓库整体解决方案,在业界内也以高效、灵活、贴合业务需求、快速实现,高回报而著称。因此,“Cognos产品 + Cognos技术方案”作为项目实施的利器,能够最大限度的降低项目的实施风险,加速实施过程,并有力保证项目的成功。
本技术方案说明书主要围绕“Cognos产品+Cognos技术方案”进行介绍,结合XXXXX的企业特征和实际需求,采用Cognos技术方案为《XXXXXBI系统》给出技术和实施建议。
本解决方案将包括如下几部分内容:
第一部分 项目背景和初步需求分析
结合XXXXX具体的情况,进行项目的需求分析,并给出需求点、实施关键点和解决方案初步规划。
第二部分 Cognos技术方案技术构架
简要介绍Cognos技术方案的组成、模块功能、特征优势等等,提供一个总体的Cognos技术方案的轮廓。
第三部分 Cognos技术方案整体设计
结合Cognos产品和XXXXX具体的需求,构建《XXXXXBI系统》Cognos技术方案;在这部分中,我们将探讨Cognos技术方案整体体系结构的设计步骤,详细介绍其技术关键点,并给出Cognos技术方案在项目中部署模式建议。这部分侧重于解决方案的技术层面,可以为项目技术负责人、项目技术实施人员提供参考。
第四部分 Cognos技术方案的特点及优势
结合《XXXXXBI系统》的具体情况和实施特征,介绍Cognos技术方案的特点和优势,以及这些优势将为项目实施和今后的应用带来的帮助和收益。
第五部分 Cognos技术方案的实施过程
着眼于Cognos技术方案的实施过程,说明在实施过程中将会出现的问题和解决方法,在项目人员配置、项目进度、资源规划上给出建议,最后简要介绍了Cognos技术方案的一般开发流程。这部分侧重于解决方案的工程实施层面,可以为工程管理人员、项目规划人员提供参考。
第六部分 其它
介绍Cognos总体解决方案提供的培训和服务,平台配置以及Cognos产品和解决方案所获殊荣。
在本技术方案中,我们将尽最大的努力,为《XXXXXBI系统》提供一份满足需求、配置合理、具可操作性的Cognos技术方案,并结合我们以往的经验,提供项目实施过程参考。我们对Cognos产品的技术层次和Cognos技术方案的优势抱有相当信心,衷心希望能有机会与XXXXX进行合作,为《XXXXXBI系统》和企业信息化建设贡献我们的力量。但由于时间仓促,而且该项目尚未正式启动,我们还没有机会进行深入的需求调研和业务调研,因此我们对XXXXX项目的一些理解以及对企业的业务理解可能会有偏差,还望诸位行业专家给与指正和帮助,对此我们深表感激。
第二章《XXXXXBI系统》初步需求分析
这部分将结合XXXXX具体的情况,进行项目的需求分析,并给出需求点、实施关键点和技术方案初步规划。
2.1项目背景
2.1.1《XXXXXBI系统》建设背景
XXXXX集团综合数BI系统(一期)项目主要内容包括:
(1)集团公司本部数据规划
(2)集团公司本部共享数据库(包括管理数据库、实时数据库)系统建设
(3)业务数据采集
(4)商务智能分析和展示系统建设
(5)报表中心建设
(6)集团公司本部门户平台建设
本项目业务数据来源包括集团各业务系统,如财务、人力资源、基建、OA等,还涉及东风集团内部和外部三产公司等多家单位的生产和经营管理性数据。
2.2 初步需求分析
根据《XXXXXBI系统项目技术方案征集及软件产品询价书》中的内容,我们初步了解了《XXXXXBI系统》的功能,结合实施项目的经验,我们对项目的需求和问题进行初步分析。由于该项目尚未正式实施,我们还没有机会进行更加深入的需求调研和业务调研,因此如下这些分析可能与XXXXX的客观情况有所偏差。深入的需求分析还需在项目启动后,进行实际的客户访谈和调研等工作。
目前可能面临的问题:
l 数据不集中。XXXXX集团内部存在多个的业务系统,如财务、人力资源、基建、OA等。同时涉及东风集团内部和外部三产公司等多家单位。收集统计各类信息的效率低下,就需要对XXXXX集团整个企业的数据进行统一规划,形成统一的数据平台
l 没有专业的展现工具,难以实现报表的灵活设计和修改,以及为企业的管理决策提供高效路灵活的分析功能。需要灵活的数据前段展现功能,对企业数据进行全面的展现,将数据转换成信息和知识,更好的为企业决策服务。
2.3《XXXXXBI系统》Cognos产品技术建议
在上一节,我们对《XXXXXBI系统》进行了初步的需求分析。结合需求分析和我们累积的项目实施经验,现制定一个初步技术建议。
2.3.1 Cognos技术方案思路
针对《XXXXXBI系统》,Cognos技术方案能够很好的帮助XXXXX集团解决以前遇到的各种问题,构建起适应XXXXX集团整体需求,同时能够适应技术发展的综合数BI系统。
XXXXXBI系统cognos解决方案能够很好的帮助客户解决遇到的问题,并且提供很好的系统扩展性。
l XXXXX据库系Cognos解决方案为数据集中的结构,将XXXXX集团公司的各应用系统的数据,集中到集中数据库中,分别创建数据集市,使用共享维技术,实现维度共享。在以后逐步加入其他部门集市的时候,可以共享这些维度,最后形成统一的数据仓库。Cognos解决方案保证了XXXXX据库系项目的可扩展性,基于集中的数据,通过Cognos的OLAP服务,专业的报表和查询服务,以及指标管理为用户提供对企业信息的全面地探查。
l 在XXXXX据库系Cognos解决方案中,提供的ETL工具Cognos DataManager,能够把分散的数据集中到相应的数据集市中,确保了所有用户能够迅速访问一致性的数据,进行全企业的业务指标整体分析、报表制作和决策支持
l Cognos解决方案中提供专业的集中数据库,保证了对海量数据的访问效率,提供的专业的OLAP Server提供了大数据量大用户访问下秒级响应。使XXXXX集团公司的各种报表,分析等前应用摆脱访问效率的困扰。
l 在XXXXX据库系Cognos解决方案中,提供了业内领先的分析,查询和报表工具,提供了丰富的报表定制和展现功能,能够满足客户所需要的任何复杂报表、动态报表、查询以及OLAP分析的需求,特别是能够快速实现有中国特色的非平衡报表,报表完全实现自动化,极大提升工作效率
l Cognos解决方案“分析 - 然后 - 查询” (Analyze- Then -Query™)的分析方法,充分适应用户从宏观到微观的决策思路。能够帮助为审计部门准确得从海量数据中定位异常数据
l XXXXX集团综合数BI系统Cognos解决方案提供基于LDAP的安全管理机制。统一系统各个模块的安全模块,提供了统一的安全管理平台,保证系统的数据安全性
第三章《XXXXXBI系统》Cognos产品技术方案构架
这部分从产品的角度简要介绍Cognos产品及其解决方案的组成、模块功能、特征优势等等,给XXXXX集团用户提供一个总体的Cognos技术方案的技术轮廓。Cognos作为业界领先、全面、成熟的解决方案,能够高质量的实现《XXXXXBI系统》相关功能需求,其灵活性又能保证解决方案不仅能应用在现阶段的项目中,还能够随着应用规模的扩大而进行动态适配。下面我们就详细介绍Cognos产品技术方案,并将介绍组成该解决方案的各环节的产品:
3.1Cognos 产品介绍
Cognos 8在一个产品中,一种Web构架上,基于企业所有数据源,面向所有用户提供完整的信息处理与展现功能,包括了即席分析功能,查询功能,报表功能,仪表盘功能,事件管理功能以及BI管理等各种BI功能。
3.1.1Cognos产品体系结构:
Cognos 8 采用SOA构架,统一了Web应用构架,统一了元数据,能够访问企业的所有数据源,为企业所有用户提供了基于纯浏览器的全面的BI功能。
3.1.2 Cognos8产品体系结构图:
Cognos 8结构在逻辑上分了多层,包括了:浏览器层,Web Server层,应用服务层,数据层。
Cognos 8结构在逻辑上分了多层,包括了:
浏览器层,Web Server层,应用服务层,数据层。
浏览器层
浏览器层是面向用户的, Cognos提供了完全基于浏览器的纯浏览器界面,包括了Cognos Connection、Analysis Studio, Query Studio、Report Studio,Metrics Studio, Report Viewer和其他应用,即使是复杂报表制作和动态查询也不需要插件,用户可以直接在浏览器中鼠标托拽实现各种功能。
这一层还包括其他系统对Cognos 8中服务和内容的调用。如其它商业化门户,或者ASP、JSP页面,也可以是VB、.net、JAVA等各种语言编写的客户端等。
用户也可以通过Cognos 的Office Connection直接通过Office EXCEL, Word, PowerPoint等工具访问各种报表,将内容进行发布共享。
Web Server层
Web Server层中包含了Cognos 8的Gateway. Gateway是对Web Server的扩展,负责将浏览器层的请求传递到下一层(应用服务层),也负责将应用服务层的结果交给浏览器层。Cognos 支持的Web Server包括Apache ,IBM HTTP Server,Sun ONE Web Server,IIS等各种Web Server。
应用服务器层
应用服务器层包括了Cognos 完成用户请求的各种服务(dispatcher,报表,查询,分析,事件管理、Content Manager等)。
Cognos支持的应用服务器包括:Weblogic ,Websphere, Oracle AS,SAP NWAS,SAP J2EE Engine,Tomcat等各种应用服务器。
Dispatcher
Cognos 8服务中的分发模块,同时Dispatcher 管理着相关的各种服务,从web server来的请求首先传递到它,如果有多台服务器负载均衡,那么由它确定由哪台服务器来负责完成请求,实现多台服务器的智能负载均衡功能。当请求已经确定在某台机器上运行之后,请求就被传递给相应的报表模块。每台Cognos应用服务上都有一个dispatcher,当dispatcher启动的时候,会在Content Manager中注册。这样系统中所有服务器上的Dispatcher都可以相互知道。当其中一个Dispatcher无效了,那么提交给他的请求会被路由到其他的Dispatcher。
报表,查询,分析等模块
报表,查询,分析等模块分别为不同类型的请求提供服务。负责根据请求从数据库中查询数据。结合通过从Content Manager中得到的元数据,权限等信息生成对应的结果。
事件服务模块
事件服务模块对系统进行监控。通过对事件条件的监控,自动的进行任务的处理。如通过门户新闻、EMAIL等方式对用户进行提醒。
Content Manager模块
Content Manager为Cognos 的各种服务提供了对Cognos内容库的管理和查询服务,Content Manager管理包括报表的模板,元数据信息,调度信息等,报表静态结果,个人个性化信息。
数据层
数据源
这一层是后续所有步骤的数据来源,数据库层包括了用户的数据,以及系统相关信息的数据。系统相关信息存放在关系型数据库中。用户数据源可以是Oracle、DB2、Informix、Sybase、Sql Server等大型关系型数据库,也可以是Access、dBase等桌面型数据库或平面文件;可以是未经ETL处理的业务数据库,也可以是经过ETL处理后的数据集市,可以是通过转换之后的按主题的多维立方体,多维数据库。可以根据项目需要,综合效率、存储空间、硬件条件等条件进行灵活配置。Cognos同时支持MOLAP,ROLAP以及DB。所有数据源都利用FrameWork Manager制作元数据的业务视图,供应用使用。
3.1.3 Cognos 8 BI产品数据流程示意图
通过ETL工具,可以将各个应用系统的数据,文本文件等数据进行抽取,清洗,然后加载到一个集中的数据库中,形成主题的星型结构数据集市,不同主题之间通过共享维度的方式形成数据仓库.数据库/数据仓库中的内容通过Cognos 元数据模型描述。将数据库结构描述成业务的结构,然后将元数据发布到Cognos 服务器上。同时Cognos 的OLAP转换工具通过元数据描述可以将数据库中数据按照业务主题的角度,指标等因素,转换成文件型的多维立方体。这些多维立方体也作为数据源,通过元数据模型进行描述,发布到Cognos 服务器上。
用户通过浏览器访问发布在门户上的查询,分析,报表,绩效管理等各种应用。
3.1.4 Cognos 产品主要优势
Cognos 作为全球第一个第三代的BI产品,相比较于其他的第二代的BI产品,就有明显的优势
3.1.4.1完全可扩展的体系结构
Cognos作为全球第一个第三代的BI产品,采用了SOA的体系构架,通过统一的服务,在统一构架下为用户提供了完整的BI功能,整个系统分为清晰的层结构。
数据层:Cognos产品在数据能能够支持跨数据源的多数据源访问。支持的数据源包括各种关系型数据库,各种OLAP Server,各种平面文件等,能够根据系统应用的需要灵活扩展。当系统集中数据库还没有建立起来或者部分数据还没有抽取到集中数据库中是,能够同时访问集中数据库和各应用系统。Cognos对数据源的支持具有很好的扩展性。
元数据层:Cognos 产品所有应用功能采用统一的元数据模型访问数据,能够根据数据源的增加,进行统一的扩展。
应用服务层:Cognos产品通过一个服务提供所有的BI功能,Cognos产品统一了服务,将不同的功能如报表,查询,分析,事件管理,关键指标管理等各种服务分为不同的模块,这些模块可以根据需要任意搭建,通过统一的查询引擎,统一的元数据访问数据源,统一安全性,统一权限控制。通过Cognos的BI BUS技术,实现各个模块之间的信息和数据共享。可以灵活的增加服务。而不需要改变结构。
门户层:Cognos所有产品都通过统一的门户发布,同时Cognos门户采用Portlet技术,能够和任意的应用和门户实现双向集成。
第二代的BI工具采用难以扩展的烟囱状结构,将报表,分析等功能是以不同的产品,不同的服务分开,不同产品有不同的资料库,不同的模型,不同的用户管理,不同的权限控制。比如报表有报表的数据源,元数据,权限控制,应用服务;分析又有自己的数据源,元数据,权限管理;不同的功能之间就像不同的烟囱,很难实现共享。只是通过在门户实现集成。第二代的BI产品实际上就是不同功能产品的拚凑。往往相同的工作需要在不同的工作中重复完成,例如后台系统结构改变,就需要在报表产品,分析产品中分别修改元数据。实际上第二代的BI产品从其结构上就制约了系统的灵活扩展。需要大量的系统集成和维护的工作量还难以保证系统的准确性。
第三代和第二代BI产品结构比较图
Cognos 作为全球唯一一个第三代的BI产品其产品具有领先其他第二代产品的广度和深度。
Cognos产品为用户提供了真正意义上的从端对端的解决方案,不管是普通用户,还是制作人员甚至管理员都可以直接在没有插件,没有Applet的纯浏览器中通过鼠标拖拽就能够进行从简单到复杂的报表制作,查询,分析等各种功能。并且这些功能几乎涵盖用户的所有需求。
在Cognos产品中用户直接在浏览器中通过鼠标拖拽就能够方便的完成中国式的非平衡表头报表,能够支持保留报表格式的报表格式的上钻下钻,直接鼠标拖拽就能完成地图报表,允许用户在地图上钻取,地图和数据的关联。支持将表格,图形,地图,声音,视频等各种信息直接通过鼠标拖拽形成多媒体的报表报告。Cognos还具有专利的“分析-然后-查询”功能,使用户能够在不同主题之间相互钻取,从主题钻取到关系型数据库,关系型数据库之间钻取,能够将企业的所有信息有机的关联在一起,适应用户从宏观到微观的信息探查要求,所有这些功能都不需要编写代码。这些功能都充分体现了Cognos产品的在实现端对端解决方案时的产品实现的深度。
当用户的需求改变,只需要在浏览器上通过鼠标拖拽既可以方便的适应用户需求的变化。
Cognos 产品的广度和深度能够大大缩短系统开发的周期,减少系统维护和修改的成本。能够满足企业所有用户的需求。
其他的第二代的BI产品虽然也能提供报表,分析等功能,但是却没有足够的广度和深度,往往对于一些简单的报表,分析等功能,用户通过工具实现。只要遇到稍微复杂的报表就需要编写代码,比如常见的中国式非平衡表头报表,地图报表,报表的上钻下钻,穿透钻取等大量非常实用的功能。从而难以形成端对端的解决方案,实现系统的周期长,同时当用户的需求改变,由需要大量的人力,物力再重新编写程序。
Cognos作为全球唯一一个第三代的BI产品,采用了SOA的体系构架,所有处理,安全性等都控制在服务器上,用户端不需要任何的客户端,插件或Applet。而其他的第二代BI产品往往需要客户端安装客户端,插件或Applet.
完全纯浏览器方式和插件方式对比如下:
| 客户端插件 | 纯浏览器方式 | |
安全性 | 防火墙 | 防火墙需要开放端口,安全级别低 | 无需防火墙开放特殊端口,安全级别高 |
黑客攻击 | 机制上不可避免插件漏洞,黑客攻击 | 从机制上避免漏洞和黑客攻击 | |
冲突 | 和其他浏览器插件冲突,导致插件不能安装, | 不存在冲突问题 | |
数据安全性 | 数据从服务器上下载到插件中处理,数据脱离服务器,没有安全性 | 服务器集中处理,数据安全 | |
网络 | 带宽占用 | 大量明细数据从服务器下载到插件中,用户并发造成网络阻塞 | 网络上只传输结果,网络带宽占用小,能够使应Internet应用 |
维护 | 环境适应性 | 理论上不需要维护,实际使用中需要针对用户的不同使用环境进行维护 | 真正零安装,零维护 |
Cognos作为全球领先的BI产品提供商,其产品提供了专业的OLAP Server。而很多第二代的BI产品并不具有真正的OLAP Server
Cognos 通过专业的OLAP Server 大大提高了用户在大数据量,大用户数应用环境中进行多角度,多指标分析的效率,以及基于OLAP Server生成报表的效率。能够实现用户请求的秒级响应。同时Cognos OLAP Server和其他产品构成非常完整的解决方案,统一元数据,统一安全性,统一门户。Cognos OLAP Server还具有高压缩比,支持虚拟Cube技术。能够大大提高系统的整体效率。
而很多第二代的BI产品往往并不具有真正的OLAP Server,这些产品往往将用户的OLAP操作转换成数据库SQL语句,由数据库通过Group,Sum等操作得到结果,效率低下,不能支持大量用户并发。或者在数据库中建立中间表,有时甚至需要按照用户的最终结果表样生成中间表。这样又造成数据库中中间表数量急剧膨胀。很难管理和维护。并且难以保证数据的一致性。中间表中数据的生成还是靠数据库SQL进行Group,SUM得到,效率低下。或者实现和第三方OLAP Server的连接,这时候又存在不同产品需要相互集成,如果实现用户,权限的同步,如何进行门户集成,并且不同的产品之间甚至构架都不同,功能不配套,还大大增加了用户学习使用的难度。增加了项目的整体成本。
3.1.4.5 负载均衡
Cognos作为第三代BI产品,是为企业级应用精心设计的,具有良好的可扩展性能,其服务器本身就具有智能的负载均衡功能,能根据实际使用情况对各个的模块进行负载,满足企业级大用户数并发访问的要求,需要加入一台新的服务器,通过简单的注册就能加入到整个扩展环境中参与负载;并且支持NT、UNIX及LINUX混和环境的负载均衡,能最大限度的利用现有资源保护已有投资。能够适应用户应用的扩展。
而很多第二代的BI产品本身并没有负载均衡功能,职能依靠硬件,操作系统或Web Server提供的负载均衡功能,不能实现跨平台的负载均衡,难以适应用户应用的扩展。
3.2.4Cognos 产品主要功能模块
模块名称 | 模块功能 |
Cognos FrameWork Manager | Cognos产品统一的元数据模型设计和管理工具 |
Cognos Report Studio | Cognos报表工具 |
Cognos Query Studio | Cognos 即席查询工具 |
Cognos Analysis Studio | Cognos OLAP 分析工具 |
Cognos Metric Studio | Cognos 绩效管理工具 |
Cognos Connection | Cognos产品统一的发布门户 |
Cognos OLAP Modeling | Cognos OLAP Server |
Cognos Data Manager | Cognos数据管理工具 |
3.2.5.1 Cognos FrameWork Manager:
Cognos FrameWork Manager是一个专门的统一的元数据模型设计工具。实际上也是应用和数据库之间的语义层,他封装数据库底层表和字段,建立表连接,为后续开发人员和最终用户提供一个贴合业务术语的数据库结构视图。在元数据模型中可以对已有的数据库结构进行描述,加入各种计算字段,绑定数据的过滤器等,同时可以采用动态SQL,使查询的语句根据不同的条件和情况灵活的适应数据库结构。他可以连接多个数据源,能够连接OLAP,DB等各种数据源。提供对元数据的定制和管理以及安全性控制等相关控制。可直接使用各种标准工具制作的元数据模型。Cognos 元数据符合CWM标准,能够和各种工具实现元数据的交换。
OLAP Modeling是Cognos提供的企业级OLAP服务器,它将从各类数据源(数据库、数据仓库、平面文件)中精心筛选出来的“黄金”数据创建成称为PowerCubes的多维数据立方体。立方体是按探察业务的OLAP多维因素分析模型的设计创建,通过对多维数据立方体的OLAP分析,用户可以辨明趋势、跟踪业务运作、创建高效的统计汇总报表。
Cognos OLAP Modeling具有极高的存储效率和响应速度,完全脱离了关系型数据库在性能和存储空间效率上的羁绊,保证用户在访问数据时达到秒级的响应速度。
Cognos OLAP Modeling支持异构数据源访问,能够适应用户从简单到复杂的应用数据环境,支持虚拟Cube技术 (可按时间生成不同的子Cube,可针对单个子Cube进行增量更新,通过虚拟Cube访问多个子Cube,支持虚拟Cube的各子Cube维度不同,以适应变化)。Cognos OLAP Modeling生成的Cube为压缩方式,通常为原始数据占用空间的十分之一甚至更小。同时具有足够的灵活性,支持手工自定义层次和节点,支持维度中不同层次节点之间的计算,支持指标层次灵活设计.不仅如此,Cognos 的OLAP 模型设计具有简易的界面,开发人员只需要在友好的图形化界面中通过鼠标托拽就能实现各种OLAP模型的设计,不需要编写程序。
通过企业级的OLAP Server, Cognos 能够为用户提供高效,灵活的分析和报表。确保企业及应用的高效性。
Cognos BI OLAP Modeling特点
友好的开发界面
高速的多维立方体创建
支持时间分区的虚拟Cube技术
支持增量更新
支持全方位的权限控制
异构数据源处理能力
高数据压缩比
Report Studio 是专业的报表展现工具。报表制作人员可以通过他制作各种类型的报表,制作报表时不仅能够连接数据库,还能连接MOLAP以及ROLAP,能够同时连接数据库,MOLAP以及ROLAP数据源。用户直接通过在没有插件,没有Applet的纯浏览器界面中鼠标托拽就可以实现各种列表,交叉表,图表,分段报表,主从报表等各种常用报表,以及中国特色的非平衡报表,动态仪表盘,KPI报表等各种高级报表报告。报表可以分页面设计,每页可以有多个查询,每个查询可以连接多个数据源,甚至异构数据源。报表的内容采用的是化繁为简的方式,可以精确控制报表中每一个对象的各种属性。可以通过鼠标拖拽方式将包括声音,视频,图形,表格,文字,关系型数据库内容,OLAP等任何有用的信息集成在报表中。还可以方便实现报表数据和GIS地图数据的无缝集成。报表布局可以精确控制和排版,支持所见即所得的打印。报表设计好之后可以批量生成,也可以通过用户交互条件生成,甚至基于时间以及事件等进行调度,也可以通过Email等方式主动推送给用户。同时采用直接保存即发布的方式,大大简化了报表的发布和管理。
Cognos Report Studio的强大功能能够涵盖XXXXX集团的各种报表报告需求。
Query Studio 模块是最终用户的即席查询前端展现,他将经过业务化处理的元数据提供给最终用户,最终用户只需要通过简单的鼠标托拽的方式就可以实现对数据的灵活的查询。用户可以方便的对查询的内容,计算,过滤,格式等进行自助的定制。并且可以将查询的定义和结果通过点击鼠标实现发布,与其他用户进行共享。也可以将结果所见即所得的生成Excel,PDF,CSV等格式的结果。
3.2.5.5 Cognos Analysis Studio
Analysis Studio是面向最终用户的多维分析展现,进行方便的多维度,多层次,多指标的分析。用户只需要在Web界面中通过简单的鼠标拖拽等操作,就可以进行各种OLAP分析,如上钻,下钻,切片,旋转,切块等,另外,Cognos Analysis Studio可以同时支持MOLAP和ROLAP,支持图表一起展现和图表联动,支持柱图,饼图,折线图,堆积图,面积图,散点图等各种二维、三维图形,支持用户自定义子集功能, 支持同比,环比,百分比等各种比例分析,支持TOP N/ Bottom N 分析,支持2/8分析,支持压缩零。支持排名排序功能,支持维度中不同粒度的混合分析,支持不同维度的非平衡混合分析,支持不同层次维度节点之间的计算,支持用户在纯浏览器界面上进行各种OLAP分析,不需要安装插件,不使用Applet,确保数据安全性,支持用户使用简单的拖拽的方式进行多角度分析,支持从Cube和Cube信息之间的钻取支持Cube和关系型数据库信息之间的钻取,支持将分析结果导出EXCEL, PDF等各种格式,采用保存即发布的方式,不需要另外的发布工具它能够让系统中的每一位用户都能够轻松自如地访问对应权限的数据,从而更有效地管理其业务,作出正确决策。
Metrics Studio是面向用户的绩效管理工具,他通过简洁易懂的图形使用户一目了然地知道同类指标之间的影响关系,以及不同方面指标之间的影响关系等,使用户能够迅速的了解企业的整体运作情况,为企业运作的改进提供强有力的决策依据。当用户在看到指标的宏观情况的时候,用户可以马上打开和该指标相关的报表和多维分析,从而知道该指标相关的明细信息和从各个业务角度来对该指标进行分析,从而使用户的决策逐步深入。
Cognos Metrics Studio针对关键指标的应用都为用户提供了简洁的自定义界面,用户可以很方便的设置自己关心的监控指标,自定义新的指标,输入计划值、同业对比情况等各种自定义功能。他为用户提供了企业不同指标之间的横向关联信息,同一指标的纵向分析信息。使用户能够对整个企业的情况全方位了解。是企业用户进行指标跟踪,改进企业运作,辅助决策的强大武器。
Cognos Connection是Cognos 门户,提供信息的集成和用户访问的统一入口。管理员可以通过他实现用户、角色管理,服务器配置,权限控制等各种管理功能;最终用户可以通过Cognos Connection 访问到文件夹、报表、个性化展现、访问Query Studio、Report Studio、Analysis Studio, Metrics Studio, Report Viewer和集成到Cognos Connection中的其他内容。同时Cognos Connection采用 Portlet技术,用户能够方便的进行个性化页面的定制,轻易的组织出My Page,还能够和IBM WebSphere,Plumtree,SAP Enterprise 等各种商业化门户以及用户的已有各种网页进行集成。在集成的时候可以将Cognos的内容发布到其他门户中,也可以将其他门户中的内容发布到Cognos门户中。
Cognos DataManager是个数据抽取、整合、传输、加载的(ETL)工具。它对所有的数据源提供唯一地点来定义元数据和业务规则,定义描述用户业务特征的信息目录,创建数据集市或数据仓库,形成数据中心。通过有效的单结构模型,实现了多种异构数据源、多数据源或多个应用的元数据定义。Cognos DataManager主要提供数据转换、传输和加载服务,它能快速生成BI应用的信息目录,以及面向主题的数据集市。这种数据集市既可是关系型的数据库表也可是多维数据结构存储的数据立方体—OLAP数据源。这些数据将是信息系统用户在网上做数据访问分析的基础数据。它确保了所有用户能够迅速访问一致性的数据,进行全企业的业务指标整体分析、报表制作和决策支持。
用来自任何普通关系型格式、ERP数据源、平面文件格式的数据或者可以通过ODBC(开放数据库连接)应用协议接口访问的数据。基于DataManager的数据集成性,该软件可以采用各种格式提供数据结果,例如维度框架、关系型表格等,用户还可以将数据从一个环境移动复制到另一个环境。
强大并且易于使用
DataManager可以简化IT部门的数据抽取、转换和加载工作。DataManager使用单一的界面,该界面具有用来架构数据仓库的生动的构造流程(build)图形,可以让穿透钻取关系更加清晰直观,使属性的显示和修改更加方便。自动化向导可以帮助开发人员分步骤的创建一个维度构造流程(dimension build)或事实构造流程(fact build)以及众多的转换函数。自动化的维度管理过程和支持汇总和合并的强大引擎可以简化IT的工作,为IT工作提供支持。
维度框架结构
成功的数据仓库项目建立在维度框架结构基础之上。维度设计可以消除在数据集市或数据仓库环境的设计、实施和维护过程中最常见也是最重要的困难。
跨部门、流程和业务领域的共享或一致维度的使用意味着可以将分布式数据源集成到一个一致的企业级视图中。为了实现这个目的,DataManager会将公共描述符(descriptor)组织成维度表并将事实内容组织成事实表。
DataManager引擎的中心是一个维度框架结构,它可以将一致的主题型数据集市组织成一个完整企业数据仓库的一部分。DataManager可以让用户访问一致的业务指标,进行协作式的业务决策。DecisonStream和其它Cognos BI服务共同构成了端对端的解决方案,可以提供一个公共、一致的数据视图,让用户进行更加快速、更有自信的决策。
维度框架结构给企业带来的好处如下:
l 可以根据客户、时间和地区等特定业务维度构造数据并验证其完整性,支持业务用户的思考方式。
l 所有数据转换作业均使用相同的维度框架结构,可以在企业数据仓库范围内形成一致的企业信息视图。
l 提供一个中央位置更新维度定义。
l 根据维度层次对事务数据进行汇总。
l 自动对与数据仓库维度表的创建和管理相关的复杂流程进行管理。这些流程包括代理和维度历史管理,支持渐变维度和有效的日期时间戳。
主要特点
迟到事实(late arriving facts)和维度历史
DataManager对迟到事实和维度历史的加载提供完全自动化的支持。使用迟到事实功能,DataManager可以扩展对渐变维度的支持。通过实现这些功能的自动化,DataManager显示了其在能够提供完整业务智能解决方案的数据整合工具领域内的领导地位。
管道式的转换引擎
DataManager的转换引擎工作在现有数据体系结构环境中,可以将大量的事务数据转换为面向BI的事实基础。这种转换引擎或者说是数据管道,可以提供在单个通道中读取能够提供多层汇总、引用完整性(referential integrity)和元数据成分的数据。使用最少的硬件投资即可得到尽可能高的吞吐量。
高级多开发者环境
DataManager可以和源控制系统相互集成、在不同环境中共享组件和执行组件效果分析。与源控制系统功能的继承可以让用户在进行开发时锁定组件。用户可以保留一个组件或信息目录的多个版本,确定使用特定组件的地方。这种功能允许小公司使用最少的源代码控制,允许大型企业实施严格的开发准则。所有这些功能都可以使用易于使用的DataManager图形界面来实现。
在数据集成阶段有很多事件。这些事件包括目标表的交付、对现有业务规则模块的调用、报表启动、邮件通知和数据库索引重建等。这些事件都在一个拖放式图形调色板中进行设计,从中可以生成一套协调的叫做JobStream的命令。一个JobStream可以含有多个任务,它允许以并行或连续方式执行命令。条件型事件可以根据存在的被拒记录、一周中的特定一天或者流程中所碰到的错误等情况对处理路径进行控制。
DataManager中特有的JobStream窗口能够以图形化方式对ETL过程的所有步骤进行调度和控制。
原型设计和部署
DataManager的图形设计界面可以让用户对数据仓库解决方案进行原型设计并对它们进行快速部署,它提供了:
l 用于JobStream行为、构造流程(build process)、数据源和目标映射以及星型模式中的事实和维度表星型连接的图形报表。
l 提供了一个参考探察器(reference explorer)对维度框架结构中的业务规则进行原型设计并对它们进行验证。
l 提供了一个集成式SQL浏览器对查询进行交互式的编辑和测试。
l 能够对组件进行打包并轻松的将它们从一个环境转移到另一个环境。
l 在相同的环境中对正在开发的函数和脚本进行测试。
l 自动生成用于创建表和索引的数据定义语言(DDL)。
DataManager完全自动化的维度管理功能包括检查渐变属性的属性、给业务主键设置代理以及诸如有效日期和当前指标等自动化属性。
自动化维度管理
DataManager独特的维度框架结构无需编程就可以实现维度模型交付工作的自动化。可以实现自动化的作业和领域包括:
l 生成和管理代理主键和事实表
l 渐变维度
l 迟到事实的到达
l 维度历史加载过程
DataManager的图形设计环境可以显示一个构造流程(build)的数据流,允许直接访问构造流程对象属性,这样就可以进行快速的原型设计和部署。
公共业务智能框架结构
完整的集成性
DataManager是Cognos业界领先的端对端BI解决方案的综合集成组件。DataManager能够将数据转换并加载到数据集市中,对业务模型和报表进行部署,缩短BI项目的部署时间。作为Cognos综合BI解决方案的一部分,DataManager:
l 可以创建默Cognos其他相关产品模型、信息目录和关键报表。
l 可以从维度框架结构创建默认分析模型,协调Cognos OLAP Server作业来创建和刷新Cube数据源。
共享元数据
Cognos提供了一个集中位置创建和管理所有的BI元数据和业务规则。单一的元数据模型可以横跨所有企业数据源和BI应用程序,可以在整个企业范围内提供准确、一致的数据视图。
集中管理
可以使用一个集中控制台进行方便的应用开发和管理。集中管理可以给IT提供所需的所有功能,支持和维护整个业务智能应用。
3.2 Cognos BI总体解决方案的优势:
3.2.1异构数据源整合能力
Cognos 解决方案充分考虑了对异构数据源得整合能力,可以同时连接多个异构数据源,从中提取数据并按照业务模式进行整合,构建企业级数据仓库。Cognos对异构数据源的整合能力,给用户带来了前所未有的全景数据视图,以往在业务上相互独立的数据库现在都可以被融合在一起进行分析,全面的数据探查使决策者能够发现影响企业运营的深层次因素,并作出正确决策。
Cognos解决方案对异构数据源的整个并非单纯的数据叠加,而是提供了数据清洗和转换功能,并将零散的数据以维度-事实的结构组织起来,在整合异构数据的同时构建数据仓库,缩短了数据仓库项目实施的周期。
3.2.2 强大的报表制作、部署和发布和管理功能
利用Cognos报表的Web发布管理服务器,灵活的部署能力和负载均衡,发布成百上千份的报表。用户能够非常方便的制作报表,自动在Web 上发布报表。企业内部和外部的所有类型用户无需经过培训都可以通过Web访问、察看、打印报表。
3.2.3 丰富的展现类型:
Cognos技术方案中提供强大的报表制作功能,所以能满足上千用户在各自的桌面或远程访问所需的各种报表需求。可以将包括声音,视频,图形,表格,文字,关系型数据库内容,OLAP等任何有用的信息集成在报表中,同时这些内容还可以和查询相关联,使报表的内容声色并茂,内容饱满,充实。可以很方便的制作KPI,仪表盘等各种高级报表
3.2.4 优异的可扩展性
Cognos技术方案具有非常优异的可扩展性。其服务组件, Cognos OLAP Server,Cognos前端展现等软件都提供了良好的可扩展性。使得XXXXX集团在增加新的应用、用户和数据时,在整个解决方案的各个层次,都能通过线形的扩展适应变化,不会存在瓶颈。可以大大保护原有投资降低企业部署的总体成本。
3.2.5 优异的容错能力和稳定性
Cognos技术方案具有非常优异的容错能力和稳定性。Cognos OLAP 分析,Cognos报表展现等服务都提供了智能的负载均衡和容错功能。整个系统可以为用户提供7*24的稳定高效的服务。
3.2.6大用户数和大数据量的数据访问分析能力
Cognos 解决方案具有处理大用户数和大数据量的数据访问分析能力,性能稳定,承载能力杰出。Cognos企业级OLAP服务器,能处理TB级的海量数据,并保证最终结果在存储结构、访问速度上的高效率;Cognos服务能将PowerCubes和报表在Web上分布、管理,它的负载均衡、服务器容错等特性可以完美地支持大用户数和大数据量的访问,无论是一个用户还是上千个用户都能轻松应付;同时Cognos提供了高效报表制作、即席查询工具, 采用了多线程支持、高效率的处理流程和优化的查询结构,高效的智能缓冲,能够高效地响应对用户的分析,报表和查询的请求。
3.2.7 快速的数据访问分析能力
Cognos技术方案中Cognos OLAP Server的使用,可为用户的分析和报表请求提供秒级响应。
3.2.8 良好的安全性
Cognos技术方案中采用集中方式、基于LDAP的安全管理机制。同时提供了开放接口,实现和企业已有的安全性集成。以工业标准LDAP目录服务的方式进行用户安全性管理,能与其他安全性产品和应用集成使用。可以提供模块、报表、数据等各个层次的安全性和权限控制。
3.2.9报表中的分析:“分析 - 然后 - 查询” (Analysis- Then -Query™)
Cognos技术方案中采用了Analysis– Then – Query 的数据访问方式使用户能够以所想的方法去探察业务数据 —— 先分析汇总信息,然后再查看隐藏的细节。Cognos通过统一的查询引擎,访问将分析主题与数据库,Cognos为报表和查询中的细节数据之间搭建了通畅的桥梁,用户仅需一次鼠标点击,便可由宏观视图钻取到微观细节。同时由于是带条件查询,查询出的结果一定是和钻取的数据相关的最小集合。最大限度提高了系统整体性能。
第四章 方案详细设计
这部分将结合具体的需求,构建XXXXXBI系统(一期)Cognos技术方案;在这部分中,我们将探讨Cognos技术方案整体体系结构的设计步骤,详细介绍其技术关键点。这部分侧重于解决方案的技术层面,可以为项目技术负责人、项目技术实施人员提供参考。
4.1《XXXXXBI系统》 Cognos技术方案架构详细设计
本节我们将从技术的角度对《XXXXXBI系统》Cognos技术方案进行架构设计,但这些架构设计还是比较简单的,《XXXXXBI系统》的详细架构设计必需对XXXXX集团的各种系统进行进一步的了解。我们在设计过程中以对XXXXX系统需求的初步分析为基准,结合了自己的经验,给出合理、可行、可扩充的方案。
《XXXXXBI系统》Cognos技术方案构成
这部分从整体上说明《XXXXXBI系统》Cognos技术方案构成情况并说明使用的Cognos产品。
项目整体构架
本节我们将从技术的角度对XXXXX集团综合数BI系统Cognos解决方案进行架构设计,但这些架构设计还是比较简单的,XXXXX集团综合数BI系统的详细架构设计必需对XXXXX集团各种信息系统进行进一步的了解。我们在设计过程中以对XXXXX集团综合数BI系统需求的初步分析为基准,结合了自己的经验,给出合理、可行、可扩充的方案。
XXXXX集团综合数BI系统主要由数据源、集中数BI系统、前端应用系统、元数据管理系统和安全性控制系统几个部分组成,我们初步规划一下系统逻辑结构,如下图所示:
Cognos解决方案针对如上数BI系统逻辑结构提供相应的产品模块,如下表所示:
功能 | 产品 | |
门户 | Cognos门户,也可使用其它门户 | |
前端展现 | 报表与查询 | Cognos Query Studio & Report Studio |
OLAP 分析 | Cognos Analysis Studio | |
OLAP服务器 | Cognos OLAP Modeling | |
元数据模型设计 | Cognos FrameWork Manager | |
ETL 工具 | Cognos DataManager | |
数据存储 | NCR Teradata, IBM DB2, Oracle, Microsoft SQL Server等 |
系统整体构架分为数据层,模型层,应用服务器层,以及浏览器门户层。
《XXXXXBI系统(一期)》Cognos技术方案整体技术方案整体架构示意图(其中关键指标管理服务和SDK为可选):
数据层:
业务数据层是XXXXX集团中与综合数BI系统相关的各个业务系统数据库以及文本文件。首先,Cognos支持多数据源访问,可以同时直接连接和访问各种业务数据库以及文本文件,也可以通过ETL工具将各业务数据库和文本文件中数据进行整合清洗形成整合数据库;同时业务系统数据库,文本文件,整合数据库通过元数据模型描述之后,也可以通过OLAP 模型按主题形成Cube。
模型层:
模型层包含了元数据模型和OLAP 模型。数据层的各个业务系统数据库,文本文件,整合数据库,以及Cube等数据源可以通过统一的元数据模型进行描述,从而为应用提供统一一致的业务视图。能够实现系统数据源的灵活扩展。模型层的OLAP模型可以通过元数据模型访问各业务系统数据,文本文件以及整合数据库,生成Cube。
应用服务器层
应用服务器层中包含了Cognos的各种应用服务,他基于统一的元数据模型为报表系统和风险指标系统提供报表服务,查询服务,分析服务,绩效管理服务等各种服务。同时提供SDK用于系统的客户化定制开发。
浏览器门户层
浏览器门户层,通过统一的门户可以使用Cognos提供的各种功能,生成报表系统的固定报表应用,即席报表应用,通过定制开发完成报表系统的客户化功能,风险指标系统的报表报告应用,多维分析应用,绩效管理应用,以及风险指标相关的客户化功能。门户提供整个系统应用的相关用户管理,服务器管理等各种相关管理功能。
服务器部署示意图:
各业务系统数据以及文本文件通过抽取加载到集中数据库中,用户请求通过网络防火墙,提交到应用服务器负载环境,应用服务器访问集中数据库以及各业务系统数据。
下面我们对系统结构的各个部分进行说明:
4.1.1 数据源
数据源包括了XXXXX集团根据综合数BI系统需求可能涉及现有业务系统中的数据资源。包括:财务系统、人力资源系统、基建系统、OA系统等,还涉及东风集团内部和外部三产公司等多家单位的生产和经营管理性数据
在数据源方面,XXXXX集团有其自身独特的特点,包括:
业务种类繁多,数据结构复杂
数据源多,存在多个业务系统,
在Cognos技术方案中采用了Cognos企业级的OLAP Server,能够同时连接多数据源,按照业务的分析模型生成OLAP数据立方体,构建高效率的数据立方体。如果系统的数据没有经过清洗,那么Cognos在Cognos 多维立方体中可对来自多数据源的数据进行一定程度的清洗和整理,同时也可以使用Cognos ETL工具直接在数据库层次对数据进行清洗,整合处理,形成企业数据仓库。Cognos技术方案在处理异构数据源和海量规模数据方面有突出的优势,并具有强大的数据清洗转换功能,能够满足XXXXX集团在数据源处理方面的特殊要求。
在Cognos技术方案中,OLAP Server为Cognos OLAP Modeling,他提供了一个十分直观的OLAP模型设计界面,设计人员可以通过直观的鼠标拖拽操作定义数据集市模型的维度、度量、层次等属性,并立刻生成Cube。Cognos Cube由于采用了先进的存储技术,支持虚拟Cube技术,能够对Cube进行分区存储。Cognos 能将数据占用空间压缩到源数据占用空间的十分之一至十五分之一,同时能提供大用户数大数据量下秒级响应。
在Cognos技术方案中,如果业务数据没有整合,可选择使用Cognos ETL工具为Cognos Data Manager,Cognos DataManager提供了直观的可视化设计界面,设计人员通过鼠标拖拽,属性设置等操作就可以完成各种复杂的数据整合,清洗,加载等工作。同时Cognos DataManager和Cognos OLAP Modeling以及Cognos的其他各个服务都使用统一的元数据模型。Cognos DataManger不仅是一个全功能的ETL工具,还拥有强大的调度管理和流程控制功能,可以作为Cognos解决方案其他模块的调度器和流程管理器。使系统的数据处理,发布等各个环节能够形成自动的工作流。
Cognos技术方案在数据源处理方面的优势
对大数据量的支持
由于Cognos技术方案中采用了企业级的OLAP Server,能够生成文件型的Cube,同时Cognos Cube支持虚拟Cube技术,可将Cube数据进行分区的存储,能够支持TB级的超大数据量。
降低了对数据源粒度整合的要求
由于Cognos技术方案中采用了企业级的OLAP Server,能够连接多数据源,可直接在Cube中对数据进行粒度整合,同时结合数据库中数据的整合,从而降低了对关系型数据源中数据的粒度整合的要求。也就是在数据库中对数据进行轻度的整合之后,Cognos可以直接在生成Cube的时候对数据进行粒度整合,不需要在数据库中间大量的不同粒度的中间表,同时Cognos可按主题生成多维立方体,从多维立方体中按照维度指标等的组合就可以生成各种报表,从而也不需要在数据库中为用户的报表需求生成结果表。这样就大大降低了IT人员的维护工作量和难度。通常的BI工具,如BO,等没有企业级的OLAP Server,都需要在数据库中对数据进行大量的粒度整合工作,如将用户可能访问的各种汇总组合的结果生成中间表存放在数据库中,甚至需要按照用户的报表要求,将报表结果直接整合好存放在数据库中间表中,对数据粒度整合的要求高。同时导致数据库中中间表数量急剧增加。由于数据库生成汇总结果的方式采用的是SQL的方式,其效率也受到数据库结构的严重影响,也大大增加了IT人员的维护工作量和难度。
提高了系统整体访问效率
在Cognos技术方案中数据源采用企业级OLAP Server,和关系型数据库相结合的方式,一方面Cognos OLAP Server同时支持MOLAP和ROLAP,通过MOLAP,生成Cube,能够为前端的报表,查询等各种应用提供高效的秒级访问,同时通过ROLAP和关系型数据库,能够对明细数据进行查询。Cognos的技术解决方案实际上是非常好地将OLAP的高效率的优点和关系型数据库对明细信息的存储和查询结合起来能够确保整个系统的数据访问的高效率。而像BO等产品本身没有企业级的OLAP Server,采用ROLAP的方式,该方式是将用户的汇总请求提交到数据库中,通过数据库以SQL方式得到汇总信息,而数据库通过表关联,Group,SUM等操作得到结果。这样使系统的整体效率非常低,难以支持大数据量和大用户并发。如果BO等工具选择连接第三方OLAP Server,又存在集成性的问题,不同产品都具有各自的元数据,安全性控制,用户管理,给应用带来庞大的集成工作量。
4.1.2集中数BI系统
数据库在整体解决方案为展现提供数据基础,它是系统存储、管理数据和信息的地方。数据仓库系统由可分为以下几个部分:
数据抽取、转换和装载(ETL,即Extract, Transform, Load):
ETL负责将从业务系统或外部系统中获得的数据,转换和清洗成数据仓库需要的格式和形态,并在规定的时间装入到集中数据库中去。通常我们把这几个具体的步骤统称为ETL。
在Cognos解决方案中,此部分采用Cognos ETL工具Cognos DataManager来实现,Cognos DataManager不仅是一个全功能的ETL工具,还拥有强大的调度管理和流程控制功能,可以作为Cognos解决方案其他模块的调度器和流程管理器。由于Cognos DataManager也提供数据清洗功能,因此Cognos ETL也等价于Cognos ETCL(Extract, Transform, Clean,Load)。
同时,在数据源方面,目前的多数大数据量的集中数BI系统中,抽取(Extract)部分往往采用“推送”,即“Push”的方式,由数据库监视器或触发器通知Cognos DataManager启动数据抽取任务或其他任务。在这种情况下,Cognos DataManager可以充当事件触发的接收器和中转器,在收到事件触发时调度其他Cognos工具或外部过程实现特定功能。
从技术发展看,在ETL环节,数据抽取工具已经得到广泛的使用,以应用编码实现的数据抽取逐渐减少。对多种数据源的访问,包括非关系型数据库和大型主机,成为基本的技术指标。复杂的数据清洗、装载作业的调度和管理也成为产品的基本组成部分。
集中数据库:
集中数据库是数据存储核心。集中数据库的关键技术难点在于数据量的庞大和查询的复杂,有效的存储与快速的查询是一对矛盾,要解决这个问题,我们建议在集中数据库的中存储以下两部分数据:
关系型数据:此部分着眼于存储尽量详细全面的(具体粒度取决于业务需求)、低冗余度的源系统数据,这一方面为本次项目的查询、报表和多维分析提供数据,另一方面为后续项目的查询分析及数据挖掘工作打下数据基础。
多维模型数据:多维模型是一种不同于OLTP数据库的、专为满足多维分析需求而建立的数据结构,由维表和事实表组成。此部分数据着眼于提供快速的分析查询,并作为OLAP应用的数据源。
在Cognos解决方案中,集中数据库的存储和管理可以采用包括Oracle ,DB2,Tera Data,Sybase IQ等在内的各种主流数BI系统。
数据归整(Data Refinement):
数据归整指数据从集中数据库到数据集市的过程,它是集中数BI系统内部数据的处理和转换的过程,主要的任务是制作数据集市模型,并进行数据结构转换、数据的汇总和数据立方体的生成。
在Cognos解决方案中,此部分操作由ETL工具Cognos DataManager具有强大的数据规整功能,同时它也可以通过调用数据库中的各种规整函数来完成来完成。
数据采集
在XXXXX集团公司的综合数BI系统中涉及到数据包括了集团公司的各个应用系统,下属产业公司的数据;以及需要填报的数据。
在应用Cognos DataManger时主要有四种方案,其特点以及对源系统的要求如下表所示:
方案描述 | 特点 | 对源系统的要求 | ||
方案一 | 使用ETCL工具直接到源系统的数据库中抽取数据 | 时间最长,ETCL流程复杂,但不需要源系统导出数据 | 源系统在安全性上必须允许数据仓库系统抽取数据 | |
方案二 | 增量数据 | 源系统导出增量数据文件,临时存放在ODS,再通过ETCL工具导入数据仓库中 | ETCL的数据量较少,系统消耗时间较短 | 源系统能够导出增量数据文件 |
全部数据 | 源系统导出全部数据文件,临时存放在ODS,再通过ETCL工具导入数据仓库中 | ETCL的数据量较大,系统消耗时间较长 | 源系统能够导出全部数据文件 | |
方案三 | 源系统根据数据仓库的要求对数据进行转换清洗后,数据仓库直接对转换清洗过的数据进行抽取 | 时间最短,但对源系统的要求较高,因此该方案很少使用 | 源系统能够根据数据仓库的要求转换清洗数据 | |
方案四 | 对于无法进行抽取的数据,要人工补录 | 时间长短取决于补录数据量大小 | 对于一些只有纸质记录的数据经常会采用此方案 |
实际环境中根据业务系统情况,灵活选择抽取方案。
对于集团公司的各个应用系统的数据进行采集时,可以采用ETL工具直接连接各个应用系统数据将数据抽取到集中数据库中进行处理。
对于下属产业公司的数据,由于涉及到实时数据抽取,可根据情况选择如下方案:
方案一 将实时和历史数据分开处理
周期性的将各下属产业公司的历史数据抽取到集中数据库中,实时数据通过应用服务器的跨数据源访问功能直接通过应用服务进行访问。使用穿透钻取技术从多维分析钻取到实时应用数据库,得到真正实时的数据,帮助用户找到问题发生的根本原应。
方案一使用数据同步工具
使用数据同步工具对数据库进行实时同步
对于手工填报数据,建议采用EXCEL文件上传填报或者基于页面的填报界面填报。
Excel文件填报:对于需要手工填报的数据,用户从门户下载填报模版,进行填报,然后在门户上讲Excel文件上传到服务器上,通过ETL工具将数据抽取到集中数据库中。
页面填报,用户通过在门户上打开填报报表页面进行填报,填报好之后,系统将用户填报的数据生成数据文本,通过ETL工具导入数据库中。
4.1.3元数据模型
建议采用统一的元数据模型。在Cognos技术方案中采用Cognos FrameWork Manager作为统一的元数据模型设计和管理工具,开发人员通过图形化的界面,就可以对多数据源进行描述,并且能够同时描述DB,MOLAP, ROLAP等各种数据源。为应用提供统一一致的数据访问。同时Cognos FrameWork Manager支持通用的CWM标准能够和各种第三方的工具实现元数据交换。可直接使用第三方工具生成的元数据模型。
Cognos技术方案在元数据方面的优点
减小了开发工作量
减小了系统维护和修改工作量
提高了应用开发效率
具有良好的元数据的层状扩展性
4.1.4 前端应用
Cognos 完善的功能能够满足XXXXX集团综合数BI系统的对BI应用的要求。
4.1.4.1 报表应用
对于BI报表应用,Cognos技术方案中主要由Cognos Report Studio和Query Studio来实现。通过Report Studio可以制作各种固定格式的报表报告等,通过Query Studio用户可以方便的进行自助式报表的制作。Cognos提供了一个完全基于Web方式的交互式数据查询、报表定制和报表浏览界面,能够实现各种复杂的企业级报表,并提供定时运行、报表数据监视预警、多渠道报表分发(如通过Email)等功能。Cognos Report Studio 还提供了强大的仪表盘,多媒体报表,地图报表等各种报表报告功能。
Cognos技术方案支持用户直接在没有插件,没有Applet的纯浏览器界面中通过鼠标拖拽的方式进行报表的制作,同时报标志制作完成后,直接通过点击鼠标,就能够将报表进行发布,实现信息的共享。
Cognos 技术方案在报表系统应用方面的优势
多数据源支持
由于Cognos整个系统采用统一的元数据,能够同时访问XXXXX集团公司的各个数据源,所以用户在进行报表制作的过程中不需要了解数据源的具体结构,而只需要从业务的角度出发,通过鼠标拖拽就能够将多数据源的数据整合在一张报表中展现
优异的易用性
Cognos通过统一的元数据模型设计之后,就可以支持用户直接通过纯浏览器界面,进行从简单到复杂的各种报表的制作,制作的过程中通过各种对象的拖拽,属性设置,不需要编写代码,同时用户通过点击鼠标就能实现报表的发布,真正做到了端对端的报表的展现。而其他的同类工具,如BO需要通过专门安装报表开发工具,进行报表设计,对于复杂的报表还需要编写程序完成,报表设计好之后还需要专门的工具进行发布,管理,从而使报表的制作难以面向用户。
4.1.4.2 OLAP分析:
联机分析处理主要指的是多维分析。它提供将数据组织成多维立方体(不论逻辑的还是物理的),而用户可以对这些数据立方体进行切片、旋转、汇总等多角度的查询和统计。这种查询和统计可完全出自用户对业务的考虑,而不必关心数据的物理结构和技术上的组织形式。联机分析应用是业务智能应用中最主要,也是最广泛应用形式。
Cognos解决方案中的OLAP应用主要由Cognos Analysis Studio来实现。Cognos Analysis Studio提供完全基于Web方式的OLAP应用界面,能实现不同主题Cube之间的钻取,并能与Cognos Report Studio构成穿透钻取环境,融合查询报表和OLAP应用,为用户提供一个贯穿宏观和细节的全景数据视图。
4.1.4门户系统
与分散的系统和零散的功能点相比,企业往往更需要一个结合了所有功能点和信息的统一应用界面。但集中系统,项目往往规模庞大,需要集成多种产品,不可能出现一种产品解决所有需求的情况,这就造成了功能性与集成性的矛盾,在这种背景下,门户系统就应运而生。
门户系统可以将后台分散的应用和信息在用户界面层次上整合到一起,提供统一的安全性认证方式,虽然整个系统从后台上看仍然是分离的模块分别处理各自的任务,实现各自的功能,但是从用户角度来看,门户提供了整体的应用环境,集成了功能与信息,使用户得到一个统一的入口。
Cognos技术方案中内置了门户系统,一个系统简洁轻量、便于定制,能方便的内嵌多种形式的第三方应用,并提供开放式的内容管理的门户。Cognos技术方案的门户系统能与安全性系统或第三方安全性系统紧密结合,并承载大并发用户数的访问。同时Cognos门户采用Portlet技术,可以和任意的门户系统实现双向的集成。
Cognos技术方案在门户方面具有易用, 通用, 完整的特点
4.1.5 安全性控制系统
在XXXXX集团综合数BI系统中如何保护数据的安全呢?保护数据安全具有两方面含义,一方面是如何防止未经授权的用户访问应用,另一方面是如何限定系统内的用户对数据访问的权限。与其相对应,安全性控制系统的主要作用就包含对内对外两个要点:
对外将整个应用控制在统一认证之内,防止系统外的用户获得系统内的任何信息和数据;
对内实现对系统用户的权限划分和管理,为不同用户、不同角色提供相应的局部数据视图,防止用户越权访问数据和信息。
安全性控制系统是企业信息化建设的保障性系统,它包含在企业已经实施的或将要实施的各类多用户信息系统中。当企业的信息化建设发展到一定阶段,将会产生将各个分离的信息系统整合到一起的需求,这就需要面对安全性控制系统的整合问题。如果安全性控制系统过于封闭,将无法实现与企业中现有应用的集成,因此,安全性控制系统除了要具有安全强度之外,还需要具有开放性,采用符合业界标准的接口和方式来实施安全性控制,开放并不代表不安全。
Cognos技术方案中,安全性控制系统是基于统一的安全性控制的。它通过业界标准的LDAP实现对安全性信息的维护和控制,通过对整个系统、产品模块、应用主题、报表、底层数据五个层次的完全安全性管理,提供细化到行、列、单元格级的安全性控制能力;Cognos采用开放的安全性控制,支持包括LDAP,AD,NTLM,SAP等各种标准安全性控制机制,能直接连接到各种国际标准的安全控制,同时,Cognos 解决方案中还开放了安全性控制接口,可以和任意的安全性实现集成,既可以将第三方安全性机制通过引入Cognos技术方案中,也可以利用Cognos的安全性机制控制第三方系统的安全性,实现系统间安全性的集成。
Cognos技术方案在安全控制方面的安全性的特点
通用性
开放性
灵活性
4.2实施《XXXXXBI系统》要求的主要技术要点
从上述技术架构出发,结合我们实施Cognos技术方案所积累的经验,在技术方案实施过程有一些技术要点,在进行设计时,对这些技术要点特别关注,设计最好的解决方法,并不断优化,这是保证项目质量的关键。下面我们针对《XXXXXBI系统(一期)》要求的主要技术要点,分别提出可行解决方案。
Cognos能满足《XXXXXBI系统(一期)》的要求
4.2.1形成集团公司数据规划
通过对集团公司本部的数据规划,对数据来源分类、制订数据编码标准、形成数据字典,在做到数据唯一和共享的基础上,为今后业务系统应用制定数据标准和规范,为与各产业公司信息系统的衔接提供接口标准。
Cognos产品在国内外都得到了广泛的使用,能够对集团公司本部进行数据规划,对数据来源进行分类,制定数据编码标准,形成数据字典,在做到数据唯一和共享的基础上,为今后业务系统应用制定数据标准和规范,为与各产业公司信息系统的衔接提供接口标准。凭借在国内大量的成功实施大型项目的经验,我们能够对XXXXX集团公司本部进行数据规划,同时凭借Cognos产品良好的统一元数据,能够实现数据的统一性和一致性。
4.2.2建设综合数据库
本期建设的集团公司本部综合数BI系统应为集团公司本部完整、统一的数据中心,能够集中存储和管理集团公司本部各项经营管理活动所需的基础管理数据和从下属单位收集的各类实时数据。所涉及的软件为数据库,该数据库应能满足存储通过各种方式采集来的各类指标数据,包括实时生产数据,应能全面支持通过商务智能(BI)及报表中心的数据展现。
Cognos解决方案中Cognos产品能够支持包括NCR Teradata, IBM DB2, Oracle, Microsoft SQL Server等在内的各种主流数据库,通过实施Cognos解决方案能够为集团公司本部完整、统一的数据中心,能够集中存储和管理集团公司本部各项经营管理活动所需的基础管理数据和从下属单位收集的各类实时数据。能满足存储通过各种方式采集来的各类指标数据,包括实时生产数据,应能全面支持通过商务智能(BI)及报表中心的数据展现。Cognos产品从元数据到ETL到前端各种应用都能够为各种数据库存储提供广泛的支持。能够很好的适应XXXXX集团综合数BI系统的应用环境的需要。
4.2.3实现数据采集和ETL功能
数据采集包括建立一个统一的数据采集中心,来源包括集团公司本部的业务系统,如财务系统、基建工程、人力资源、OA等数据;下属产业公司的生产实时数据、经营数据;集团公司非结构化的文本等。采集方式包括通过集团专线网采集和网上填报采集。采集到的数据应能全面支持通过商务智能(BI)、报表中心的数据展现、业务图形分析展现。所可能涉及的产品为数据采集的中间件。
为了整合集团公司生产、经营、管理和辅助决策的所需的信息,需要在集团公司本部通过数据抽取工具ETL(Extraction, Transformation, Loading,即数据抽取、转换、装载的过程)进行数据存储管理的集中优化整合,为基于综合数据平台的决策分析应用提供符合要求、高质量的数据。具体功能要求:
(1)直接从应用系统的数据库中读取大量数据,应用系统数据的获取可以通过定时增量、实时更新和实时服务的方式进行。
在Cognos解决方案中采用的Cognos DataManager是专业的ETL功具,能够直接从应用系统的数据库中读取大量数据,应用系统数据的获取可以通过定时增量、实时更新和实时服务的方式进行。
(2)定时进行数据抽取、转换和装载,例如每天或每周进行一次。
在Cognos解决方案中采用的Cognos DataManager是专业的ETL功具,支持定时进行数据抽取、转换和装载,例如每天或每周进行一次。
(3)ETL工具必须具有自动调度功能,能够在指定的时间周期内自动调用数据的抽取、转换、装载及多维数据立方体更新任务,或是监控数据源的变化,通过参数设置方式建立数据或事件触发机制。
在Cognos解决方案中采用的Cognos DataManager是专业的ETL功具,具有自动调度功能,能够在指定的时间周期内自动调用数据的抽取、转换、装载及多维数据立方体更新任务,或是监控数据源的变化,通过参数设置方式建立数据或事件触发机制。
(4)ETL工具应能记录每一个任务流程的运行情况,以便为系统维护管理提供可靠的依据。在任务因为异常情况中断时,提供告警信息,提醒维护人员及时采取补救措施。
在Cognos解决方案中采用的Cognos DataManager是专业的ETL功具,具有强大的日志和监控功能,能够记录每一个任务流程的运行情况,以便为系统维护管理提供可靠的依据。在任务因为异常情况中断时,提供告警信息,提醒维护人员及时采取补救措施。
(5)使用统一、通用的数据转换规则,避免重复开发,减少开发人员和维护工作量,支持自动从多个数据源向一个数据源的数据集中抽取及转换。支持海量数据抽取与转换,支持不完整、不规范数据的自动整理,保证数据转换后的完整、可靠、有效,支持在同一ETL任务中实现多个文件抽取。
在Cognos解决方案中采用的Cognos DataManager是专业的ETL功具,能够实现模块化的数据转换规则定制,使用统一、通用的数据转换规则,避免重复开发,减少开发人员和维护工作量,支持自动从多个数据源向一个数据源的数据集中抽取及转换。支持海量数据抽取与转换,支持不完整、不规范数据的自动整理,保证数据转换后的完整、可靠、有效,支持在同一ETL任务中实现多个文件抽取。
(6)能有效同时转换多个不同格式的数据文件,满足不同类型数据转换的需要,包括:同一报表中数据项目相同但数据长度不同的报表数据,同一数据文件中有多个相同格式的报表数据,数据文件中部分重复数据被省略的报表数据,同一数据文件中有多个不同格式的报表数据,提供异构数据库间数据类型的自动映射功能,高数据转换速度。支持脚本编程,进行ETL规则设计。
在Cognos解决方案中采用的Cognos DataManager是专业的ETL功具,能够同时转换多个不同格式的数据文件,满足不同类型数据转换的需要,支持对数据文件中数据项目相同但数据长度不同,能够对统一数据文件中有多个相同格式的数据,能够对重复数据进行处理的规则定义,能够对统一数据文件中有多个不同格式数据进行定义,Cognos DataManger提供了异构数据库之间数据类型的自动映射的功能,具有很高的数据转换速度。在PICC等用户的企业级项目中得到了广泛的使用,同时Cognos DataManager支持脚本编程,进行ETL规则设计。
(7)适应于各类数据源的数据加载及转换业务,如Oracle 8i、Oracle 9i、Oracle 10g、Sql Server 2000、Sybase ASE 12.5、DB2 8.1、MySql 4.0、PostgreSQL8.0、InterBase7.1、Access2000、Foxpro6.0数据库及文本文件。可以提供完整的日志记录,对加载错误的自动报警功能,是可扩展的数据转换平台。请提供1G数据转换时间,100M数据转换时间的测试报告。
在Cognos解决方案中采用的Cognos DataManager是专业的ETL功具,能够适应于各类数据源的数据加载及转换业务,如Oracle 8i、Oracle 9i、Oracle 10g、Sql Server 2000、Sybase ASE 12.5、DB2 8.1、MySql 4.0、PostgreSQL8.0、InterBase7.1、Access2000、Foxpro6.0数据库及文本文件。可以提供完整的日志记录,对加载错误的自动报警功能,是可扩展的数据转换平台。支持包括Windows,HP-UX,AIX,Solarias等在内的各种主流平台。ETL工具的抽取效率和数据库效率,服务器配置都有很密切的关系,通常情况下1G数据转换时间在5分钟以内,抽取100M数据转换时间在1分钟以内。
4.2.4技术设计要求
投标人应说明本项目所采用的设计开发技术,描述应用系统的体系架构及系统结构设计。
系统应支持B/S模式或C/S与B/S结合模式,可支持不同的操作系统和数据库平台。投标人应提出对操作系统和数据库软件的选型建议,说明采用B/S模式或C/S与B/S结合模式的安装与运行方式。
Cognos具有强大的功能,能够支持包括Windows,AIX,HP-UX,Solaris等在内的各种主流操作系统,以及包括Oracle,DB2,Sybase,Informix,SQL Server,Tera Data等在内的各种主流数据库平台。Cognos采用没有插件,没有Applet的纯B/S模式。COGNOS客户端不需要安装产品,用户通过IE等浏览器就可以使用系统。目前已经形成成熟稳定、功能丰富、实用性强的B/S方式应用模式,在B/S结构应用中与其他任何竞争产品相比均具有公认的压倒性优势。在当前的COGNOS版本中,不需要用户端下载安装任何插件,即可在纯粹的B/S模式中实现鼠标拖拽方式的OLAP分析、报表格式定制、即席查询等等功能,而管理员和开发人员甚至能通过B/S方式进行服务器端管理、安全性管理或更深层次的服务器负载均衡分配等等各种管理维护功能。
Cognos产品的安装和运行方式如下:
Cognos产品采用SOA的体系构架,最终用户,制作人员,管理员等用户通过没有插件,没有Applet的纯浏览器界面进行访问,集中的可负载和容错的应用服务器环境中安装Cognos产品服务,处理用户的请求。Cognos服务能够连接企业的各种数据源为用户提供服务。
系统应具有友好的用户操作界面,同时应提供灵活的系统管理工具,其功能包括但不限于:用户角色与权限设置、数据表单定义、统计分析报表定制、数据审计条件设置、开放式数据接口定义等。
Cognos具有友好的用户操作界面,用户在没有插件,没有Applet的纯浏览器界面中通过鼠标拖拽,属性设置等操作,就可以完成包括用户角色与权限设置,表单报表定义,统计分析报表定制,数据审计条件设置,开放式数据接口定义等功能。并且不需要编写程序。
投标人应详细描述本项目中所采用的各类应用定义工具,说明其表现形式和使用的灵活程度等。应用定义平台应支持报表自定义、自动生成、统计计算等功能,支持报表数据的导入导出,能够满足系统二次开发和与其它应用系统衔接的需要。
Cognos具有完善的功能,Cognos在本项目中主要采用的应用定义工具包括了:
Report Studio :固定格式报表工具
Query Studio:自定义报表工具
Analysis Studio:多维分析工具
Event Studio:事件监控工具
Query Studio
Query Studio 模块是最终用户的即席查询模块,他将经过业务化处理的元数据提供给最终用户,最终用户只需要通过简单的鼠标托拽的方式就可以实现对数据的灵活的查询。
Report Studio
Report Studio 是专业的报表制作模块。报表制作人员可以通过他制作各种类型的报表,包括中国特色的非平衡报表,动态仪表盘,KPI报表等。报表制作人员可以分页面设计,每页可以有多个查询,每个查询可以连接多个数据源,甚至异构数据源。报表的内容采用的是化繁为简的方式,可以精确控制报表中每一个对象的各种属性。
Analysis Studio
Analysis Studio是面向最终用户的多维分析展现,进行方便的多维度,多层次,多指标的分析。用户只需要在Web界面中通过简单的鼠标拖拽等操作,就可以进行各种OLAP分析,如上钻,下钻,切片,旋转,切块等,它能够让系统中的每一位用户都能够轻松自如地访问重要数据,从而更有效地管理其业务,作出正确决策。
Event Studio
Event Studio是对系统进行自动监控和管理的工具,用户在没有插件没有Applet的纯浏览器界面中通过鼠标拖拽就能够方便的定义事件,通过事件对系统进行监控,能够通过EMAIL,门户新闻等方式通知用户,还能够启动其他系统的业务处理,通过事件对报表进行调用。实现Cognos应用的自动化。
同时Cognos提供了完全开放的SDK,支持持Microsoft Visual Studio、JAVA、.NET、ASP/JSP等多种开发工具和语言,并支持Microsoft .NET、J2EE等多种架构,能够根据需要进行灵活的二次开发。
为便于实现对数据进行快速灵活的综合查询与统计分析,投标人在进行数据库方案设计时应充分考虑如何提高数据加工处理效率(例如区分当前数据库与历史数据库等)。
Cognos产品为企业级用户精心设计,能够确保系统的整体效率。
Cognos 主要在如下几个方面确保整个系统的性能,能够确保系统报表,分析查询的秒级响应:
l Cognos对于统计汇总查询采用OLAP技术实现的多维立方体(cube),Cognos OLAP Server具有极高的存储效率和响应速度,完全脱离了关系型数据库在性能和存储空间效率上的羁绊,保证用户在访问数据时达到秒级的响应速度。
l Cognos采用虚拟Cube技术,对大Cube实现了分区存储,增量更新。有效的提高了用户对Cube的访问效率。同时支持超大数据量。
l Cognos具有独特的穿透钻取功能,使查询有的放矢,钻取出来的信息一定和当前数据相关,提高了对数据库服务器的有效利用率
l Cognos产品提供高速缓存机制,在内存中存储已经查询过的结果,这样能保证在大用户并发的情况下提高整个系统的响应速度。提高查询性能,缓解系统的压力。
l Cognos服务器提供负载均衡和良好的扩展能力,模块化的产品结构可以部署在多台Server之上,并且能够很方便的进一步扩展,从而使系统的性能得到保证。同时Cognos采用松耦合的结构,其负载均衡可以采用多种方式,可以针对服务进行负载,也可以针对模块进行负载。访问Cube时,可以每台服务器上发布同样的Cube,也可以将不同的Cube发布在不同的服务器上。
l Cognos具有多路查询功能,Cognos明细查询功能可以在用户的要求中利用SQL技术实现多路查询,可将多连接的大数据量查询分成多个查询,得到小数据量的结果集,提高查询速度。
l Cognos支持动态SQL功能,Cognos具有动态SQL方式,可根据用户的环境,用户对条件的选择动态的生成查询,能最大限度的适应数据库结构针对性能的优化,如历史数据和当前数据分表存放等。
l Cognos采用多线程机制,每个用户请求对系统资源的占用少,能最大化资源的利用和用户并发,即使某个用户请求出了问题,不会影响其他请求,系统还能照常运行。
l Cognos无状态连接方式,cognos 采用的无状态连接,服务器只有在用户进行动态操作时才会使用,能更有效的使用系统资源,支持更多用户并发。
l Cognos具有多种级别的设计方式,cognos具有多级别的设计方式,允许用户在模拟数据或是采样数据的情况下对查询和报表进行设计,设计完成之后只需要选择在全数据模式下运行就可以了,能最大限度的降低对数据库的压力。
4.2.5数据分析和展示系统功能需求
集团公司本部数据分析和展示系统应满足对集团公司本部共享数据库中存储的各类数据进行综合查询、分类汇总、统计分析以及数据挖掘等的需要,可根据用户的特定需求灵活设置数据查询和汇总条件、定义分析模板、生成主题数据库等,可提供报表定制、打印预览和导出Excel报表等功能。
Cognos具有强大的数据分析和展现功能,能够满足对集团公司本部共享数据库中存储的各类数据进行综合查询、分类汇总、统计分析以及数据挖掘等的需要,可根据用户的特定需求灵活设置数据查询和汇总条件、定义分析模板、生成主题数据库等,支持报表定制、打印预览和导出Excel报表等功能。用户只需要在没有插件没有Applet的纯浏览器中通过鼠标拖拽等简易的操作就可以实现各种查询,统计分析等功能。同时通过鼠标拖拽,设置属性等操作就可以实现对查询,汇总等条件、模版的定义。实现分析主题模型的设计和生成主题数据库,也只通过鼠标拖拽,属性设置就能方便实现,不需要编写程序。COGNOS产品的报表模块是业界知名的报表制作产品,用户无须编写任何代码,就可以利用提供的鼠标拖拽界面自定义任意格式的报表,尤其是不均衡表头等复杂的报表,即用户可以对表中某些行细化展开而保持另一些行不展开。系统提供的功能帮助用户方便的编辑标题、页眉、页脚,可以在其中插入各种对象、变量、多媒体信息。COGNOS产品的报表功能极大的丰富的传统报表的展现形式,将企业用户的报表系统的展示能力提升到前所未有的高度。提供前所未有的灵活性和自助服务,使用简单的拖拽进行数据查询和复杂的报表进行交互。用户无需理解数据库逻辑和计算机语言。通过将报表数据元素和报表格式拖放到一个空白页面,可以更加轻松的创建报表。
用户在完全WEB浏览器界面中可以制作所有形式的自定义报表,除了简单的业务图表之外,还可以制作诸如KPI报表、驾驶舱仪表盘、发票、查询报表、高级交互功能报表等复杂报表,并可以自己设计多页面、多查询、多语言的报表。用户制作的报表可以通过点击按钮的简单方式直接发布在系统中或者以各种格式输出到本地,所有的格式均是所见即所得,可以直接打印输出。尤其是不均衡表头的报表,即用户可以对表中某些行细化展开而保持另一些行不展开。
提供方便快捷的用户自定义查询和报表功能,使用更为简便,使普通用户通过简单的操作可以灵活的自定义查询和报表。支持多种格式的报表和数十种二维、三维图形,可以对数据进行计算、汇总、排名、排序、过滤、分组、分段、子集等多种操作,并可以直接保存为报表项目或以多种格式输出,完全可以满足用户的数据查询和报表需求。
集团公司数据分析和展示系统应具备完善的用户管理和权限管理功能。
Cognos支持用户,用户类,用户角色,能够对用户,用户类,用户角色进行权限的设置和管理。管理员直接在没有插件,没有Applet的纯浏览器界面中就可以对用户,用户类,用户角色进行权限设置管理,进行权限设置时,可以用户,用户类,用户角色对功能模块的权限,也可以设置对报表分析等内容的权限。COGNOS采用集中方式、基于国际通用的标准协议的一致的安全管理机制。集中的安全性控制贯穿所有的组件和各个层面,从最终用户的访问控制、开发用户的开发权限控制到管理用户对系统的控制都使用统一的安全性认证。安全性控制贯穿整套解决方案始终,从门户项目的访问控制,一直细化到对数据库表访问的控制,对行、列甚至单元格的访问控制,Cognos技术方案的权限控制是开放的,COGNOS提供了一种API的方法使COGNOS和企业已有的安全性集成,以工业标准LDAP目录服务的方式进行用户安全性管理,能与其他安全性产品和应用集成使用,这是COGNOS安全性开放的体现。
在认证方面支持Active Directory、Netegrity SiteMinder、NTLM、SAP以及所有的基于LDAP的安全性提供者,并提供用来自定义安全性的Java开发接口和C/C++级别的安全认证开发包,能够与系统中的同类产品、底层数据库、操作系统、Web服务器和应用服务器等组件进行无缝高效的安全性集成,构成一次登录、紧密集成、安全性统一的混合应用系统。COGNOS的安全性机制也是动态可伸缩的,既能购适应集中部署方式,也能够将认证下放。相比之下,竞争对手必须依赖于数据库的安全性设置,不仅效率低下,而且无法做到像COGNOS这样细化和灵活.
投标人应提供完善的集团公司数据分析和展示系统建设方案,并且该方案应便于今后用户对商业智能与门户技术等的采用。
Cognos产品的方案,请参见《Cognos产品方案建议书》
投标人提供的数据分析和展示系统应支持对第三方数据分析工具的集成,或能够允许用户在该系统中使用第三方数据分析工具对共享数据进行分析和展示,投标人应对如何满足上述要求进行详细描述。
Cognos的数据分析和展现方案具有很好的完整性,首先Cognos产品本身就提供了数据分析和展现的全部功能,通过统一的构架,统一的服务为用户提供完整的功能,不需要和第三方数据分析工具集成,同时Cognos 能够同时支持MOLAP,ROLAP和DB,支持各种OLAP Server ,包括Essabase, Cognos PowerCube, MSAS, SAP BW, DB2 Cube Views等,可以直接进行展现,Cognos 的ROLAP能够直接连接数据库进行分析和展现,Cognos还提供了完整的接口,支持任意的系统直接调用Cognos的各种服务和应用进行展现。Cognos采用了符合国际标准的CWM元数据,能够和各种第三方的数据分析工具实现元数据的交换。Cognos 提供了开放的门户,Cognos 门户采用Portlet技术,能够和任意的门户实现集成。总之,Cognos能够和第三的工具实现从数据源到元数据到OLAP Server到门户的集成。
4.2.6建立报表中心建设要求
建立共享数据库之后,多种数据源集成在一起,构成了一个统一数据中心,为实现多数据源的综合业务报表系统称为了可能。“报表中心”除了具有统一的集团综合业务报表填报功能之外,同时还应具备强大的管理和发布的功能。
基于共享数据库,Cognos能够提供强大的报表功能,实现报表中心,报表平台的功能,Cognos的报表功能能够和ETL工具一起实现报表数据填饱功能,同时Cognos提供了强大的企业级的报表管理和发布功能。Cognos采用SOA的体系构架,通过统一,集中的服务连接企业数据源为企业形成一个报表平台,展现企业的各种报表,用户可以通过浏览器访问报表,其他任意的系统只要具有权限都可以通过标准的接口向报表中提交请求,从报表中心得到报表结果。
报表中心应当满足集团本部各业务综合报表的要求;报表中心也应当满足本部普通早报、日报、月报等要求。
报表中心提供了强大的报表功能,能够满足集团本部各业务综合报表的要求,能够满足本部普通早报,日报,月报等要求。报表中心采用的Cognos报表工具是业界知名的报表产品,能够满足集团各种周期性报表,即席报表的要求,并且其强大而灵活的功能,能够适应用户对报表的需求变化。用户无须编写任何代码,就可以利用提供的鼠标拖拽界面自定义任意格式的报表,尤其是不均衡表头等复杂的报表,即用户可以对表中某些行细化展开而保持另一些行不展开。系统提供的功能帮助用户方便的编辑标题、页眉、页脚,可以在其中插入各种对象、变量、多媒体信息。COGNOS产品的报表功能极大的丰富的传统报表的展现形式,将企业用户的报表系统的展示能力提升到前所未有的高度。提供前所未有的灵活性和自助服务,使用简单的拖拽进行数据查询和复杂的报表进行交互。用户无需理解数据库逻辑和计算机语言。通过将报表数据元素和报表格式拖放到一个空白页面,可以更加轻松的创建报表。用户在完全WEB浏览器界面中可以制作所有形式的自定义报表,除了简单的业务图表之外,还可以制作诸如KPI报表、驾驶舱仪表盘、发票、查询报表、高级交互功能报表等复杂报表,并可以自己设计多页面、多查询、多语言的报表。用户制作的报表可以通过点击按钮的简单方式直接发布在系统中或者以各种格式输出到本地,所有的格式均是所见即所得,可以直接打印输出。尤其是不均衡表头的报表,即用户可以对表中某些行细化展开而保持另一些行不展开。提供方便快捷的用户自定义查询和报表功能,使用更为简便,使普通用户通过简单的操作可以灵活的自定义查询和报表。支持多种格式的报表和数十种二维、三维图形,可以对数据进行计算、汇总、排名、排序、过滤、分组、分段、子集等多种操作,并可以直接保存为报表项目或以多种格式输出,完全可以满足用户的各种报表需求。
集团公司报表中心系统应能根据共享数据接口定义自动生成人工录入数据的用户界面,以供下属单位在需要手工填报的情况下使用该功能进行数据上报。
Cognos报表工具能够为用户生成手工录入数据的用户界面,Cognos对象化的报表设计界面,能够支持在报表中插入各种对象,包括数据输入对象,用户在报表中输入数据,系统能够为用户输入的数据生成标准的数据文本文件。数据文本文件可以被ETL工具识别,抽取到数据库中。从而实现在下属单位需要手工填报的情况下进行数据的上报。
提供基于web的报表展示系统,主要包括报表模版定义和报表发布两部分。用户通过报表模版定义设计定义报表的样式和数据模板,被定义好的报表被保存到报表库中。报表发布系统从报表库中取出报表,根据数据模板从相关数据库中取出数据,并通过Web方式发布出去。满足灵活报表应具备的自由制表和提取数据的基本功能。
Cognos产品为用户提供了基于web的报表展示系统,主要包括报表模版定义和报表发布两部分。用户通过报表模版定义设计定义报表的样式和数据模板,被定义好的报表被保存到报表库中。报表发布系统从报表库中取出报表,根据数据模板从相关数据库中取出数据,并通过Web方式发布出去。满足灵活报表应具备的自由制表和提取数据的基本功能。Cognos的报表工具功能强大且灵活,Cognos采用对象化的报表制作方式,用户在没有插件,没有Applet的纯浏览器界面中通过鼠标拖拽,属性设置等简单操作,就可以完成各种报表的制作,模版制作,包括复杂的中国式非平衡嵌套表头报表,多媒体报表,仪表盘等各种报表,不需要编写程序。报表制作完成之后,用户只需要点击鼠标,就可以完成报表的发布。用户运行报表时,只需要在门户界面中点击报表项目,系统自动可完成报表定义和数据的提取,形成报表报表结果。整个报表开发,发布,访问的过程都不需要编写程序。
报表要通过门户平台统一展示。
Cognos内置了门户系统,简洁、便于定制,能方便的内嵌多种形式的第三方应用,并提供开放式的内容管理的门户。Cognos技术方案的门户系统能与安全性系统或第三方安全性系统紧密结合,并承载大并发用户数的访问。Cognos采用纯Web方式的用户界面,Cognos 采用了Portlet技术,使得用户界面集成很容易实现。能够方便的和各种企业门户进行集成。Cognos的用户界面的外观和功能是通过开放标准的XML模板来定制的,而所有的Cognos Web方式的用户界面都支持在任意框架内嵌套显示,可以直接通过超链接嵌入第三方应用中,或将第三方应用通过超链接嵌入到Cognos Web门户中。从而使系统应用能够通过统一的界面提交给用户。
报表的自动填报页面、报表模版的定义、基于门户的报表展示,都要求有权限控制,不同的部门、人员或角色有不同的权限。
Cognos具有完善的权限管理机制,Cognos支持用户,用户类,用户角色,能够对用户,用户类,用户角色进行权限的设置和管理。管理员直接在没有插件,没有Applet的纯浏览器界面中就可以对用户,用户类,用户角色进行权限设置管理,进行权限设置时,可以用户,用户类,用户角色对功能模块的权限,也可以设置对报表分析等内容的权限。对报表填报,报表模版定义,报表展现等各种功能都能根据不同的部门、人员、角色进行权限的控制。不仅如此Cognos的权限控制甚至可以控制到数据的行,列,单元格的用户,用户类,用户角色的访问权限。
报表中心涉及到集团公司本部各业务职能部门,一期以完成计划、统计类报表为主。
Cognos具有强大的报表功能,能够满足用户对计划,统计类报表的要求。同时其灵活性能够满足用户需求的变化。
4.2.7实现业务图形分析平台
业务图形分析平台是基于图形来浏览、监视、分析和管理各个业务系统的数据的操作平台。业务图形分析平台具有很好的灵活性和开放性,用户可以根据自己业务规则和需要利用系统提供的工具进行监视内容的定义。包括但不限于:
通过本平台可以显示企业地理分布图,方便组态,业务人员可以自定义数据汇总方式,对相同区域或相同类型的下属企业数据进行合并和计算;
Cognos具有强大的图形分析功能,能够显示企业的地理分布图,能够支持业务人员自定义数据汇总方式,能够对相同区域或相同类型的下属企业数据进行方便的合并和计算。用户直接在没有插件,没有Applet的纯浏览器中通过鼠标拖拽,属性设置等简单操作就可以实现数十种二维、三维图形展现,地图展现,多媒体展现。进行各种计算。能够灵活适应用户的需求。
与生产实时数据连接,形成生产工况图等;
Cognos能够实现对实时数据的连接,形成生产工况图。Cognos能够直接连接数据源,展现当前时间点的数据,同时能够实现对数据的手动和自动连接刷新。从而展现出系统中数据的变化情况。
通过对业务主题的分析,利用图形展示模型分析的结果,并将共享数据库的数据关联到图形上。
Cognos具有强大的分析功能,能够形成业务分析主题,用户通过鼠标拖拽就能实现利用图形展现模型分析的结果。通过鼠标拖拽将共享数据库的数据关联到图形上,不需要编写程序。用户还可以直接在图形上进行钻取,从而指导和图形展现相关详细信息。
业务图形分析的展现为B/S模式,建立基于门户平台的展示。
Cognos具有强大的业务图形分析展现功能,采用B/S模式,业务图形分析的展现为没有插件,没有Applet的纯浏览器界面。业务图形分析,报表,查询等应用通过统一的门户平台进行展现。
集成说明:
门户展现集成:由于Cognos采用纯Web方式的用户界面,Cognos 采用了Portlet技术,使得用户界面集成很容易实现。能够方便的和各种企业门户进行集成。Cognos的用户界面的外观和功能是通过开放标准的XML模板来定制的,而所有的Cognos Web方式的用户界面都支持在任意框架内嵌套显示,可以直接通过超链接嵌入第三方应用中,或将第三方应用通过超链接嵌入到Cognos Web门户中。从而使系统应用能够通过统一的界面提交给用户。实现门户级别的整合
用户管理集成:Cognos产品本身采用的统一元数据,统一认证的方式,从而具有天然的安全性的无缝集成的能力。用户在使用Cognos的各种应用时只需要通过一次认证就可以访问相关的各种信息。同时Cognos支持包括LDAP,AD,Netegrity SiteMinder,NTLM,SAP等标准的安全控制机制,可直接连接各种标准安全性控制机制,不需要维护和管理多套用户,用户组。对于企业中的非标准安全性,Cognos提供了开放接口Custom Java Provider, 直接通过实现标准的安全控制方法,实现同企业中任何安全认证机制的集成,包括企业中使用的非标准的安全控制机制,如数据库表认证,文件认证等。
Cognos技术方案在系统集成方面有如下几点突出的优势:
开放性:Cognos技术方案自始至终遵循开放性的标准,并尽可能多的引入工业标准和协议,例如安全性管理采用LDAP Server,界面定制和报表数据描述采用XML,数据流提供采用Web Services接口等等。Cognos是一个开放性的、融合了大量业界标准的综合应用平台,而这个特性将带来系统集成的高质量和高成功率。
可扩充性:接口的开放性直接决定整个系统的可扩充性,因为采用标准化接口已经成为目前软件系统发展的趋势,越是采用标准化技术和接口的系统,就越便于与其它功能模块进行结合,从而扩充功能,形成规模化应用。
稳定性:Cognos为系统集成提供了大量非程序开发接口,例如命令行脚本接口等等,并推荐优先使用非程序开发接口,在使用非程序开发接口无法实现某些功能时,再转而使用封装型程序开发接口,例如COM,Web Services等等。Cognos对接口良好的封装特性,尽量避免开发复杂代码,这种封装特性是整体系统稳定性的保证。
低开发量:Cognos的许多接口可以通过很简单的命令实现复杂的操作组合,降低了开发量和开发难度。
4.2.8性能要求
4.2.5.1.6.1可用性
Ø 系统7×24小时持续可用,可在每日特定时间段内对系统进行维护。
Cognos具有智能的负载均衡和容错保护功能, Cognos的负载均衡和容错保护功能不依赖于硬件,操作系统以及应用服务器,能够实现真正的硬件平台,操作系统平台,应用系统平台的负载均衡和容错保护,在负载均衡和容错保护的集群中某台服务器出现故障不会导致整个系统瘫痪,同时Cognos具有自我恢复功能当服务非正常停止,Cognos会将服务自动恢复,从而保证系统的高效和可靠性。能够确保系统7*24小时为用户提供全天候的服务,支持用户在在每日特定时间段内对系统进行维护。
Ø 要求数据存取服务准确,不能丢失数据。
Cognos能够确保为用户提供数据存取服务时的数据的准确性,Cognos采用统一的元数据模型,统一的数据引擎,能够保证数据的一致性,同时数据存取是能够进行校验,不会丢失数据。
4.2.5.1.6.2可扩展性
Ø 系统功能扩充或使用单位增加时应不影响现有系统功能和结构,能够方便后续其他系统模块的扩展。
Cognos产品具有很好的扩展性,支持应用的线性扩展。系统功能扩充或使用单位增加时应不影响现有系统功能和结构,能够方便后续其他系统模块的扩展。用户可以根据用户环境的情况灵活配置服务器,最大限度利用已有的投资。可以对整个服务功能进行扩展,也可以对针对单个的应用进行负载,从而方便后续其它系统模块的扩展。Cognos能够支持混合环境中的服务的负载均衡。同时Cognos的容错保护功能,能够在负载均衡和容错保护得集群中有服务器出现异常不能为用户处理请求,其他服务器能够自动承担用户的请求,从而真正实现系统为用户提供24*7的全天候服务。
Ø 系统建设要求能够保护投资,当系统数据量和访问量增大而导致系统配置不能满足要求时,可以通过仅增加服务器等硬件进行解决,而不是在软件上做修改。
Cognos产品具有很好的扩展性,支持应用的线性扩展。用户可以根据用户环境的情况灵活配置服务器,最大限度利用已有的投资。当系统数据量和访问量增大而导致系统配置不能满足要求时,可以通过仅增加服务器等硬件进行解决,而不需要在软件上做修改。当需要在已有的负载环境中新增加服务器,只需要通过简单的配置即可。可以对整个服务进行扩展,也可以对针对单个的应用进行负载。Cognos能够支持混合环境中的服务的负载均衡。同时Cognos的容错保护功能,能够在负载均衡和容错保护得集群中有服务器出现异常不能为用户处理请求,其他服务器能够自动承担用户的请求,从而真正实现系统为用户提供24*7的全天候服务。
4.2.5.1.6.3响应性能
Ø 一般Web查询的响应时间2秒以内,带有复杂的饼图、棒图的查询,响应时间在5秒以内。
Cognos产品具有很高的效率,能够满足一般Web查询的响应时间2秒以内,带有复杂的饼图、棒图的查询,响应时间在5秒以内的要求。
Ø 统计分析的响应时间不得超过10秒。
Cognos产品具有很高的效率,能够满足用户对统计分析的响应时间不超过10秒的要求。
Ø 报表生成的响应时间不得超过5秒。
Cognos产品具有很高的效率,能够满足用户对报表生成响应时间不超过5秒的要求。
Ø 服务器CPU平均负荷率≤50%。
Cognos具有很高的效率,同时能够通过参数对系统进行灵活的配置,能够满足服务器CPU平均负荷率≤50%的要求。
4.2.5.1.6.4可管理性
Ø 用户角色与权限设置由集团公司本部向下逐级授权管理。
Cognos产品采用的用户角色和权限设置具有很好的灵活性,能够支持由集团公司本部向下逐级授权的方式进行管理。同时能够支持集中认证和存储。
Ø 能够对数据的取值范围进行设定,可对数据进行校验和审计。
在Cognos的报表,查询,仪表盘等各种应用中,可以支持用户对数据的范围进行设置,数据进行预警,通过红绿灯等方式对数据状态进行显示。
4.2.5.1.6.5可恢复性
Ø WEB查询、报表、统计分析服务等恢复在4小时内。
Cognos能够支持对系统的快速恢复,能够满足WEB查询、报表、统计分析服务等恢复在4小时内的要求。Cognos提供了专门的工具,在图形化界面中通过简单的设置就可以方便的实现系统内容的打包备份,打包之后可以生成对应的备份文件。通过文件方式进行拷贝备份。当系统需要恢复时,只需要将备份的文件拷贝到系统中,然后在图形化界面中通过简单的设置就能对系统进行恢复。
Ø 如果硬件损坏,应提供必要应急和替代方案。
COGNOS为大型企业应用设计,具有负载均衡和容错保护功能。可以集群部署,可以将组件分开安装,也可以多机负载均衡,有多种均衡策略和架构可以选择.服务器之间可以做负载均衡和服务器容错技术。这样系统在运行初期不需要投入太多,随用户数的增多,逐步增加配置,保护了成本。Cognos不仅有负载均衡技术不仅仅提高了系统的性能,还有容错的功能,可防止系统由于以外而崩溃
3.1 隔离性
Ø 本系统的投运不应影响现有系统和设备的正常运行。
Cognos产品的运行不会影响现有系统和设备的正常运行。
Ø 本系统应不受电子噪声、射频干扰及振动等现场环境因素的影响。
Cognos产品的运行不会受电子噪声、射频干扰及振动等现场环境因素的影响。
3.2 安全性
Ø 采取有效的安全策略和技术手段,从硬件网络、操作系统、数据库、应用软件等各个层面保证系统安全稳定运行。
Cognos 解决方案采用有效的安全策略,Cognos产品采用SOA的构架,用户访问不需要插件,或Applet对网络防火墙友好,支持网络防火墙安全控制,支持操作系统,数据库的安全控制,Cognos支持Web Server和应用服务的分开部署,防止应用和数据直接暴露给外部用户,Cognos通过统一的元数据模型实现了应用和数据的隔离,确保数据的安全。同时Cognos产品在进行数据访问时采用高标准的加密技术,能够杜绝对数据的非正常访问。
4.2.9系统安全性
Ø 登入时自动生成所有系统的验证标志,实现跨平台,跨服务器的授权和管理功能;
Cognos的所有功能,包括报表,查询,分析,管理等本身是统一认证,统一权限管理的。同时Cognos具有SSO功能能够实现和其他系统的统一认证,一次登录,实现跨平台,跨服务器的授权和管理功能;。COGNOS提供用来自定义安全性的Java开发接口和C/C++级别的安全认证开发包,能够与系统中的同类产品、底层数据库、操作系统、Web服务器和应用服务器等组件进行无缝高效的安全性集成,构成一次登录、紧密集成、安全性统一的混合应用系统。用户只要一次登录,即可按权限配置使用系统中被授权的任何功能。
Ø 登入时只生成本系统的验证标志,在转入其他系统中时,通过验证的标志中转化出当前系统需要的验证;
Cognos的所有功能,包括报表,查询,分析,管理等本身是统一认证,统一权限管理的。同时Cognos具有SSO功能能够实现和其他系统的统一认证,一次登录,实现跨平台,跨服务器的授权和管理功能;。COGNOS提供用来自定义安全性的Java开发接口和C/C++级别的安全认证开发包,能够支持登入时只生成本系统的验证标志,在转入其他系统中时,通过验证的标志中转化出当前系统需要的验证;能够与系统中的同类产品、底层数据库、操作系统、Web服务器和应用服务器等组件进行无缝高效的安全性集成,构成一次登录、紧密集成、安全性统一的混合应用系统。用户只要一次登录,即可按权限配置使用系统中被授权的任何功能。
Ø 综合数据库使用数据库来记录当前的在线信息,登入后就往数据库增加在线信息,并且存入客户端的能够体现其唯一性的信息(IP地址+机器名等);
Cognos具有灵活的审计功能,管理员可以启用审计功能,自动将用户的访问情况、所有业务操作记录在数据库中,是否记录以及记录的详细程度可以根据需要进行灵活选择.如访问的时间、频度等,高级别的审计可以记录用户所做的每一步操作。同时可以通过系统的报表,分析等功能,对用户的操作进行查询,分析和统计。
Ø 保证系统中的信息不被非授权访问,按组织结构划分操作人员的操作权限。且各种使用权限所能调用的应用软件功能和数据可按要求自由组合,由系统管理员统一调度;
Cognos具有完善的权限控制机制,能够保证系统中的信息不被非授权访问。一方面,Cognos能够支持对用户,用户类,用户角色的定义,另一方面,可以对系统中的软件功能,报表,数据等进行权限控制。管理员可以根据需要对用户,用户角色,用户类能够访问的软件功能,报表,数据等信息进行灵活的组合,从而适应企业对系统权限控制的要求。
Ø 当安全系统被破坏时,系统应自动提醒操作员,并检测出反常现象,提供正确操作方法。投标方须列出系统所能提供的报警方式。
Cognos具有灵活的审计和自动监控功能,管理员可以启用审计功能,自动将用户的访问情况、所有业务操作记录在数据库中。同时可方便的定义事件。当系统检测到异常,可以通过门户新闻,EMAIL等方式通知管理员,对系统异常进行报警。
4.3 Cognos支持的软硬件平台
Cognos支持包括Windows, HP-UX PA-RISC, HP-UX Itanium,IBM AIX,SUN Solaris, Linux等各种主流软硬件平台。同时能够支持各种软硬件平台之间的跨平台的负载均衡和容错保护功能。
4.4系统的负载均衡和容错保护说明
Cognos 软件本身就提供了Cognos 应用服务层的智能的负载均衡和容错保护功能。并发的用户请求提交到Cognos服务的负载均衡和容错的集群中进行处理。Cognos 服务根据各服务器资源的使用情况,确定处理用户请求的服务器,Cognos服务器查询数据源,生成结果通过Web Server返回给用户。通过Cognos的负载均衡和容错保护功能,用户可以根据用户环境的情况灵活配置服务器,最大限度利用已有的投资。当需要在已有的负载环境中新增加服务器,只需要通过简单的配置即可,不需要硬件的负载均衡,不需要操作的负载均衡,也不需要应用服务器的负载均衡。能够支持混合环境中的服务的负载均衡。同时Cognos的容错保护功能,能够在负载均衡和容错保护得集群中有服务器出现异常不能为用户处理请求,其他服务器能够自动承担用户的请求,从而真正实现系统为用户提供24*7的全天候服务。
4.5 Cognos技术方案的性能说明
Cognos技术方案就是为大数据量,大用户数的企业级环境精心设计。
Cognos 主要在如下几个方面确保整个系统的性能,能够确保系统报表,分析查询的秒级响应:
n Cognos的ETL工具在进行数据加载时可以根据不同的数据库类型使用在该数据库上最快的加载方式,从而大大提高了数据加载的速度。
n Cognos对于统计汇总查询采用OLAP技术实现的多维立方体(cube),Cognos OLAP Server具有极高的存储效率和响应速度,完全脱离了关系型数据库在性能和存储空间效率上的羁绊,保证用户在访问数据时达到秒级的响应速度。
n 采用虚拟Cube技术,对大Cube实现了分区存储,增量更新。有效的提高了用户对Cube的访问效率。同时支持超大数据量。
n Cognos具有独特的穿透钻取功能,使查询有的放矢,钻取出来的信息一定和当前数据相关,提高了对数据库服务器的有效利用率
n Cognos产品提供高速缓存机制,在内存中存储已经查询过的结果,这样能保证在大用户并发的情况下提高整个系统的响应速度。提高查询性能,缓解系统的压力。
n Cognos服务器提供负载均衡和良好的扩展能力,模块化的产品结构可以部署在多台Server之上,并且能够很方便的进一步扩展,从而使系统的性能得到保证。同时Cognos采用松耦合的结构,其负载均衡可以采用多种方式,可以针对服务进行负载,也可以针对模块进行负载。访问Cube时,可以每台服务器上发布同样的Cube,也可以将不同的Cube发布在不同的服务器上。
n 多路查询功能,Cognos明细查询功能可以在用户的要求中利用SQL技术实现多路查询,可将多连接的大数据量查询分成多个查询,得到小数据量的结果集,提高查询速度。
n 动态SQL功能,Cognos具有动态SQL方式,可根据用户的环境,用户对条件的选择动态的生成查询,能最大限度的适应数据库结构针对性能的优化。
n 多线程机制,每个用户请求对系统资源的占用少,能最大化资源的利用和用户并发,即使某个用户请求出了问题,不会影响其他请求,系统还能照常运行。
n 无状态连接方式,cognos 采用的无状态连接,服务器只有在用户进行动态操作时才会使用,能更有效的使用系统资源,支持更多用户并发。
n 多种级别的设计方式,cognos具有多级别的设计方式,允许用户在模拟数据或是采样数据的情况下对查询和报表进行设计,设计完成之后只需要选择在全数据模式下运行就可以了,能最大限度的降低对数据库的压力。
在性能方面,Cognos的良好的性能涵盖了ETL,数据库访问,企业级OLAP Server,应用服务,用户访问等整个应用的各个层次,能够为XXXXXBI系统应用提供优异的性能。
4.6备份与恢复
Cognos作为全球领先的企业级BI软件和解决方案提供商,其产品具有良好的备份和恢复机制。可以实现对系统的自动备份,以及出现特殊情况下,能够实现系统的恢复,从而最大限度的提高系统应用的可靠性.
数据备份的备份与恢复:
Cognos系统应用中的数据主要为Cube和用户数据。Cognos的Cube为文件型多维立方体,可以直接通过文件拷贝的方式进行备份。当出现意外如系统磁盘损坏等情况时,已有的Cube不能访问时,可以直接将备份的Cube文件重新拷贝到系统文件夹下就能够正常访问了。对于用户数据,Cognos提供了专门的工具,在图形化界面中通过简单的设置就能将用户相关的信息进行打包,形成用户信息的数据文件。通过文件方式进行拷贝备份,当系统需要恢复时,只需要将备份的文件拷贝到系统中,然后在图形化界面中通过简单的设置就能对系统的用户信息进行恢复。
开发应用内容的备份与恢复:
Cognos系统中的主要开发应用内容包括了各种模型文件,报表定义文件,以及门户应用等,对于模型文件,报表定义文件等可以直接通过文件备份与恢复的方式进行常规的备份和恢复。对于门户应用,Cognos提供了专门的工具,在图形化界面中通过简单的设置就可以方便的实现系统门户内容的打包备份,打包之后可以生成对应的备份文件。通过文件方式进行拷贝备份。当系统需要恢复时,只需要将备份的文件拷贝到系统中,然后在图形化界面中通过简单的设置就能对系统进行恢复。
第五章 方案的特点、优势。
这部分将结合《XXXXXBI系统》项目的具体情况和实施特征,介绍Cognos技术方案的特点和优势,以及这些优势将为项目实施和今后的应用带来的帮助和收益。
5.1 Cognos技术的特点和优势
综合上面的论述,结合Cognos技术方案自身技术特点,我们可以列出Cognos技术方案在BI应用方面的突出优势:
海量数据、海量并发用户下的秒级响应能力:
这是Cognos技术方案最具特色的优势。由于采用了企业级的OLAP Server等,Cognos技术方案能够在大规模应用中体现超越其他解决方案的承载能力和处理能力的优势;
全景数据视图能力:
Cognos技术方案通过同一的元数据模型能够在前端应用当中提供数据立方体、数据库甚至是业务数据库之间的衔接和漫游能力,为用户提供全景数据视图;
贯穿始终的安全性控制:
Cognos技术方案提供统一的安全性控制机制,任何应用都受到安全性控制的约束,Cognos的安全性控制粒度可以从系统、应用模块、数据立方体、报表一直细化到行、列甚至单元格,这种安全性控制能力是企业级项目成功应用的可靠保证;
直观、易用的使用界面:Cognos技术方案中的所有产品均提供面向最终业务用户级别的易用性,这种易用性贯穿报表、查询、OLAP分析等全部前端应用环节;
可扩充性和可延展性:
Cognos技术方案可以根据并发用户数量和数据量进行动态的扩充,增加处理节点,进行负载均衡;通过Cognos提供的多种接口,更可与其他系统横向结合进行功能延展;
低实施成本:
Cognos技术方案具有更好的可实施性和可操作性,这得益于其各个模块中均封装了足够强大的功能和足够的灵活性,尽量避免在实施过程中进行程序开发,项目对人员数量的需求也较小,使得整个项目的实施成本降低,实施周期缩短。
网络带宽占用小:
Cognos技术方案中采用了服务器集中处理的方式,分析、报表等应用都采用无插件的纯浏览器界面,用户访问时,只需要将分析、报表的处理结果返回到客户端,而不需要将明细数据从服务器端发送到客户端,能最大限度的减少大用户访问时对网络带宽的占用。
5.2 Cognos技术方案在系统集成方面的优势
结合上面的论述可以看出,Cognos技术方案在系统集成方面有如下几点突出的优势:
开放性:
Cognos技术方案自始至终遵循开放性的标准,并尽可能使用工业标准和协议,例如安全性管理采用LDAP Server,界面定制和报表数据描述采用XML。Cognos是一个开放性的、融合了大量业界标准的综合应用平台,而这个特性将带来系统集成的高质量和高成功率。
可扩充性:
接口的开放性直接决定整个系统的可扩充性,因为采用标准化接口已经成为目前软件系统发展的趋势,越是采用标准化技术和接口的系统,就越便于与其它功能模块进行结合,从而扩充功能,形成规模化应用。
稳定性:
Cognos为系统集成提供了大量非程序开发接口,具有很好的封装性,尽量避免开发复杂代码,这种封装特性是整体系统稳定性的保证。
低开发量:
Cognos的接口可以通过很简单的命令实现复杂的操作组合,降低了开发量和开发难度。
5.3 Cognos技术方案在应用过程中将带来的收益
5.3.1 大用户数和大数据量的数据访问分析
Cognos 解决方案具有处理大用户数和大数据量的数据访问分析能力,性能稳定,承载能力杰出。Cognos具有企业级OLAP服务器,能处理TB级的海量数据,并保证最终结果在存储结构、访问速度上的高效率; Cognos 能够将Cube和报表等内容在Web上分布、管理,它的负载均衡、服务器容错等特性可以完美地支持大用户数和大数据量的访问,无论是一个用户还是上千个用户都能轻松应付;Cognos具有高效报表制作、即席查询工具,由于采用了多线程支持、高效率的处理流程和优化的查询结构,能够高效地响应对用户的请求。
5.3.2 强大的报表相关能力
由于Cognos自身具有强大的报表制作功能,所以Cognos 能满足上千用户在各自的桌面或远程访问所需的各种报表需求。
利用Cognos报表的Web发布管理服务器,灵活的部署能力和负载均衡,发布成百上千份的报表。用户能够非常方便的制作报表,自动在Web 上发布报表。企业内部和外部的所有类型用户无需经过培训都可以通过Web访问、察看、打印报表。
5.3.3 企业及安全性保护数据安全
Cognos采用集中方式、基于LDAP的安全管理机制。Cognos提供了一种API的方法使Cognos和企业已有的安全性集成。以工业标准LDAP目录服务的方式进行用户安全性管理,能与其他安全性产品和应用集成使用。
5.3.4 系统的可扩展性为企业发展留出广阔空间
首先,Cognos的单应用服务器体系结构,是一个可扩展的体系结构,它允许IT轻松而迅速地增加更多的处理能力,即从单应用服务器扩展到多应用服务器,允许更多的用户在Web上访问分析和数据传输。因为Cognos EBI解决方案是以多层次的处理体系结构为基础,能自动调整负载平衡和服务器容错处理,能同时支持UNIX和NT操作系统平台。
5.3.5 易用性和低部署成本
Cognos完全可视化的图形界面简单易用,而且由于具有零客户端特性,Cognos可以节约大量部署成本,并使管理简单易行。
第六章 实施方案
6.1实施目标
本次项目主要涉及形成XXXXX集团公司数据规划,建设综合数据库,实现数据采集和ETL功能,建立企业级的辅助分析决策系统,实现门户集成
6.2 实施过程中的指导原则
从国内外大型企业实施的经验来看,XXXXXBI系统必需有一个科学的统筹安排,以保证系统有计划、分阶段、分步骤地实施。因此,有必要给出一些基本的原则。
指导原则
• 充分利用已有技术和实施经验
由于优信佳公司有大量系统的成功的实施经验,例如PICC,CCTV,人民银行,中国银行等项目中基于Cognos产品实现了集中数据库构建,ETL,报表,查询,分析展现,系统集成等各种方面的功能,可以为XXXXXBI系统建设提供宝贵的经验。
• 结合自身特点
每个企业都有自己的独特之处,所以系统的建设一定要结合自身的现状、特点等合理考虑。
• 降低风险,节约成本,
要用各种措施尽量降低风险。选用产品要考虑未来扩展性,节约成本。
在此我们将尽最大的努力,为XXXXXBI系统提供一份满足需求、配置合理、具可操作性的Cognos实施方案,并结合我们以往的经验,提供综合数据库实施方案。我们对Cognos产品的技术层次和Cognos技术方案的优势抱有相当信心,衷心希望能有机会与XXXXX集团进行合作,为XXXXX集团的信息化建设贡献我们的微薄力量。但由于时间仓促,而且该项目尚未正式启动,我们还没有机会进行深入的需求调研和业务调研,因此我们对项目的一些理解以及对企业的业务理解可能会有偏差,还望诸位行业专家给与指正和帮助,对此我们深表感激。
6.3实施过程与内容
这部分将着眼于XXXXXBI系统Cognos技术方案的实施过程,说明在实施过程中将会出现的问题和解决方法,在项目人员配置、项目进度、资源规划上给出建议,并探讨了Cognos解决方案在实施过程和风险规避方面的优势,最后简要介绍Cognos解决方案的一般开发流程。这部分侧重于解决方案的工程实施层面,可以为工程管理人员、项目规划人员提供参考。
本节我们将针对Cognos解决方案实施步骤中的主要工作内容和成功关键点进行详细介绍,这些成功关键点的定位主要依赖于两方面:一方面是根据我们以往积累的Cognos项目实施经验,另一方面是根据我们对XXXXX集团综合数BI系统情况的初步分析。
XXXXXBI系统项目实施主要包含项目启动、需求分析,系统设计、系统实施、系统测试、系统移交等六个阶段。
6.3.1 项目启动阶段
项目启动阶段的任务是定义、计划和启动项目,包括确定项目范围和目标、准备详细的项目计划、组建项目小组和召开项目开工会等等。
项目启动阶段的几项主要活动包括:
u 确定项目范围和目标
u 分配人员和资源
u 项目介绍
u 制定项目计划
u 制定元数据策略
u 召开项目开工会议
项目组的建立是项目启动的重要工作,典型的项目组成员包括:
项目总监:确定与核实项目目标、项目范围,调配所需的人力、物力资源,检查关键的阶段性成果和最终成果,确保项目建成后的有效利用。
项目经理:是项目组的负责人,主要职责是制定项目计划,并随时修正使之与项目进展相对应;管理项目小组,协调项目组与相关业务部门的关系,使各项任务能够按计划完成;把项目费用控制在预算范围内。
需求分析员:参与用户访谈,收集和评估用户需求,进行业务需求分析。
Cognos产品高级咨询:负责项目中所有Cognos应用的设计和实施指导。Cognos产品技术专家并不是项目开发的主力人员,而是借助其丰富的Cognos知识和实施经验,指导项目组中的其他人员正确使用Cognos产品,充分发挥Cognos产品的功能和优势,同时还需要负责解决项目组其他人员遇到的关于Cognos产品的技术问题,并完成对系统实施工程师的Cognos产品培训工作。
数据模型设计人员:负责调查分析数据源,如果报表项目的数据源没有经过整合,那么该角色人员需要确定数据抽取与转换规则,参与数据建模过程。如果该项目中已经将前提建立在了已经抽取好数据的基础上,所以该角色人员的工作主要负责调查分析数据结构。
数据库管理员:负责从逻辑模型到物理模型的转换以及项目开发期间的数据库管理工作,参与数据转换及数据查询工作。
多维模型设计人员:负责结合需求分析进行多维模型设计。
系统实施工程师:包括元数据模型开发工程师,多维模型开发工程师,分析、报表开发工程师等。系统实施工程师也负责项目开发期间系统的搭建、管理与维护工作,是系统实施的主力军。
系统架构设计人员:确定报表项目系统构架,安全需求,制定安全政策、程序和标准,参与确定系统安全策略;
在项目启动阶段,主要参与人员为项目总监和项目经理,在组织会议期间,所有项目组成员需要参加。
以上描述的是人员的角色,不同的人员角色往往在整个实施过程中的不同步骤承担工作,实际实施过程中,根据实际情况,一个人员可能承担多个角色。
该阶段实施方应当交付如下文档进行备案:
u 《项目计划》
u 《项目组人员安排》
u 《项目实施规范》
该阶段的成功关键点在于仔细地定义和计划项目,所有的关键人员都应该清楚地理解和支持项目范围与目标,这样才能避免风险,有效地管理好项目。
6.3.2 需求分析阶段
项目启动之后则正式进入项目的设计开发阶段,其第一步就是需求分析。对任何项目来说,需求分析都是非常重要的。因为系统的建设是为完成用户的需求,辅助用户进行决策而建设的,IT部门盲目的闭门造车只能导致失败。只有通过用户访谈和分析讨论,真正了解企业的需要,深入了解业务细节,总结出业务需求,才能进行模型设计和实施,最终完成整个项目的建设。
需求分析分成两部分,第一部分是收集业务或功能性需求分析,第二部分是收集非功能性需求:
业务或功能性需求分析:功能性需求分析是系统项目中最重要的一个步骤。 在没有仔细做好需求收集与分析的工作前就直接跳入项目实施步骤,往往会最终导致整个项目的失败。
《XXXXXBI系统》参与需求分析的业务人员应该具备以下几个条件:
u 应对自己的业务有很深刻的了解;
u 必须对项目有一定的了解,并且理解项目将会带来的好处;
u 能够提供有灵活性、与系统紧密结合的需求
非功能性需求分析:非功能性需求只有通过与业务人员交流才能获得,例如模块设置需求,系统安全需求和查询响应率要求等等。如果参与需求分析业务人员不了解应用概念及应用的功能,我们可以提供一些Cognos报表模块的范例、指标模型范例,必要时可以进行Cognos全系列产品的演示,使业务人员对这种强大的工具有一个比较清楚直观的认识,以便提出更多与系统相结合的需求,同时也能完全释放Cognos产品蕴涵的功能。
在项目启动阶段,主要活动通常包括如下几项:
u 业务规则建档
u 具体的需求文档
项目启动阶段主要涉及的是业务领域的人员,包括:
u 业务顾问
u 业务分析员
需求分析阶段在整个系统实施过程中非常重要,我们在需求分析过程总结了一些有助于需求分析成功的经验,作为该步骤的成功关键点,列举如下:
需求访谈及其重要性:一般情况下,业务人员和管理人员工作繁忙,但无论如何他们也有必要抽出时间参与需求访谈的讨论,接受采访或其他获取需求的活动。因为在需求访谈的过程中,通过需求分析人员的引导和提示,业务人员和管理人员通常会想到更多、更有益的要求,这些可能是其他人无法自己冥思苦想出来的。
分析人员必须了解最终用户的业务及目标:只有分析人员更好地了解最终用户的业务,才能使本项目更好地满足企业需要,并有助于项目实施人员设计并实施出真正满足客户需要并达到期望的优秀系统。为帮助实施和分析人员,最终用户可以考虑邀请他们观察自己的工作流程。并对一些特殊的业务统计口径,业务要求等进行说明。
分析人员要使用符合客户语言习惯的表达:需求讨论集中于业务需求和任务,因此要使用业务术语,而非IT术语。最终用户应将有关术语及其含义传授给分析人员,而最终用户不一定要懂得计算机行业的术语。
要求得到需求工作结果的解释说明:分析人员可能采用了多种图表作为文字性“需求分析报告”的补充说明,如分析人员总结的关键指标之间的关系图等。因为工作图表能很清晰地描述出系统行为的某些方面,所以报告中各种图表有着极高的价值;虽然它们不太难于理解,但是最终用户可能对此并不熟悉,因此最终用户可以要求分析人员解释说明每个图表的作用、符号的意义和需求开发工作的结果,以及怎样检查图表有无错误及不一致等。
实施人员要对需求及项目实施提出建议和解决方案:分析人员应尽力从已有的解决方法中了解真正的业务需求,同时还应找出已有系统与当前业务不符之处,以确保实施出来的系统不会无效或低效;在彻底弄清业务领域内的事情后,分析人员就能提出相当好的改进方法,有经验且有创造力的分析人员还能提出增加一些最终用户没有发现的很有价值的系统特性。
了解最终用户的非功能性需求:最终用户会要求分析人员在实现功能需求的同时还注意系统的易用性,因为这些易用特性或属性能使最终用户更准确、高效地完成任务。例如:最终用户有时要求产品要“界面友好”或“健壮”或“高效率”,但对于开发实施人员来讲,太主观了并无实用价值。正确的做法是,分析人员通过询问和调查了解最终用户所要求的“友好、健壮、高效所包含的具体特性,具体分析哪些特性对哪些特性有负面影响,在性能代价和所提出解决方案的预期利益之间做出权衡,以确保做出合理的取舍。
准确而详细地说明需求:编写一份清晰、准确的需求文档是很困难的。由于处理细节问题不但烦人而且耗时,因此很容易留下模糊不清的需求。但是在开发实施过程中,必须解决这种模糊性和不准确性,否则,就只好靠实施工程师去正确猜测了。
最终用户必须及时作出决定:分析人员会要求最终用户作出一些选择和决定,这些决定包括来自多个最终用户提出的处理方法或在质量特性冲突和信息准确度中选择折衷方案等。有权作出决定的最终用户必须积极地对待这一切,尽快做处理,做决定,因为项目实施人员通常只有等最终用户做出决定后才能行动,而这种等待会延误项目的进展。
评审需求文档:最终用户评审需求文档,是给分析人员带来反馈信息的一个机会。如果最终用户认为编写的“需求分析报告”不够准确,就有必要尽早告知分析人员并为改进提供建议。
需求变更要立即联系:不断的需求变更,会给在预定计划内完成的项目部分带来严重的不利影响。变更是不可避免的,但在开发周期中,变更越在晚期出现,其影响越大;变更不仅会导致代价极高的返工,而且工期将被延误,特别是在大体结构已完成后又需要增加新特性时。所以,一旦最终用户发现需要变更需求时,请立即通知分析人员。
6.3.3 系统设计阶段
在结束业务目标分析与需求分析的工作之后,项目进入设计阶段,这个阶段一般包括如下活动:
u 总体框架设计
u 系统规划
u 模型设计
u 前端应用设计
u 二次开发功能设计
总体框架设计是指设计整个系统的整体架构,为下一步的详细设计和实施打下基础,设计要具体到系统的组成部分以及软硬件产品。
总体框架设计包括以下内容:
Ø 网络连接设计
Ø 系统安全设计
Ø 系统备份和恢复设计
系统规划结合系统最终的设计目标,主要设计系统制定编码标准,形成数据字典,为将来综合数据库的建设形成数据标准和规范,为系统和其他应用之间信息交换的接口标准。在进行系统规划时需要考虑标准的通用性,扩展性,易于理解。
数据模型设计是项目中非常重要、具有很大弹性和需要技巧的阶段,模型设计的好坏差别是非常大的。模型设计得好,就为项目打下了良好的基础,使得数据结构合理,数据整合程度适中,数据处理容易,查询效率高,占用空间少,并预留好与后期项目的接口,使项目与项目之间非常容易衔接;但如果模型设计得不好,会产生各种各样的问题,如数据布局不合理、数据处理困难、查询效率低下、与后期项目难以衔接、项目进展缓慢等等,甚至可能造成项目的失败。
在进行逻辑模型设计时,首先要确定一些重要的主题域,再逐步增加更多的主题域。每一个主题域往往包括一系列不同的表:
数据表,查找表(维表),汇总表等。
数据表包括从最底层业务系统抽取出来的原始数据表;
查找表(维表)是一些存放业务数值描述代码的代码表;
汇总表则包含了一些汇总的数据。
这些数据库表的类型根据项目的情况,灵活设计。
这些不同形式的表能够大大缩短了复杂的数据查询的响应时间。
OLAP 模型设计是基于已有的数据库数据模型,将数据库中结构转化成基于主题的多维数据立方体。由于Cognos OLAP模型设计能够基于明细数据,也可以基于数据库中的主题域数据。具有很大的弹性。OLAP立方体模型设计的时候,需要在满足用户的需求的基础上,考虑到模型的效率,可扩展性。需要将Cognos多年实施项目的经验和用户的需求相结合。
根据我们的经验,在进行模型设计时应注意以下几个关键点:
主题的确定:主题是一个逻辑概念,它应该能够完整、统一地刻画出分析对象所涉及的各项数据以及相互联系。划分主题的根据主要来源于两方面:对原有固定报表的分析和对业务人员的访谈。原有固定报表能较好地反映出以往工作对数据分析的需求,而且数据含义和格式相对成熟、稳定,在模型设计中需要大量借鉴。但仅仅满足于替代目前的手工报表还远远不应是系统的目标,还应该通过业务访谈,进一步挖掘出日常工作中潜在的更广、更深的分析需求。只有这样,才能真正了解构建模型所需的主题划分。
分析内容的细化:主题的划分实际上是与分析内容的范围直接相关的,一旦主题划分清楚了,下一步就是细化分析的具体内容。通常维元素对应的是分析角度,而度量对应的是分析关心的具体指标。一个指标究竟是作为维元素、度量还是维属性,取决于具体的业务需求,但从实际操作中可以总结出如下的概念性经验:作为维元素或维属性的通常是离散型的数据,只允许有限的取值;作为度量的是连续型数据,取值无限。如果一定要用连续型数据作为维元素,则必须对其按取值进行分段,以分段值作为实际的维元素。判断分析指标是作为维元素还是维属性时,则需要综合考虑这个指标占用的存储空间与相关查询的使用频度。需要特别强调的是,在细化分析内容的过程中,务必解决指标的歧义问题(口径差异的问题)。在不同报表中以及在业务访谈中同一名称的指标,是否是在同样条件限定下,通过同样方法提取或计算得到的,它们之间的相互关系是什么,这些问题都必须从熟悉业务的分析人员那里得到准确、清晰的答案,否则将会影响到模型设计、数据提取、数据展现等多个方面。
粒度的设计:模型中所存储的数据的粒度将对信息系统的多方面产生影响。事实表中以各种维度的什么层次作为最细粒度,将决定存储的数据能否满足信息分析的功能需求,而粒度的层次划分、以及粒度的选择将直接影响查询的响应时间。
模型设计的技巧:这些技巧通常需要在项目中不断积累,例如:复合指标尤其是比率类指标的定义,必须注意累加时是先加减后乘除,还是反之(Cognos Transformer 中的 After Rollup 和 Before Rollup能分别满足两种顺序);度量的时间特性,针对分析指标在时间维上的不同表现,可分为可累加指标、半可累加指标和不可累加指标(Cognos Transformer 中针对指标提供不同的Rollup方式)。这些设计技巧一般由项目组中的Cognos产品专家进行辅导和培训,Cognos产品专家又需要与业务分析人员一同确认模型设计的正确性。
多维立方体的生成方式控制:Cognos的Cube生成具有多种灵活的方式,首先通过图形化的界面通过点击鼠标的方式就可以可视化的生成Cube.同时Cognos为Cube生成提供了完善的接口,可以通过命令,接口调用等方式对Cube的生成进行设置和触发。这样就可以通过如时间控制,当到了某个时间点自动启动Cube的处理,或者将Cube的处理和数据库处理过程进行流畅的连接。当数据库处理过程处理完之后,通过自动调用一个命令启动Cube的处理。这样就能够实现整个系统数据处理的流程化控制。
前端应用设计是整个项目将面向最终用户的部分,因此前端应用的质量将直接影响用户的接受程度和项目的成败。前端应用设计主要包括如下几个方面:
u 报表设计
u 数据查询应用的设计
u 报表分发设计
u 多维分析设计
u 绩效管理设计
前端应用设计过程需要咨询最终用户,听取最终用户对前端应用的需求和意见,以保证前端应用能够被最终用户接受。
同时根据我们的Cognos解决方案实施经验,数据模型设计和OLAP模型设计(面向主题的数据集市模型设计)是系统的基础和成败的关键,在设计数据模型时要考虑到设计模型的灵活性和扩充性,要充分考虑如下几点:
Ø 未来增加的新业务系统
Ø 现有业务系统的更新
Ø 模型增强与扩展
在《XXXXXBI系统》中需要通过二次开发实现的内容如果相关的信息在数据库中进行存储,就需要涉及到数据库相关表结构的设计,当进行审批的相关数据库表设计的时候,需要充分考虑功能的扩展性,记录下相关的信息。同时需要设计和Cognos整体技术方案的集成性,如安全性的集成。
系统设计阶段主要参与人员包括:数据模型设计人员、数据库管理员与元数据设计人员,多维模型设计人员等等。
该阶段应当交付如下文档备案:
u 《系统实施策略和标准》
u 《系统结构设计文档》
u 《数据模型设计说明书》
u 《元数据说明文档》
u 《OLAP模型设计说明书》
6.3.4 系统实施阶段
在模型设计阶段结束后,数据结构都已定义好,就可以进入项目的实施阶段。前面需求分析、框架设计、模型设计的好坏,经过实施阶段最终都能得到验证。而此阶段数据转换和数据展示的设计也是非常重要的,无论数据模型设计得多好,只有使用经过正确转换和清洗的数据,才能得到正确的分析和报表结果;只有设计出符合用户需要的数据展示方式,数据分析和报表结果才能真正为用户所用,其价值才能得到体现。
实施阶段主要包括以下工作步骤:
u 实施准备,确定项目角色,对已有的设计进行最后的检查
u 数据模型实现
u 多维模型实现
u 数据展示,将数据查询和分析的结果展示给最终用户,主要包括以下几种方式:
Ø 固定报表
Ø 数据查询
Ø 多维分析
Ø 关键指标管理
实施阶段参与的主要人员有:
数据分析员、Cognos产品高级咨询、数据库管理员、模型设计人员、系统实施工程师等等。
实施阶段可以交付如下文档进行备案:
u 《模型实现说明书》
u 《数据验证报告》
u 《系统前端应用测试报告》
u 其他相关的文档
系统实施过程中除了上述在关键技术介绍中提到的模型实现之外,还应该特别注意的优化工作。在运行的过程中进行调整、完善。优化包括两方面的工作:
性能:系统涉及海量数据的查询,数据的大量读取和运算,不仅对系统的要求相对较高,而且与OLTP系统的要求不同,因此在系统设计、实施和维护的过程中,系统的性能都是一个不可忽视的问题。尤其是在运行期间,要密切关注应用对系统资源的消耗情况,针对应用的特点及时对系统进行调整,包括调整系统参数、数据分片放置、创建索引等。
模型:应用与需求是相互促进、不断发展的,随着信息系统建成运行,用户在对系统了解不断加深的过程中,也会对系统提出更新更高的要求。如何在最小投入的前提下满足用户的需求,也是一个值得注意和潜心研究的问题。首先要尽可能挖掘现有系统的潜力,其次考虑,对主题的增加或可在现有系统上增加少量指标就可解决的需求,对系统进行适当调整,最后才考虑对系统进行重构,尽可能减小系统建设中的投入。
下面对实施中涉及到的主要工作内容进行简要地描述:
6.3.4.1数据处理
在数据库中通过Cognos DataManager对数据进行粒度汇总。在该步骤中直接在Cognos DataManager的图形化界面中对数据处理的过程进行配置,设计数据转换规则,建立共享维度、建立维度转换规则、建立事实表转换规则、建立数据清洗规则等,并且通过工作流程对数据处理的各步骤进行控制。最后用少量数据试运行,优化设计,各方面满足需求后,该阶段工作完成。
6.3.4.2元数据准备
本阶段主要准备Cognos与数据库之间连接的语义层,封装数据库底层表和字段,建立表连接,为后续开发人员和最终用户提供一个贴合业务术语的数据库结构视图。在进行元数据模型设计时,可以采用系统的最佳实现,将模型分为两层,一层为数据库的物理结构,另一层为业务的逻辑结构,这样有利于将来的管理维护以及开发。模型本部分工作主要是使用Cognos Framework Manager,如果开发人员已经用其他元数据工具定义好语义层,则可以使用Cognos Framework Manager 直接导入。在元数据模型中可以对已有的数据库结构进行描述,加入各种计算字段,绑定数据的过滤器等,同时可以采用动态SQL,使查询的语句根据不同的条件和情况灵活的适应数据库结构。
6.3.4.3安全性准备
在明确企业安全性需求,并进行安全性结构设计后,就应当将安全性规则实现了。这部分工作将围绕Cognos认证与SDK模块进行,主要包括以下内容:
1)确定安全性方案,如果使用Cognos安全性方案,则需做好解决方案中包含的非Cognos产品模块与Cognos安全性方案的接口工作;如果使用第三方安全性方案,则需要将Cognos认证适配到第三方方案中。
2)根据企业安全性需求,建立用户分组信息,即用户类
3)试运行,测试安全系统集成质量,各方面满足需求后,该阶段工作完成。
6.6.4.4 OLAP模型实现
本阶段的主要工作是根据需求分析来规划OLAP应用主题,然后根据OLAP应用主题建立若干个数据集市。这部分工作主要是使用Cognos Transfomer来完成,开发人员在Cognos Transformer提供的图形化设计界面中,设计多维的维度、维度层次、度量等元素,对于连接数据库中明细数据构件的模型,往往需要在进行并采用少量数据验证数据集市设计,当各方面满足需求后,该阶段即告完成。在进行少量验证数据生成Cube时,可以帮助实施人员找到模型设计的问题。发现一些数据处理中的异常情况以及数据中不规范的情况,协助我们完善数据的处理,以及模型的设计,使结果更加适应用户的需求。同时可以采用虚拟Cube等技术进一步提高OLAP的性能和灵活性。
在这一步中,实际上是通过图形化的界面将设计阶段涉及好的多维模型物理化。
6.3.4.5报表开发
报表开发包含两类报表:直接以数据库为数据源的报表,以及以Cognos Power Cubes为数据源的统计分析报表。Cognos的报表开发过程不需要编写脚本和程序,仅需在报表设计界面中进行鼠标拖拽式设计,即可实现从简单到复杂的各种报表,通过报表开发,可以形成各种面向用户的丰富的展现内容。如仪表盘报表,自动综合报告等
仪表盘报表:
综合报告:
6.3.4.6 OLAP分析应用和关键指标管理开发
对于OLAP分析,开发人员仅需将Cognos Power Cubes发布到Cognos Server中即可,Cognos将自动为OLAP分析提供一个直观易用的界面,如下图所示:
对关键指标进行监控和管理
6.3.4.7客户化定制
对于界面客户化定制,通过大量项目的实施,已经形成了大量的客户化界面模版,可以按照客户对界面客户化的要求,进行修改。做到和XXXXX集团公司的官方网站风格一致。
6.3.4.8其他相关内容的实现
在系统实施过程中, 需要按照系统设计实现相关的系统控制,如系统的备份和恢复,以及Cube的自动化调度刷新等相关的控制等.
6.3.5 系统测试
此步骤主要是进行验收测试工作,确保系统是满足用户的特定需求的。这些测试是在开发和实施人员内部测试完成之后进行的,因而确保了与环境有关的问题都已解决,测试环境是非常稳定的。虽然系统严格按照系统实施的规范按部就班的进行,能够最大限度的防止问题的发生,但是在测试过程中,往往还是会发现的系统中存在的小问题,当发现问题时需要进行及时的处理。通过对系统的修改使系统能够满足用户的需求。
验收测试的工作包括:设计测试方法和标准,制定质量保证报告。
测试内容包括首次加载测试、后续加载测试、数据准确性测试,系统集成测试、性能测试、功能测试等。
测试完成后提交测试报告。
测试的参与人员有:项目组系统设计和实施成员。
测试阶段应当交付如下文档备案:
u 《系统测试计划》
u 《系统测试报告》
测试阶段的成功关键点主要有:
明确测试目的:测试的目的是验证当前建立的系统是一个“正确”的系统,并且满足了特定的技术和功能需求,测试过程中应当对项目采用“成品”的水准来要求,而非开发的环境中运行的半成品应用程序。
让最终用户参与测试:尽量让最终用户参与到测试工作中来,因为最终用户可以从业务人员的角度审视项目,并且能发现许多IT人员无法发现的错误。最终用户是项目的最后考官,因此有必要在测试阶段就争取让少量最终用户参与进来,这类最终用户包括一线业务人员和管理人员。
6.3.6 系统上线移交
完成系统最终迁移,移交工作。在这部分工作中,主要需要迁移的内容包括:
模型文件,Cube文件,通过Cognos开发的报表、查询等各种应用,以及通过客户化完成的功能。
l 模型文件,Cube文件可直接通过文件拷贝的方式实现从开发系统到运行系统能够的迁移。
l 通过Cognos开发的报表、查询应用,可直接在Cognos提供的界面中将应用生成包文件,然后将包文件拷贝到运行系统中,在通过Cognos提供的图形化界面进行恢复即可。
l 对于系统二次开发客户化定制的内容,可将开发程序文件,程序包等内容拷贝到运行系统中,通过参数修改进行部署。
在进行迁移的过程中可按照《迁移文档》进行操作。
移交过程主要是需要对XXXXX集团公司的相关人员进行培训,使用户能够掌握系统的使用,使管理员能够对系统进行独立的维护,修改。另外还需要对系统的相关设计文档进行最终的移交,为用户准备好系统的相关说明文档,以及使用维护手册。使XXXXX集团公司的管理员能够对常见的各种问题进行诊断。通过查阅相关文档能够比较准确地排除常见故障。
工作主要包括:
u 编写应用培训教材
u 进行用户培训
u 系统运行
该步骤由项目组的实施人员参与,在项目经理的协调下完成工作。
该步骤应当交付如下文档备案:
u 《系统维护手册》
u 《系统环境说明书》
u 《系统使用手册》
至此,整个项目完成一次实施周期。
6.4 Cognos技术方案在方案实施上的优势
6.4.1 项目启动阶段
在项目启动阶段,通常需要在人员准备上花费大量时间。如果勉强采用技术水平不达标的项目实施人员,采用一边实施一边学习的方式,虽然在短时间内解决了人员的问题,但是最终将大大影响项目的整体质量,因此最理想的方式是在项目正式开始之前就准备好一个精通解决方案相关产品的技术团队。
但是这种方法仅仅是理想化的方法,因为实际实施过程中,为了控制项目成本,不可能为了项目招收大量产品专家;另一方面,项目涉及的相关概念繁杂多样,有许多解决方案都需要涉及太多分散的产品,而大部分相关产品都需要很长时间的培训才能通晓,更不用说让一个新手在短时间内熟练应用开发项目了。
面对上述问题,Cognos技术方案则具有明显的优势,能够很好的解决项目工期要求和人员质量的问题。首先,Cognos能够独自提供解决方案的全线产品,整个产品线风格一致,高度集成,例如Cognos同时提供OLAP展现和基于OLAP统计汇总报表制作功能,实施人员仅需要在短时间内掌握少量的产品,即可完成全系列解决方案的实施工作;其次,Cognos的产品和开发工具都具有极佳的易用性,Cognos将深奥的多维理论和建模方法隐藏在直观的使用界面之下,并提供大量的向导工具,使得产品培训时间大大缩短。Cognos具有这样的易用性并非出自偶然,而是因为Cognos是市场上唯一以面向业务人员(而非IT人员)来要求其自身易用性的BI产品,因此Cognos在提供了全方位功能的同时,还具有最出色的易用性。
6.4.2 需求分析阶段
在需求分析阶段,一个比较好的获取最终用户需求的方法就是制作原形系统,通过原形系统的展示,最终用户能对系统获得直观的感受,促进自身需求的形成和提出。但是一般的解决方案无法向下适配,也就是说,也许这些解决方案能够很好的适应企业级的大型应用,但却无法提供一种快捷的、面向超小规模应用,特别是原形系统开发的方法,开发人员为了实现一个简单的演示交流用原形,需要进行复杂的数据建模,报表设计等工作,造成需求分析阶段质量不佳,效率不高。
Cognos技术方案则有上至企业级,下至桌面级的大跨度规模适应能力。Cognos既能稳定的支撑复杂的企业级应用,又能将所有功能收缩到桌面应用规模,需求分析人员可以利用Cognos迅速开发多个原形系统,包括模型设计、报表设计等,向最终用户进行展示,启发最终用户对需求的提出和扩展,提升需求分析的质量和效率。
6.4.3 系统设计阶段
系统设计阶段是系统实施各环节中的核心环节,解决方案产品的灵活性和功能直接影响系统设计阶段的难度和工作量。有些封闭的产品在数据、安全性等方面无法与系统中的其他模块衔接,有些功能有缺陷的产品无法实现用户提出的要求,这些都是折磨系统设计人员的头痛问题,因为在这种情况下,只能被迫修改设计,说服用户缩减需求,降低了应用的质量水平;有些平台单一的产品只能绑定特定的操作系统进行部署,使信息系统设计人员无法对应用环境进行选择,当企业存在闲置但不兼容的资源时,也无法对其有效利用和整合。这些问题都说明,如果解决方案相关产品适应能力不强,过于封闭,功能单一,会给系统设计阶段增加很大难度,而且会严重影响项目质量。
Cognos技术方案则不会带来上述问题。Cognos产品功能强大,系统设计人员不用再将精力花费在如何缩减用户需求这个棘手问题上;Cognos技术方案支持多平台混合部署,为信息系统设计人员提供了广阔的选择空间;Cognos技术方案还提供有诸多开放接口,便于与第三方安全性方案或应用方案进行集成,使系统设计人员能够很容易的设计出整体解决方案,利于形成规模化、整合化的信息应用。
6.4.4系统实现阶段
Cognos产品在国内外有大量的成功用户,优信佳公司公司一直以来作为Cognos在中国地区的独家代理,参与实施了大量的项目,包括PICC报表系统,CCTV广告决策分析系统,华夏银行集中式报表平台,人行金融统计监测管理信息系统。还有农业银行,招商银行,建设银行工商银行,兴业银行,广发行等各大银行的各种全国性的统计分析系统等。通过大量的项目的实施,优信佳公司积累了大量的经验,这些经验包括了需求的整理和分析,系统的设计与实现,分析的核心多维模型等各个方面。在进行《XXXXXBI系统》的实施过程中,能够将这些经验应用到系统的实施过程中,能够准确把握用户需求,快速实现各种模型和功能,从而大大加快系统的实施过程。
6.4.5 系统部署阶段
Cognos技术方案在系统部署阶段所体现的最大优势就是其纯浏览器方式的B/S结构部署模式,最终用户无需安装任何软件和插件,仅需打开浏览器登陆Cognos应用服务器,即可实现全功能的数据探查,报表设计,浏览,发布,管理等操作。纯浏览器方式大大降低了Cognos技术方案的部署成本,而且在应用过程中占用较小的网络带宽,能够进行全省、全国范围的大规模部署。