什么是数据集成?
数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中组合成可信的,有意义,有价值的信息,从而为用户提供全面的数据共享。它是技术和业务流程的组合。
数字经济需求:
数据已经成为土地,能源等传统资源之外的一种新资源。但是,大量的数据来自不同的源头,杂乱无章,质量参差不齐。随着信息社会的发展,数据正以前所未有的速度爆发性增长。但数据处理和集成的工具却跟不上发展。一般单位少则十几个信息系统,多则几十个,这些系统之间若沟通不畅,会产生数据孤岛,造成工作效率低下,一方面大量数据闲置,无法有效被利用。另一方面数据被重复录入,费时费力。容易产生差错。
只有可管理,可调用,可计算,可变现的数据资源才能成为资产,才能服务政府,城市和产业,帮助实时统筹科学决策。正确决策来源于对实际情况的了解,某种意义上说,就是对来自各方的各类数据的正确汇集、整理、归纳、分析,从而得出正确的结论。随着传统行业的智能化,政府决策的科学化,文明社会的信息化,信息系统的互联互通,多源和多维度的数据集成需求巨大。从政府的便民服务,“一个窗口”,“最多跑一次”,到智能城市的“数据大脑”,“智慧治理”和“智慧生活”,到商业的“企业上云”,“产品智能化”,“全方位生命周期管理”,企业与合作伙伴的“智能产业链”,“数字营销平台”等等,背后都蕴含着巨大的数据集成。数据集成已成为发展数字经济的核心任务。
更进一步,数字经济的最终结果在于如何实现数据资产的价值,如何让数字资源资产化,数据资产服务化,数据服务价值化将是许多企业探索和思考的问题。相对应的技术产品也要服务于这些方向,在集成过程中,最大范围的实现数据的价值。 下面让我们先了解一下集成技术的发展。
技术发展历程:
互联网是IT业的重大革命性创新。促使分布式系统和网络应用的诞生。在异构分布网络环境下,软件系统需要考虑通信、互操作、协同、安全等问题。随着更多的应用程序需要支持更复杂的工作流程和统筹决策,应用程序需要的数据更加多元。跨部门和跨区域的网络数据调用,通过网络的整合和集成的需求·从未像现在这样强烈。面对市场需求,新的集成方法不断涌现。
早期, 定制化开发是普遍使用的数据集成方法:在数据源之间构建点对点的自定义连接集成以解决特定的业务问题,例如,联邦数据库系统。这类系统之间可以实现几乎实时的业务交互流程。
然而, 随着企业中应用程序数量的增加,所需的点对点连接变得难以管理。如果每一个应用程序需要与其他n个系统连接,所需的点对点连接数量是 (n * (n-1))/2。那么,一个拥有20个应用系统的企业必须构建和维护190个点对点连接。一般企业内部系统的升级周期是2到3年,三年内进行190个连接的构建,维护和升级就意味着平均每星期都有连接修复和测试的任务。随着许多公司迁移上云,版本更新更加频繁(每年多次)。点对点集成和系统升级将IT部门带入了一个无休止的连接修复和测试的过程。同样的原则也适用于云上的数据集成,点对点集成和持续升级周期会让团队疲于奔命。
传统点对点连接 基于SOA理念的智能“中间件”连接针对这一问题, GARNTER集团于1996年引入了面向服务架构(SOA)概念, 并迅速被许多大企业采用。企业应用集成 (EAI) 突破了传统的点对点的集成,通过企业服务总线(ESB)等基于SOA理念打造的智能中间件集成技术,充分显示易于集成和便于管理等优势。SOA技术在2000年后有广阔的应用和长足的发展。众多的主流信息技术公司,都开发了相应的系列产品。并得到了广大客户的认可。
近十年来,随着移动时代的爆发,顾客寻求更加轻量级的产品来适应移动的要求。同时云计算的迅速崛起,决定了企业需要连接的许多系统不仅仅在企业内部,而且要和云紧密相连。传统EAI/ESB技术与云的无缝连接成为一个新的挑战。GARNTER集团更于2009年大胆地宣称 “SOA已经死亡”。我们认为,基于SOA理念的中间件集成技术虽然还有广泛的企业应用市场,但是,它必须更加开放·,必须能支持移动互联,·混合部署,解决上云的问题,近年来,继承SOA理念,更加轻量,敏捷和高效的基于API的集成技术开始迅速进入市场。
集成技术演变发展历程灵长科技及产品:
灵长科技自主开发的智能连接和数据集成平台,是基于API的新一代面向服务框架(SOA)技术,将系统连接、数据集成与融合、业务逻辑全部通过松耦合集成于一体的开发平台。平台的目标用户是系统集成开发者。依托平台,集成开发者可以快速地与各类IT系统,数据库,云计算服务和智能设备高效对接。平台提供的自动化工具可以帮助提高开发运维效率。更进一步,平台能完美闭环支持数字经济发展的三部曲:数字资源资产化,数据资产服务化,数据服务价值化,提供端到端完整解决方案和服务。WWW.APEMESH.COM.