融合数据ETL
数字孪生数据分析
点我收藏5990人浏览过
融合数据ETL
数字孪生数据分析
展品简介

  四方伟业数据融合ETL是针对传统ETL所面临的海量数据、实时同步、数据格式复杂等问题,根据国内外数据仓库和大数据平台项目实施特征总结而来的面向数仓应用的专业实施工具,赋予产品海量、实时、智能化的数据集成开发能力,提供一站式数据接入、数据处理、数据对账、数据开发、调度运维等服务,具备海量、实时数据接入和处理能力。助力企业ETL实施流程规范化,降低据整合的风险,减少TL开发成本,降低发实施人员的技术门槛,从而有效提高数据管理水平。

展开>>

5990人浏览过
成都四方伟业软件股份有限公司
视频来源:展商提供
融合数据ETL
数字孪生数据分析
展品简介

  四方伟业数据融合ETL是针对传统ETL所面临的海量数据、实时同步、数据格式复杂等问题,根据国内外数据仓库和大数据平台项目实施特征总结而来的面向数仓应用的专业实施工具,赋予产品海量、实时、智能化的数据集成开发能力,提供一站式数据接入、数据处理、数据对账、数据开发、调度运维等服务,具备海量、实时数据接入和处理能力。助力企业ETL实施流程规范化,降低据整合的风险,减少TL开发成本,降低发实施人员的技术门槛,从而有效提高数据管理水平。

展开>>

5990人浏览过
成都四方伟业软件股份有限公司
展品详情

  SDCETL提供对企业数据的集成及加工、处理、转换能力,通过数据集成工具可以从不同结构的数据源中抽取数据,对数据进行复杂的清洗转化及加工处理,最后将数据加载到各种存储结构中。支持结构化数据、半结构化数据、非结构化数据、流式数据等多种数据采集处理;数据集成工具提供一个简单易用的开发、管理可视化工具,覆盖从数据集成逻辑的设计、开发、调试、部署到运行、管理、监控全生命周期不同阶段的集成开发,具备高效的数据处理引擎,可支撑各种复杂的数据转换和任务调度流程的高效运行。同时具备强大的调度引擎,支撑高并发任务执行。
  使用SDCETL可解决以下问题:
  ·解决数据采集量大问题
  在数据即资产的大数据时代,我们无法预知从业务系统采集哪些数据到数据中心才能产生价值,这就需要先把整个企业的数据进行汇集。数据采集量将是整个企业数据量,所以采集任务重,数据量非常庞大,数据一般由TB快速形成PB级别的数据集。融合数据提供多引擎处理模式,兼容传统数据处理引擎并增加大数据数据处理引擎,支持数据采集分区并行加载技术,提供高效的离线数据抽取、加载服务。
  ·解决数据实时性要求高问题
  在大数据时代,客户急需转换数据价值,为企业提供分析和运营决策,所以对数据采集的实时性要求很高。融合数据支持以Kafka或其它消息队列(ActiveMQ、RabbitMQ、IBMMQ)作为实时数据源进行实时数据采集,支持秒级数据处理,支持将目标结果重新投递至Kafka指定的Topic或者数据库。
  ·解决数据类型多样化问题
  传统ETL主要是对结构化数据进行分析。在大数据时代,数据作为数据资产管理的对象,除传统的结构化数据外,文本数据、图像数据、语音数据、视频数据等半结构化数据或非结构化数据占比越来越大,种类日益丰富。融合数据对结构化、半结构化和非结构化数据类型,采用不同的技术手段完成入湖。基于大数据多源异构数据源适配技术,支持多种数据源的连接访问和数据集成,包括主流关系型RDBMS、MPP、Excel/CSV文本数据源、基于Hadoop的大数据平台数据源以及其他多种JDBC数据源等。
  ·解决数据仓库架构调整问题
  传统的数据集成处理架构为ETL,它是构建数据仓库的重要环节,即用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。而大数据背景下的处理架构是推荐ELT结构,根据上层的应用需求,随时从数据湖中抽取数据,进行建模分析。融合数据基于微服务架构开发支持分布式部署,支持横向扩展增加处理能力,并引入Spark分布式内存计算框架,增强离线、实时效率。

展开>>
产品展示
资料下载
相关展品
已到底部
推送内容
智能推荐
更多详情
换一批