English

产品介绍

数据共享交换平台提供了丰富的数据源支持,可实时对数据进行抽取、传输、整合、清洗转换等处理的一站式ETL工作平台,功能强大,吞吐量高,为数据融合提供解决方案。

优势特点

产品功能

适用场景

经典案例

源端无侵入

产品通过读取Oracle、Mysql日志的方式实现对数据更新的实时监控,然后将增量数据还原到目标端,对数据源的库表的读取压力小。

可视化配置

产品提供可视化的数据源配置、数据流配置、作业调度配置、数据服务、数据订阅等功能的可视化配置功能。

吞吐量大

产品在获取数据方面比Redis快50%以上,在设置数据方面比Redis快40%以上。

多数据源支持

支持主流大数据平台、关系数据库、数据仓库、Nosql数据库、内存数据库、消息队列、文件、协议、物联网协议的适配器,可实现对数据源的统一管理,减少数据对接的开发工作量。

运行监控

任务发布

任务调度

作业管理

任务配置

数据源管理

数据分发

从源端数据库中采集数据,形成数据副本,分发到其他数据源,提供数据推送、订阅功能。

实时数据同步

监控源端数据库(例如oracle)的事务日志变化,实时将数据传输到目标端数据源。

数据整合

在数据传输的同时完成数据清洗、关联、去重、合并、计算等操作,在数据传输时完成多表连接、合并等工作。

跨数据库传输

在异构类型的数据库之间进行数据传输,包括关系型数据库、非关系型数据库、大数据平台、文本、网络数据源和应用数据源中传输数据。

经典案例

为某公安厅队打造数据共享交换平台

项目背景

某省公安厅提供案件、违法犯罪人员等数据副本,下辖地市公安局订阅数据到本地数据库,数据规模庞大,数据传输稳定性要求较高。

客户价值

快速完成数据副本制作,建立订阅数据库,实现订阅数据库与生产数据库隔离,解决多地市同时订阅数据的并发对资源消耗过大等问题,提高数据发布、共享的效率。

  

技术方案

采用我公司数据共享交换平台从生产数据库中采集数据,基于内存计算方式,制作数据副本,传输到数据发布服务器。使用传输协议优化指令及数据传输优化方案节约资源消耗,提高数据并发传输效率,并且保证数据传输稳定性。

应用场景

1.建立数据发布服务器,从生产数据库中采集数据,制作数据副本,建立订阅数据库,提供数据推送或拉取的订阅模式。

2.数据上云服务,本地数据传输到云端服务,如阿里云、AWS云。

3.数据转换服务,如文本数据转换到结构化数据库或JSON数据。

4.数据融合,读取各类数据源的数据,进行横向或纵向并表等操作。