数据共享交换平台提供了丰富的数据源支持,可实时对数据进行抽取、传输、整合、清洗转换等处理的一站式ETL工作平台,功能强大,吞吐量高,为数据融合提供解决方案。
某省公安厅提供案件、违法犯罪人员等数据副本,下辖地市公安局订阅数据到本地数据库,数据规模庞大,数据传输稳定性要求较高。
快速完成数据副本制作,建立订阅数据库,实现订阅数据库与生产数据库隔离,解决多地市同时订阅数据的并发对资源消耗过大等问题,提高数据发布、共享的效率。
采用我公司数据共享交换平台从生产数据库中采集数据,基于内存计算方式,制作数据副本,传输到数据发布服务器。使用传输协议优化指令及数据传输优化方案节约资源消耗,提高数据并发传输效率,并且保证数据传输稳定性。
1.建立数据发布服务器,从生产数据库中采集数据,制作数据副本,建立订阅数据库,提供数据推送或拉取的订阅模式。
2.数据上云服务,本地数据传输到云端服务,如阿里云、AWS云。
3.数据转换服务,如文本数据转换到结构化数据库或JSON数据。
4.数据融合,读取各类数据源的数据,进行横向或纵向并表等操作。