方案概述

多源异构数据综合管理解决方案为满足用户多类型数据接入和业务迭代需求,支撑网络空间应用快速迭代响应,可将用户掌握的个性化数据以及独有数据源进行接入使用,基于数据管理工具进行数据元数据的配置和理解,并使用数据编排工具进行数据的ETL,将数据按照多类型分析需求进行转换,实现多源异构数据的接入处理、ETL、融合、检索。


主要能力

 ETL数据接入:

支持不同格式的数据接入与输出,支持常用转换组件,支持数据接入全流程跟踪。

数据建模:

支持可视化建模,支持多源数据关联分析,支持过程数据存储。

开放与共享服务:

支持标准化API服务,支持API统一监控,支持API审计。



应用场景

多数据融合

        支持多种数据库数据的导入与融合,解决多源数据接入问题。

自动化数据预处理场景


        针对存在无用数据或者脏数据的痛点,采用多种方式对数据进行清洗等预处理操作,如替换null值、列拆分为多行、去除重复值、增加常量、增加序列、字段值设为常量、字符替换等功能。



数据迁移场景


        数据迁移的工作量大,无法对迁移过程进行监控,对迁移后的数据质量难以管控的痛点,提出将ETL任务通过可视化工作流展现至B/S架构的系统中的方式,实现了空间数据同步的分布式综合调度管控。


方案优势

  • 全方位的安全态势感知

  • 基于场景的建模分析

  • 威胁可视化辅助分析