数据集成处理系统-浙江信网真科技股份有限公司

产品简介

技术架构

核心功能

产品优势

产品简介

数据集成处理系统可对数据资源进行信息采集、维护、查询、分析、运行监控等管理。具体功能主要有数据源管理、数据采集配置、实时数据采集、数据转换配置、数据导出配置、数据资源编目、数据仓库管理、任务调度、数据接口管理和系统监控。

产品详情

总体架构

核心功能

详情介绍
批量数据采集
实时数据采集
数据加工厂
任务调度
数据资产管理

- Commodity name: 数据集成处理系统
- Commodity ID: a02
数据集成处理系统可对数据资源进行信息采集、维护、查询、分析、运行监控等管理。具体功能主要有数据源管理、数据采集配置、实时数据采集、数据转换配置、数据导出配置、数据资源编目、数据仓库管理、任务调度、数据接口管理和系统监控。

总体架构
批量数据采集是数据集成处理系统获取数据的主要通道。通过配置将各自分离的业务平台数据采集到大数据资源平台如Hbase、Hdfs、Hive及Mysql等数据储存系统，为后续的资源分析、数据挖掘提供数据基础。数据采集配置有数据库采集、接口数据采集、文件数据采集和本地文件上传等功能。配置包括新增、查看、修改、删除、测试、数据内容查看、添加任务调度及查看日志等一系列操作。
实时数据采集是针对流式数据采集的功能。配置包括新增、查看、修改、删除、发布任务及数据采样等一系列操作。流式数据包括Socket接口、日志数据流、视频数据流等各类流数据。该功能针对不同类型的流数据采集到相应业务平台上来，为后续的资源分析、数据挖掘提供数据基础。
数据加工厂主要是对数据进行清洗、整理、转化等脚本转换操作提取价值数据和业务数据，为上层业务提供数据基础。数据转换配置包括任务添加、查看、修改、删除、添加调度任务等基本操作，并结合任务队列实现各个数据转换之间的复杂逻辑关系。
任务调度功能为数据采集、数据转换、数据导出等功能提供定时的任务的调度，为大数据资源平台提供自动化的数据处理机制。其功能包括任务手动执行、任务配置、任务启动、任务暂定及任务删除。任务调度整合Quartz和分布式调度框架，定时任务精确到秒级别。同时提供动态部署、任务调度轮询机制、任务错误反馈机制为任务精准地执行提供保障，也方便运维人员定位和排查问题。
数据资产管理是保障数据接口开放及安全管控的功能。该功能包含接口注册、白名单、黑名单、访问申请审核和访问申请日志。数据提供方通过注册接口，将自己的数据以webService接口方式对外开放。用户想要访问接口数据必须先申请访问，待申请通过后系统添加用户到白名单，用户即可访问接口数据。