标准号:T/AI 126.3-2024
标准名称:数据湖 第3部分:数据资源管理系统
团体名称:中关村视听产业技术创新联盟
发布日期:2024年03月19日
实施日期:2024年03月19日
该系统包括可视化运维、数据资产、数据治理、数据处理、运维管理、数据应用、数据服务、部署管理、数据探查、标准化映射和标签引擎等11个功能模块。其中,可视化运维模块可以实现系统运行可视化、数据流转视图、数据总览视图、数据治理视图、数据处理视图和数据共享视图的展示与查看等功能;数据资产模块可以实现数据资产管理、资产视图查看、血缘管理和血缘查询、数据集管理和目录编目等功能;数据治理模块可以实现数据治理配置、数据元管理、代码集管理、数据集成(多种插件、数据接入和标准化、监控)、转换任务的管理、作业管理、作业监控、质量规则管理、质量评估、执行结果、输出质量报告和数据对账等功能;数据处理模块可以实现IDE和控制台配置等功能;运维管理模块可以实现任务管理、任务实例监控、全局实例DAG调度监控、变量内置自定义变量、执行控制器(7小类最大并发实例数配置)和异常提醒等功能;数据应用模块可以实现主题检索,标签编辑,形成索引名称,在标签下搜索数据内容等功能;数据服务模块可以实现接口开发,封装接口,对接口分组管理等功能;部署管理模块可以实现大数据平台文件和安全认证文件的配置等功能;数据探查模块可以实现数据探查、项目管理、全域数据探查和核心数据筛选等功能;标准化映射模块可以实现原始库到标准库的标准化操作和清洗操作等功能;标签引擎模块可以实现标签管理、标签加工管理和数据链接管理等功能。
起草人:彭珂、王凌、李君、赵阳、倪志云、李冰青、谷桐宇、蔡亚森、汪志锋、黄铁军、赵海英、崔晓冉、李艳梅、梁凡