qData 数据中台专业版 v3.0.1 发布。
在 v3.0.0 数据建模体系升级的基础上,本次版本继续围绕业务规划、数据建模、指标管理和数据集成几个环节补充功能。
其中,数据建模部分进一步完善了业务实体关系、概念模型关系图以及贴源、维度、事实、应用、汇总等多类逻辑模型的设计与版本管理;指标管理新增派生指标模块,并补充原子指标、业务限定的关联查看及历史版本对比。
除此之外,本次更新还涉及数据标准关联资产展示、数据集成任务执行前校验、资源配置提示以及 FTP 多文件和 TXT 文件接入等实际使用场景。
下面具体看看 qData v3.0.1 本次更新了哪些内容。
一、建模概览与类目树统计优化,让模型信息更清晰
随着企业数据建模工作持续推进,数据板块、主题域、各类模型及指标对象会不断增加。
如何快速了解模型建设情况、掌握模型分布,并从概览信息进一步定位到具体业务对象,是模型管理过程中的基础需求。
qData v3.0.1 对建模概览及模块类目树统计进行了完善。
建模概览:补充模型分布与最新动态
本次更新完善了数据板块、主题域、概念模型、逻辑模型、指标模型及已发布模型的统计展示,同时支持查看模型分层分布和模型状态分布。
此外,建模概览新增最新动态展示,覆盖逻辑模型、指标模型的新增、修改、删除,以及逻辑模型发布等操作。
通过这些信息,使用者可以在概览页面了解不同模型对象的建设情况、分层分布和状态,并查看近期发生的模型变更,减少仅依靠逐个进入模块了解模型情况的操作。
类目树统计:完善分类数量与页面下钻
在模块类目树方面,本次更新完善了以下对象的数量统计:
-
主题域、概念模型;
-
贴源、维度、事实、汇总及应用逻辑表;
-
原子指标、业务限定及派生指标。
同时,平台支持从数据板块列表下钻至业务规划页面,从主题域列表下钻至业务实体页面,并自动应用对应筛选条件。
从概览统计到分类导航,本次调整进一步补充了模型信息的展示与定位方式,为后续开展业务规划、模型设计和指标管理提供更清晰的入口。
二、完善业务实体关系管理,补充历史版本维护
业务实体用于描述企业业务中的关键对象。
实体之间往往存在继承、关联、流转、前后序或包含等关系,这些关系不仅影响业务规划的表达,也与后续概念模型及逻辑模型的设计有关。
当实体数量和关系逐渐增加时,除了维护关系本身,还需要关注关系校验、层级展示以及历史变更的查看。
业务实体关系维护:支持更多关系类型与交互操作
qData v3.0.1 支持维护业务实体之间的以下关系:
-
继承关系;
-
关联关系;
-
流转关系;
-
前序、后序关系;
-
包含关系。
在业务实体新增和编辑过程中,平台完善了关系校验,并根据实体关系维护概念模型关系数据。
业务实体列表也进行了相应调整:支持展示继承关系及包含关系。
并提供展开、收起以及一键展开和收起操作。同时,用户可以在业务实体列表中查看实体关系概念模型图。
通过对关系维护和展示方式的完善,业务实体之间的结构关系可以在平台中得到更明确的呈现,也为后续概念模型关系分析提供基础。
新增业务实体版本管理:查看历史差异
除关系维护外,本次更新新增业务实体版本管理能力,支持查看业务实体历史版本。
并对比不同历史版本之间的差异。
当业务实体发生调整时,历史版本及差异对比能力可以为变更核对提供参考,帮助使用者了解不同版本之间的变化。
三、概念模型关系图优化,增强关系查看与编辑能力
业务实体关系需要通过适当的方式呈现,才能更直观地辅助业务规划。
随着业务对象和关联关系增加,仅通过列表查看关系,可能难以快速掌握整体结构。
本次更新新增概念模型关系图,并完善关系图的筛选、查看、编辑和联动操作。
新增概念模型关系图:按业务维度查看模型关系
平台支持按照数据板块、主题域、业务对象分类及业务对象分层展示概念模型类目。
关系图左侧支持通过数据板块、主题域和业务实体进行筛选。
用户可以点击不同关系类型的图例,高亮对应关系。
也可以点击不同节点图例高亮节点。
支持选择某个节点,将其关联的整个节点关系高亮显示。
此外,平台支持查看实体节点及关系详情,便于进一步了解图中对象及其关联信息。
完善关系图交互:从查看延伸到模型操作
本次更新不只补充了关系图展示,还完善了图内操作能力。
用户可以从关系图快捷编辑业务实体,也可以直接从关系图创建逻辑表、创建子对象及添加关联实体。
关系图支持展示节点类型和关系类型图例,图例可以展开或收起;点击图例后,画布会联动高亮对应节点或关系。
此外,用户还可以在数据板块详情的业务实体页签中查看关系图,便于结合数据板块信息查看相关业务实体及其关系。
通过关系图与业务实体维护操作的结合,使用者可以在查看业务关系的同时开展相应编辑和建模操作,减少在关系查看与对象维护之间反复切换的需要。
四、逻辑模型设计优化,完善结构同步与版本管理
逻辑模型是数据建模的重要组成部分。
不同层次的逻辑表承担不同的数据组织职责,其设计既需要结合业务实体、字段和关联维度,也需要考虑源物理表结构变化以及模型自身的版本维护。
qData v3.0.1 围绕贴源、维度、事实、应用和汇总逻辑表进行了多项完善。
贴源逻辑表:支持源表结构检测与同步
在数据源物理表发生结构变化后,贴源逻辑表需要及时反映相应变化。
本次更新新增贴源表结构检测与同步能力,支持手动检测源物理表的结构变化,并将检测到的变化同步至贴源逻辑表。
在版本维护方面,平台支持查看贴源逻辑表的模型历史版本。
并支持选择不同历史版本进行对比。
这使贴源逻辑表在应对源物理表结构变化时,具备了相应的检测、同步与历史版本查看能力。
维度逻辑表:完善字段设计与关联维度配置
在维度表设计方面,本次更新支持自动生成外键字段,并根据实体关联关系自动生成关联维度。
默认字段及字段属性可以修改,以适应具体的模型设计需要。
平台还支持配置多个关联维度,并根据关联业务实体自动匹配和回显关联维度信息。
如果所选业务实体尚未建立对应逻辑表,用户可以在关联维度选择过程中直接快捷创建逻辑表。
除关联维度配置外,维度逻辑表还支持从已有逻辑表引入字段。
支持通过 SQL 解析生成表结构。
在版本维护方面,原文同时列出了应用表版本维护能力,包括查看模型历史版本。
以及支持选择不同历史版本进行对比。
通过这些调整,维度逻辑表在字段生成、关联维度配置和字段复用方面获得进一步完善,相关版本信息也能够通过历史记录进行查看和比较。
事实逻辑表:完善事件表与流程表字段设计
事实逻辑表主要围绕业务事件及业务流程组织数据。
本次更新针对这两类表的字段设计进行了完善。
对于业务事件表,平台支持自动生成主键、关联实体 ID 及事件时间字段。
对于业务流程表,支持自动生成主键、关联事件时间、流程开始时间及流程结束时间字段。
同时,平台支持修改默认字段、维护字段属性和手动新增字段,并支持配置多个关联维度。
在关联维度处理方面,业务事件表支持根据关联业务实体自动匹配和回显关联维度信息。
如果所选业务实体尚未建立对应逻辑表,也可以在关联维度选择过程中快捷创建逻辑表。
此外,事实逻辑表支持从已有逻辑表引入字段,并通过 SQL 解析生成表结构。
版本维护方面,提供了应用表历史版本查看能力。
支持选择不同历史版本进行版本对比。
上述调整覆盖了事件、流程字段的生成与维护、关联维度配置、字段引入及 SQL 解析等环节,为事实逻辑表设计提供了更完整的操作支持。
应用逻辑表:扩展字段引入方式
应用逻辑表设计方面,本次更新支持从派生指标引入字段。
支持从数据元引入字段。
支持从代码表引入字段。
支持通过 SQL 解析生成表结构。
版本管理方面,平台支持查看应用表模型历史版本。
支持选择不同历史版本进行版本对比。
通过补充字段引入方式和 SQL 解析能力,应用逻辑表在结构设计时可以结合已有指标、数据标准对象及既有逻辑表等信息组织字段;历史版本查看和对比则为模型变更核对提供了支持。
汇总逻辑表:完善与派生指标的关联
汇总逻辑表与派生指标之间需要建立明确的关联关系,以便在指标创建、维护和依赖查看过程中掌握其对应的模型信息。
本次更新支持在创建或维护派生指标时,根据所选统计粒度自动匹配汇总逻辑表,并建立派生指标与汇总逻辑表之间的归属关系。
同时,用户可以在派生指标的上游依赖中查看关联的逻辑表信息。
汇总逻辑表也补充了版本维护能力,支持查看模型历史版本。
支持选择不同历史版本进行版本对比。
通过自动匹配、归属关系维护和上游依赖查看,汇总逻辑表与派生指标之间的关联信息得到进一步完善。
五、指标管理能力完善,新增派生指标管理模块
指标管理不仅涉及指标定义本身,也需要关注指标之间的关联、指标所依赖的逻辑表,以及指标变更前后的差异。
随着指标数量增加,这些信息的集中管理有助于使用者更清楚地了解指标对象及其关联情况。
qData v3.0.1 对原子指标、业务限定进行了完善,并新增派生指标管理模块。
原子指标:补充关联信息与版本管理
本次更新支持在原子指标详情中查看已绑定的派生指标列表,便于了解原子指标与派生指标之间的关联情况。
同时,原子指标新增版本管理能力,支持查看历史版本。
支持对比不同历史版本之间的差异。
业务限定:完善关联查看与依赖保护
在业务限定管理方面,平台支持查看业务限定关联的派生指标。
并完善业务限定的版本管理及历史版本对比能力。
此外,对于存在下游依赖的业务限定,平台增加了依赖保护机制,限制可能影响下游使用的破坏性编辑、删除及禁用操作。
这项调整将下游依赖纳入业务限定操作的保护范围,有助于降低因修改或删除相关对象而影响下游使用的风险。
派生指标:集中管理定义、归属及状态
本次版本新增派生指标管理模块,支持查看和管理派生指标。
在列表与类目管理方面,平台支持按派生指标名称、所属汇总逻辑表及状态进行筛选查询,并支持派生指标的新增、详情查看、修改、删除及状态管理。
列表展示的信息包括派生指标信息、归属信息、原子指标及业务限定、统计周期等内容。
在派生指标详情中,用户可以查看名称、归属信息等基本信息。
平台新增上游依赖页签,用于查看派生指标关联的逻辑表信息,包括逻辑表名称、类型及归属信息等。
派生指标版本管理:查看变更记录与字段差异
派生指标同时新增版本管理能力,支持查看历史版本,以及版本生成时间、变更类型、操作人等信息。
平台支持选择不同版本进行对比,并展示字段内容的差异。
从列表管理到详情查看,再到上游依赖和历史版本对比,本次新增的派生指标模块补充了派生指标管理所需的相关功能,并与汇总逻辑表关联能力形成衔接。
对于需要维护多类指标对象的企业而言,这些能力为查看指标信息、了解关联模型及核对版本变化提供了统一入口。
六、完善数据标准关联信息,优化数据集成与 FTP 接入
除数据建模和指标管理外,qData v3.0.1 还对数据标准关联信息、数据集成任务执行校验和 FTP 输入组件进行了调整。
数据标准:在数据元及代码表详情中查看关联资产
当资产字段绑定数据元或代码表后,在对应的数据元或代码表详情中展示当前关联资产的信息。
数据集成任务:加强执行前校验与资源提示
为减少配置问题或资源不足等情况对任务执行的影响,本次更新增强了数据集成任务执行前的配置及参数校验,并输出相关日志。
针对数据库字段长度不足等可能导致任务执行失败的情况,平台完善了执行前校验;对于任务内存及资源不足场景,也进一步完善了防呆处理和资源配置建议。
这些调整主要围绕任务执行前的配置检查、潜在错误识别及资源配置提示展开,为任务运行前的检查和问题排查提供支持。
FTP 输入组件:适配多文件与 TXT 文件接入场景
本次更新优化了 FTP 输入组件,主要涉及以下场景:
-
多文件接入: 针对 FTP 目录下包含多个数据文件的情况,完善相应的文件接入需求适配。
-
TXT 文件解析: 针对以 TXT 文件为输入、通过文件分隔符区分字段的场景,完善相关接入能力。
-
已处理文件清理: 针对 FTP 文件接入后需要清理已处理文件的业务场景,完善相应处理需求。
这些调整面向 FTP 文件接入过程中的具体使用场景,进一步补充了多文件、TXT 分隔符及已处理文件清理等方面的适配能力。
写在最后
整体来看,qData v3.0.1 仍然围绕 v3.0 数据建模体系继续补充细节。
在建模侧,本次版本进一步完善了从业务实体、概念模型到多类逻辑模型的关系维护和版本管理;在指标侧,新增派生指标管理,并补充原子指标、业务限定与逻辑模型之间的关联查看能力。
与此同时,数据元、代码表与资产之间的关联信息,以及数据集成任务运行前的参数检查、资源提示和 FTP 文件接入能力也得到进一步调整。
-
这些更新更多集中在实际建模、维护和任务运行过程中容易遇到的细节问题,例如:
-
业务实体和模型发生调整后,如何查看历史变化;
-
源物理表结构变化后,贴源模型如何同步;
-
指标与逻辑模型之间如何建立和查看依赖关系;
-
数据集成任务执行前,如何提前发现配置和资源问题;
-
FTP 场景下,如何处理多文件、TXT 分隔符及已处理文件。
后续 qData 还会继续围绕数据建模、指标管理、数据治理和数据开发等实际使用场景持续迭代。
如果正在使用 qData 相关版本,也欢迎结合实际项目场景反馈使用过程中遇到的问题和需求。