云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

全站加速_深度学习服务器_安全稳定

小七 141 0

数据沿袭图:信息架构师的范式转变

我们今天的数据环境以及为什么它是一个信息架构师的问题许多公司——尤其是金融服务、医疗保健等行业——都有着非常分散的应用前景。从前台系统到后台系统,在多个数据仓库中,组织拥有许多本地和全球单一的真相点,以及各种各样的业务信息报告工具,从简单的旧MS Excel到更流行的BI工具,如Qlik和Tableau。一个信息架构师——他被许多职位所熟知,比如数据、应用、解决方案、流程、软件……,架构师,但为了清晰起见,让我们把他或她称为信息架构师——负责为这个庞大的数据源、系统、文件、接口组成的蜘蛛网带来清晰,流程、数据仓库、监管报告、内部管理报告、公众股东披露和仪表盘,以及更加多样化的大数据湖和系统。图片来源:LinkedIn通常,这些系统都没有充分的文档,即使有文档,它也常常是过时的。听起来很熟悉,对吧?云数据仓库、软件即服务、大数据、物联网的趋势肯定不会朝着将多个数据源整合和集中到一个数据位置的方向发展。相反,我们现在的蜘蛛网很可能会变成一个巨大的蜘蛛网,因此IAs今天面临的问题只会在明天变得更大。IA现在是如何解决这个问题的,以及为什么它不起作用那么,一个普通的信息架构师如何应对这一挑战,以创建一个美观、易于导航、易于理解、易于维护、易于记录,更重要的是,易于使用此应用程序和数据混乱的体系结构图?当他们面临时间压力,需要遵守GDPR、BCBS 239、CMS等要求严格的法规时,他们是如何做到的呢?嗯,可能一步一步,一次一个数据流。但出发点是什么?你是从报告的结尾开始的吗?但哪一个先报告?对于金融机构来说,从您的合规报告模型(例如欧洲数据点模型)开始是有意义的:我的报告中的数字来自哪里?医疗机构可以从提供足够的患者病史图片的系统开始。对于其他行业来说,这无疑是另一个起点。一种流行的方法是使用关键数据元素方法。因此,首先,我们的IA将花费数天、数周和数月的时间,对所有这些不同系统和业务流程的不同SME进行调查和交谈。他将捕获所有这些信息并记录下来(在网络上的另一个文件中)。来源:使用Microsoft Visio对数据库进行反向工程下一步,我们的IA将选择一个流,他将设计一个详细的体系结构图,描述不同系统和应用程序之间的交互,包括数据如何从这些系统流向不同的数据仓库,数据仓库如何为不同的报告工具提供数据,以及这些工具如何生成数百个报告。希望他能使用支持的经典数据衍生工具,因为市场上有很多这样的工具来自动化一些工作。接下来,我们的IA将发布这些建筑美,并以只读PDF格式分发给不同部门的不同业务用户和分析师,最终他会发现没有人使用它们。为什么?因为每个人都有不同的背景和不同的词汇(商业语言和技术语言),对信息粒度的需求也不同(管理层想要一个高层次的图片,一个抵押贷款专家想要更详细的图片,审计师希望看到所有的细节,并能够深入到细节)。甚至DBA也需要理解数据的上下文。最终的结果是,大量的时间、精力和金钱都花在设计好看的建筑图片上,这是可以理解的,它不能满足所有人的需求,很快就过时了,而且永远不会保持所需的详细信息和文档。即使架构图足够好,消费者也面临着传统的治理挑战:我在哪能找到它们?谁拥有它们?谁来维护它们?谁能帮我解释一下?它们还是最新的吗?有多少建筑图片只是在消耗磁盘空间?或者更糟的是,有多少人在预算上花了不少钱来更新?显然,目前的方法行不通。是时候重新思考一下这种模式了Collibra为所有需要赞助并最终负责妥善管理、记录和控制IT环境的IAs、CIO和CDO提供了解决方案。我们的目标是为你的IA注入一种完全不同的工作方式。我们的目标是在我们市场领先的数据治理平台中提供最先进和智能的数据接收、分析和数据沿袭。借助我们的工具和平台,我们希望实现自动化,但通过简单、协作和灵活的众包数据衍生和治理方式来补充自动化。作为IA,您并不孤单,您可以依靠数据公民有效地与您合作,并在庞大的蜘蛛网系统中实现清晰化,应用程序和报告。从关系图中编辑业务术语的定义仔细协调元数据和以数据沿袭为中心的功能我们的下一代可视化技术与新的Collibra目录产品相结合,与我们的数据治理中心平台无缝集成,使IAs能够:根据应用程序、数据仓库和报表之间现有的、自动生成的技术和业务沿袭,设计"未来"架构应用程序环境识别所有关键数据元素,并从"未来"架构中指定数据质量控制和规则从交互式关系图中启动标准工作流,以触发对关系图上显示的项的审阅,以创建、验证或请求批准链接的业务术语将这些架构图作为半静态/半动态图片进行管理,定义不同类型的所有权和主题专家,管理这些图的更改和版本,并通过标记用户从图中向涉众提问将受治理、认证和批准的关系图与当前自动生成的基于目录的元数据的现状进行比较自动将应用程序环境中的实际更改(与目录一起拉入Collibra)自动突出显示到已批准和分布式的IT应用程序环境中可视化显示应用程序所有权、流程所有权、数据质量分数、自动化或手动流程、数据共享协议、数据使用和访问请求、未解决数据问题数量等的不同覆盖根据这些数据质量和所有权覆盖,从图表中记录新的和处理现有的数据问题通过类似Google地图的可追溯性,找到后台系统A和监管报告系统B之间最数据质量的证明流使用我们的开箱即用的视图和简单的过滤功能,用不同的视角来观察数据沿袭:业务视图、技术视图、安全视图、QA视图等等众包(Crowdsource)信息和文档是建筑设计的重要组成部分,这实际上是保持最新信息的唯一可持续方式,即允许数据公民像维基百科一样以受控、但灵活和开放的方式输入允许所有数据公民为图表的准确性和图表上可视化项目的文档做出贡献,无论是主动的还是通过交互引导的治理工作流众包源通过标记、评级和喜欢数据沿袭图,并允许机器学习算法根据关键词、上下文和用户配置文件提出您正在寻找的数据谱系图从高级数据沿袭图(例如仅限于应用程序级)向下钻取到图表中更详细的部分,显示从一个应用程序到另一个应用程序的不同ETL流,进一步放大特定ETL从一组表到一个目标表,进一步放大列级别的特定映射和一个与另一个之间的映射逻辑从关系图中请求访问链接到网络上的系统、数据仓库或文件的数据集通过机器学习算法自动标记私有或敏感数据元素,并使用我们的覆盖能力在数据沿袭图上可视化这些元素利用数据沿袭图内外的智能搜索功能由于可以在一个图表中可视化多个详细的层,因此创建一个具有更多增强洞察力的三维可视化以及更多更强大的功能数据谱系图:IAs最好的朋友虽然对流经您的it领域的数据实施公司范围内的单点真实性非常困难或不可能,但Collibra将帮助您以易于维护的方式管理、设计、文档、质量标记、保持最新、认证和分发数据。