在快速发展的大数据世界中，数据发现、治理和数据沿袭是数据管理的一个重要方面。随着组织将其工作负载现代化到多云和混合环境中，数据开始跨云数据湖和SaaS应用程序分布。因此，各组织正试图回答关键问题：如何找到正确的数据集？如何确保数据的高质量？如何更快地为分析和ML工作负载提供见解？我如何遵守法规并提供可信的数据？在企业范围内实现数据发现、沿袭和可靠性是企业的一个机会。为了帮助企业建立一个强有力的数据管理基础，我们与NealDigaA合作，提供了一个端到端的谱系解决方案。这个联合解决方案为Delta-Lake上的数据管道提供了完整的可视性和可追溯性，Delta-Lake是面向大规模可靠数据湖的开源存储层。在Delta Lake云端构建具有数据发现、治理和沿袭功能的端到端管道花点时间想想我们每天使用的所有应用程序——电子邮件、web、移动、社交媒体、SaaS应用程序、BI、报表仪表盘和其他许多应用程序。数据工程师在这些应用程序中花费大量时间寻找数据集和跟踪数据转换，这会延迟分析和机器学习项目。Databricks和Informatica的联合解决方案通过使数据工程师和数据科学家能够在数据管道中发现、验证和跟踪数据集来解决这个问题。Informatica的EDC与Delta Lake无缝连接，扫描和索引元数据，这样团队就可以发现和分析数据，并在数据通过管道时找到这些数据的详细沿袭。这使数据工程师和数据科学家能够轻松地跟踪数据移动，包括列/度量级别的沿袭，以识别相关的表、视图和域。与EDC一起，Databricks与Informatica数据工程集成（DEI）集成。DEI使用动态映射和数据转换将来自多个源系统和应用程序的数据摄取到具有完整数据沿袭跟踪的Delta表中。一旦数据在Delta表中，EDC就会执行扫描、分析和发现，以帮助数据工程师找到正确的数据集。在EDC中使用Informatica数据工程集成查看Delta数据集的谱系企业级数据治理随着新的和即将出台的法规，如通用数据保护条例（GDPR）和加利福尼亚消费者隐私法案（CCPA），数据治理成为任何数据管理计划不可或缺的一部分。例如，GDPR规定"访问权"允许客户在整个企业中查看其个人信息。同样，删除权要求毫不拖延地删除其所有个人资料。由于Delta是一个事务引擎，在"被遗忘的权利"遵从性场景中，可以使用DELETE命令轻松删除特定的数据（即表中的行），而无需编写复杂的管道代码。总的来说，由于数据分散在不同的数据源中，跟踪哪些数据驻留在何处以及哪些本地和云工作流会接触到这些数据，这可能很有挑战性。一个面向整个组织的基于云的数据平台和发现程序可以证明它的数据治理原则。Databricks Informatica端到端数据衍生解决方案入门构建智能数据管道以从不同的竖井中获取数据、跟踪其来源并在云中创建数据移动的完整视图，对于企业组织来说至关重要。Databricks和Informatica合作伙伴关系使现代数据团队能够利用数据资产来缩放和记录用于分析和ML的数据集和数据管道。对于希望实现管理过程自动化的数据工程师和数据科学家来说，这是一个强大的集成，同时实现未来数据管理的速度和灵活性。查看数据发现和沿袭分析网络研讨会，了解Databricks和Informatica数据沿袭联合解决方案的深入演示。相关资源Databricks和Informatica加快了智能数据管道的开发和完整的数据管理Delta Lake–为您的数据湖带来数据可靠性和性能大规模的企业数据治理和法规遵从性免费试用Databricks。今天就开始吧