博客我们生活在一个数据的世界里：数据的数量比以往任何时候都多，在不断扩展的表格和位置阵列中。处理数据是您了解数据团队如何应对新世界的挑战以帮助其公司和客户繁荣发展的窗口。近年来，我们看到数据对企业的可用性大大提高。这主要是由于数据仓库的兴起，数据存储成本的降低，以及使数据存储和访问比以往任何时候都更容易接近的现代ETL工具。这使得公司在其业务的各个领域变得越来越以数据为导向。事实上，在当今的气候条件下，数据驱动已经成为普遍存在和生存的必要条件。本文将在较高的层次上讨论现代企业如何利用新技术获取更广泛的数据源截至2019年，根据Blissfully的2020 SaaS趋势报告，较小的公司（0-50名员工）平均使用102个SaaS应用程序，而中型公司（101-250名员工）使用大约137个SaaS应用程序。与此同时，物联网概念，企业可以在整个组织中使用多达288个SaaS应用程序！这些SaaS产品从CRM到营销自动化应用程序，再到计费软件到帮助台工具等等。这些应用程序可以记录通过API提供的数千到数百万行数据，其中许多数据可以为企业提供有价值的见解。再加上公司内部收集的产品数据，很明显，即使是中小型企业，也可以利用自己掌握的数据做很多事情。在本文中，我们将讨论ETL过程是什么，为什么它对支持数据驱动的业务很重要，数据建模，以及现代ETL工具的兴起如何永远地改变了ETL过程。ETL过程：数据驱动业务的基础每个公司都希望业务中的每个团队都能做出更明智、数据驱动的决策。客户支持团队会查看支持通知单中的趋势，或对对话进行文本分析，以了解他们可以在哪里提供更好的入职培训和文档。营销团队希望能够更好地了解他们在不同平台上的广告表现以及他们的投资回报率。产品和工程团队挖掘生产力指标或缺陷报告，商城返利系统，以帮助他们更好地确定资源的优先级ETL过程使所有这些不同的团队能够获得所需的信息，以便更好地理解和执行工作。企业通过ETL过程从广泛的源获取数据，ETL过程代表提取、转换、加载。然后，准备好的数据可供需要它的各个团队进行分析和使用，以及用于高级分析、嵌入到应用程序中以及用于其他数据货币化工作。无论你想对数据做什么，你必须首先对它进行ETL解释传统的ETL过程传统上，该过程的提取步骤包括通过文件、应用程序数据库或API从源中批量提取数据。在转换步骤中，对数据进行清理和建模，以便数据仓库能够对其进行分析和接收。最后，将清理后的表加载到数据仓库中进行分析这种传统的ETL过程很难扩展。它通常需要全职数据工程师来开发和维护保持数据流动的脚本。这是因为数据提供者经常对其模式或api进行更改，从而破坏了支持ETL过程的脚本。每次发生变化时，数据工程师都会争先恐后地更新他们的脚本以适应它们，从而导致停机。由于企业现在需要从如此多不同的（通常是快速移动的）数据源获取数据，因此为每个数据源维护ETL脚本是不可伸缩的通过ETL工具更好地生活：现代ETL过程现代ETL过程遵循稍微不同的操作顺序，商城返利，称为ELT。这个新的过程是由于引入了更新ETL过程的工具，以及具有相对较低存储成本的现代数据仓库的兴起。今天，ETL工具为您完成了繁重的工作。他们有许多主要SaaS应用程序的集成，并且有维护这些集成的工程师团队，减轻了内部数据团队的压力。这些ETL工具是为了连接大多数主要的数据仓库而构建的，允许企业在一端插入应用程序，另一端插入仓库，而ETL工具则负责其余部分。用户通常可以通过应用程序中的一个简单的下拉选择来控制编排，这样就不需要自己安装服务器或EC2设备，也不需要构建dag来运行在类似flow这样的平台上。ETL工具通常还可以提供更健壮的选项，用于增量添加新数据，或者只更新新的和修改过的行，这样可以允许更频繁的加载，并且更接近业务的实时数据。有了这个简化的使数据可用于分析的过程，数据团队可以专注于为数据寻找新的应用程序，从而为业务创造价值。ETL过程和数据仓库数据仓库是数据和分析的现在和未来。近年来，数据仓库的存储成本大幅降低，这使得企业能够加载尽可能多的原始数据源，而不必像以前那样担心。今天，数据团队可以在转换原始数据之前获取原始数据，从而允许他们在仓库中而不是在单独的暂存区中进行转换。随着数据可用性的提高和访问这些数据的通用语言SQL，它允许企业更灵活地利用其数据来做出正确的决策现代ETL过程：提供更好的结果，更快在传统的ETL过程中，随着数据和处理需求的增长，内部数据仓库发生故障的可能性也随之增加。当这种情况发生时，它必须迅速介入解决问题，这通常意味着增加更多的硬件。当今数据仓库中的现代ETL过程通过将计算资源管理转移到云数据仓库来回避这个问题。许多云数据仓库提供了计算扩展，大数据技术及数据分析培训，允许在需要峰值时进行动态扩展。这使得数据团队仍然可以看到可伸缩的性能，同时保持更多的计算代价高昂的数据模型，并吸收更多的大型数据源。随着云数据仓库中计算能力成本的降低以及计算规模的扩大，数据团队可以高效地上下扩展资源，以满足他们的需求，并更好地确保没有停机时间。底线是，您不必让您的内部数据和/或IT团队为您的数据存储和计算问题而烦恼，您可以将其几乎完全卸载给数据仓库提供商。然后，数据团队可以在其云数据仓库之上构建测试，以监控数据源的质量、新鲜度等，从而使他们能够更快、更主动地了解数据管道中的任何问题。从ETL到ELT及以后数据、分析和BI从一开始就有了根本性的发展。我们超越了Excel表格和以prem为中心的数据源。云原生数据仓库、分析和BI平台中的云原生架构，以及由这些系统支持的嵌入式分析，重新定义了在我们现代，真正的数据驱动意味着什么。ETL过程已经更新，现在可以从广泛的数据集中提供见解，这有助于公司和各种团队更快地做出更明智的决策。它还为高级分析、下一级数据货币化等打开了大门。无论你用你的数据构建什么，一个现代化的英语教学设置将帮助你从你的数据中获得更多，更容易。虽然我们已经看到了向数据仓库的大规模迁移，但展望未来，我们可能会看到另一种演变，即数据湖被更广泛地用作所有原始数据源的初始目的地，从而提供更多的成本效益。此外，新的工具正在开始形成，允许在这些数据湖中进行转换，从而继续沿着ETL到ELT的路径在数据管道中进行工具和过程的演进。Adam Luba是Sisense的分析工程师，他在数据和分析领域拥有近五年的经验。他热衷于授权数据驱动的业务决策，并喜欢在数据的整个生命周期中使用数据。标签：云原生数据仓库|数据湖| ELT | ETL |提取负载转换|提取转换负载