博客在Sisense，我们为各种各样的用例和数据源提供分析。这为我们提供了一个独特的优势，可以根据客户的请求和使用模式来确定数据库市场的趋势。我们目前看到的最显著的趋势是基于云的数据湖的大量增长，如Amazon S3、Snowflake和Google BigQuery。仅在过去的一个季度，客户对连接云数据湖的请求就翻了一番，一些特定的来源甚至增长了两倍。相比之下，占主导地位的云分析数据库Amazon Redshift仅增长了20%。数据湖只是用来积累大量数据的地方，通常是半结构化或非结构化的。现代云数据湖的重要区别包括：基础设施和成本分离存储和计算存储任何数据类型基础设施抽象无限可扩展性是什么推动了这些技术的发展？归根结底是大数据、易用性、灵活定价和优质服务供应的增加。大的增长动力1大数据是真实的，而且是民主化的。云正在创建大量数据，需要云来分析这些数据。回顾过去十年，只有世界上最大的公司有足够的数据来证明湖泊的存在。这些大型企业还可以承担在Hadoop等技术上建立企业所需的高人力和基础设施成本。许多服务提供商已经开始帮助管理这些复杂的部署，但所需的投资和人力总是令人望而生畏。如今，规模较小的企业也在产生数PB的信息，这些信息通常来自网络流量或云中生成的用户数据。中型企业销售的云产品的用户数据通常会超过每天创建的数千万条记录，其范围仅限于跟踪事件的粒度。这些公司了解这些数据的价值，并需要以经济实惠的方式获取数据，从而产生了对具有可扩展定价模型的更简单工具的需求。2云使管理变得容易。"数据湖"一直是Hadoop的代名词。虽然Hadoop是开源的，但是在需要基础设施、开发人员、顾问以及在设置和维护上花费的时间之后，完整的部署可能是一个价值数百万美元的项目。在过去的几年里，新的云选项已经上线，将维护工作交给了基础设施提供商，使小型公司能够负担得起。amazons3已经被用于各种存储用例，但由于其易于管理和新的SQL接口，它越来越多地被用作分析数据湖。您可以在S3中存储任何内容，AWS将负责自动缩放、加密和许多其他实用程序。三。定价对敏捷企业来说是有意义的。云数据湖（clouddatalakes）的定价模型允许企业以低廉的价格起步。许多产品提供按查询定价，以抵消对大量前期投资的需求。用于查询S3数据的Amazon Athena和Spectrum，每扫描一TB的成本都是5美元，为企业提供了以低廉的成本起步的能力。同样从定价的角度来看，"存储和计算分离"适合更灵活的方法。由于数据存储非常便宜，而且大部分成本都来自查询，因此，对于企业来说，首先构建收集所有潜在有用数据的管道，然后再根据特定的需要对实际需要的内容做出明智的决策，这样做更有意义。将这种操作方式与被迫选择是否提前收集某些数据相比较。分析员可以在前几小时或几分钟内收集到数据。另一方面，调整数据收集流程可能是一个涉及多个解决方案和工程资源的长期过程。这种模型的缺点是，当即席查询转换为更持久的任务时，用户需要考虑成本控制，就像所有无服务器计算一样。4更多的可访问性和选择。也许最重要的是，在过去的几年里，使用与分析应用程序良好接口的SQL工具，出现了像S3这样的查询数据湖的新方法。这包括：AWS产品（如Athena）和spectrum开源工具（如apachedrill、Presto）和HiveIntegrated解决方案（如Snowflake和BigQuery），具有本机计算层随着众多新的标准SQL解决方案的引入，用户可以在易管理性、性能、可伸缩性和价格之间进行优化。当他们需要选择解决方案时，他们需要权衡。虽然整个云数据市场将增长，但在分析用例中，云数据湖将从关系数据库中占据更大的市场份额。除此之外，随着需求变得更加多样化和高级化，我们应该期望组织的数据管道更加专业化，因为团队在所有关键需求中推动不同产品的最大化。某些数据流将需要基于关系或元组的数据库来高速检索完整的记录，而其他数据流则需要使用列式引擎进行批量分析查询。这突出了从云端开始与可信的基础设施提供商合作的价值，该提供商可以提供广泛的互操作工具套件。标签：云数据仓库