自助分析技术的开发者Dremio Corp.表示，该公司已经找到了如何在流行的云存储中解锁数据，以用于对性能敏感的数据仓库应用程序。该公司为Amazon Web Services、Azure和混合云系统开发的新Data Lake引擎使用户能够直接处理云对象存储中的数据，如AWS的S3和微软公司的Azure Data Lake存储。这些服务因其低成本和可扩展性而广受欢迎，但云的固有延迟和对象存储的性能限制限制了它们在性能场景中的使用。Dremio首席执行官托默·希兰（Tomer Shiran）说："过去，你唯一的选择是提取数据并将其放入[AWS]Redshift这样的仓库，或者构建多维数据集和商业智能提取系统。"。这个过程有时需要几天或几周时间。该公司认为它已经解决了这个问题，它称之为Columnar Cloud Cache，一种可以自动将数据加载到非易失性存储器express或NVMe或固态存储器中的预读缓存，这种存储器实际上位于处理器附近。该公司表示，这种方法可以将性能提高70倍，同时减少网络流量，无需管理或设置。"你可以两全其美：S3的可扩展性和NVMe的性能。"。另一个性能增强功能是"预测流水线"，它可以提高列式数据的预读命中率，同时将读取吞吐量提高到网络允许的最大值。该软件还利用了针对apachearrow的Gandiva倡议，这是一个针对apachearrow数据的高性能列式处理而优化的执行内核。这是个专栏德雷米奥对列处理略知一二。它的软件基于apachearrow，一个列式内存处理加速器，使用columnar-in-memory分析，一种按列而不是行排列数据的内存映射技术。传统的关系引擎出于必要将数据以行的形式进行处理，但列式处理至少要快10倍，因此更适合于分析。Shiran说，Dremio技术已经开发了一年多，它可以预测客户需要的数据并将其加载到内存或闪存中，从而消除了在提交查询后检索数据时的性能损失。"我们很清楚哪些栏目是必要的，"希兰说我们可以提前一秒钟进行预测，这样您就不会再等待数据了。"预测数据需求并不像听起来那么复杂。在大多数情况下，用户在定义的时间段内重复查询一组有限的最近数据。"他们通常会对同一组有限的客户记录提出许多问题，"Shiran说，他举了一家游轮运营商在海上不断查询乘客名单的例子。Dremio说，它的技术可以连接大多数或取代云数据仓库，并兼容大多数商业智能前端，包括Tableau Software Inc.，Microsoft Corp.和Looker data Sciences Inc.的前端。它还支持开放数据库连接、Java数据库连接，表示状态转移和apachearrow飞行接口。该软件还支持跨平台连接，如查询跨越S3和oraclecorp.关系引擎。该公司还推出了Dremio Hub，它本质上是一个连接器应用程序市场。希兰说，目前只有5个连接器上市，但"我们预计今后一年会看到几十个"。Dremio不会在市场上测试或认证软件，但会把这个角色留给社区。定价基于完全在云端运行的Dremio集群的大小。这位首席执行官说，年度定价可能在"五到七位数"之间。图片：良心自由/photopin既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。