云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

_北京大学数据库_学生机

小七 141 0

通过Azure Data Lake存储的查询加速优化成本和性能

数据驱动决策的爆炸式增长正促使企业制定数据战略,以提供更好的客户体验,提高运营效率,并根据数据做出实时决策。随着企业变得数据驱动,我们看到越来越多的客户在Azure上建立数据湖。我们还听说,更多的成本优化和更高的性能是Azure上datalake架构的两个最重要的特性。通常,这两种品质是互相交换的,如果你想要更高的表现,你就需要付出更多;如果你想省钱,你的业绩曲线会下降。这就是为什么今天,我们宣布了azuredatalakestorage的查询加速预览,这是azuredatalakestorage的一个新功能,它可以提高性能和成本。现在,客户可以开始使用该功能来实现这些好处,并改进他们在Azure上的datalake部署。Azure Data Lake的查询加速如何提高性能和成本大数据分析框架,如Spark、Hive和大规模数据处理应用程序,通过使用水平可伸缩的分布式计算平台(如MapReduce)读取所有数据。但是,给定的查询或转换通常不需要所有的数据来实现其目标。因此,应用程序通常会产生读取、通过网络传输、解析到内存并最终过滤掉大部分不需要的数据的成本。考虑到此类数据湖部署的规模,这些成本将成为影响设计和您的雄心壮志的主要因素。同时提高成本和性能可以提高从数据中提取的有价值的洞察力。Azure Data Lake Storage的查询加速功能允许应用程序和框架向下推送谓词和列投影,因此它们可以在首次读取数据时应用,这意味着所有下游数据处理都可以从过滤和处理不需要的数据的成本中节省下来。下图说明了典型应用程序如何使用查询加速来处理数据:客户机应用程序通过指定谓词和列投影来请求文件数据。查询加速分析指定的查询,并分配工作来分析和筛选数据。处理器从磁盘读取数据,使用适当的格式解析数据,然后通过应用指定的谓词和列投影来过滤数据。查询加速将响应碎片组合起来,以流式传输回客户端应用程序。客户端应用程序接收并解析流式响应。应用程序不需要过滤任何额外的数据,可以直接应用所需的计算或转换。Azure提供强大的分析服务Azure Data Lake存储的查询加速是我们致力于让Azure成为组织从所有数据中释放变革见解的最佳场所的又一个例子。客户可以从与其他Azure服务的紧密集成中获益,以构建强大的云级端到端分析解决方案。这些解决方案支持现代数据仓库、高级分析和实时分析,而且更经济。我们还致力于保持一个开放的平台,在这个平台中,最好的开源解决方案同样可以从平台内所有点的创新中获益。借助Azure Data Lake Storage支撑强大分析服务的整个生态系统,客户可以从所有数据资产中提取变革见解。了解更多要了解有关Azure Data Lake存储的查询加速的更多信息,请执行以下操作:注册Azure Data Lake存储预览计划。阅读Azure Data Lake存储文档。了解如何使用Java和.NET的查询加速。了解查询加速的定价模型。了解有关Azure Data Lake存储的更多信息。