云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

中间件_百度网易云音乐_速度快

小七 141 0

ApacheSpark使用案例、流媒体和Spark+AI欧洲峰会研究讲座指南

在apachespark的大部分历史中,它处理数据的能力和统一不同工作负载的能力促使Spark开发人员处理新的用例。通过创新和扩展其生态系统,开发人员将数据和人工智能结合起来开发新的应用程序。因此,开发人员来参加这次峰会,不仅是为了听取贡献者的创新,而且是为了分享他们的用例、经验、研究、吸收知识和探索新的领域。在最后一篇博客中,我们将关注的焦点转移到这些开发者身上,他们不仅对apachespark生态系统做出了贡献,而且在各自的行业中大规模地使用了Spark。让我们从CERN的下一代数据分析平台apachespark开始。来自欧洲核子研究所的恩里克·特杰多将分享如何大规模使用Spark以创新的方式处理来自大型强子对撞机(LHC)的EB级数据。同样,欧洲核子研究所的丹尼尔·兰扎也将讨论状态结构流和马尔可夫链联合起来监控物理数据的最大存储量。两个精彩的演讲将展示Spark的范围和可扩展性。Letgo的Ricardo Fanjul写道:"传统的数据架构不足以处理数百万用户生成的大量数据。"。从他关于为什么以及如何使用Spark设计一个水平可伸缩事件驱动的大数据架构的演讲中学习。从物理科学中的原子粒子碰撞数据到生命科学中的基因组数据,Spark是用来处理大规模数据的。得益于大规模统一分析的进步,特别是Spark处理分布式数据的能力,以及廉价的云存储,Spark进入了健康和生命科学的新领域。Databricks的Henry Davidge将分享:将apachespark上的基因组扩展100倍。从一个架构迁移工作负载到另一个架构的工程师的意见总是很有见地的。三位演讲者将描绘他们的Spark迁移旅程:首先,向Manuele Bardelli(OLX)学习,因为他将在演讲中描绘自己的技术迁移旅程,"一天一次"到"每次一次,每次一次";第二,Matteo Pelati(DBS bank)将分享他的Spark之旅:从RDBMS数据仓库迁移到Apache Spark;以及最后,yucaiyu(eBay)将讨论从Teradata迁移时优化sparksql的经验。这项研究预示着技术的转变和创新:在欧洲核子研究中心,它导致了WWW;在谷歌,它导致了TensorFlow等等;在加州大学伯克利分校AMPLab,它催生了apachespark。您可能会感兴趣的两个研究会议:用FPGA加速Apache Spark:10TB TPCx HS Spark基准测试使用FPGA(Intel)和Spark MPI:接近第五范式(NSLS-II)的案例研究。使用Spark连续处理时间序列数据是众多用例之一。为了解决如何将其与Spark一起使用,Liang Zhang(Worcester Polytechnic Institute)将分享他的研究工作,Spark-ITS:Spark上大规模时间序列数据的索引。我们认为飞行是理所当然的,就像开车一样。但是,驱使我们到达我们想要的目的地的机器是什么呢?久而久之,它们就会疲劳。您如何监控、检测或预测预防性维护?Peter Knight和Honor Powrie先生(均来自GE)将在他们的演讲中展示如何监控发动机,GE航空Spark应用程序-将分析移植到PySpark ML管道中的经验。Uber的共享乘车服务在全球城市中无处不在,就像它的摩天大楼一样。了解Uber如何使用apachespark,通过其用Spark构建的Hudi平台,每天运行数十万个分析查询。Nishith Agarwal和Vinoth Chandar先生(都来自Uber)将在他们的演讲中讨论这个用例:Hudi:PB级的近实时火花管道最后,两个值得注意的结构化流和机器学习相关用例:第一,来自Vedant Jain(Databricks),一个用于使用结构化流进行实时模型评分的微服务框架;第二个来自Heitor Murilo Gomes(LIAAD)和Albert Bifet(LTCI,Telecom ParisTech),Spark和流媒体。下一步是什么?利用此促销代码JulesPicks享受20%的折扣并立即注册!来看看apachespark、Data和AI的新特性吧。我们希望在伦敦见到你阅读更多找出参加Spark+AI峰会的5个理由。阅读数据科学、开发人员和深度潜水课程中的一些精选内容。阅读人工智能、机器学习和深度学习讲座中的一些精选。免费试用Databricks。今天就开始吧