2019年Spark+AI峰会，全球最大的Apache Spark数据和机器学习会议™ 社区，带来了近5000名注册的数据科学家，工程师和商业领袖到旧金山的莫斯科尼中心，以了解下一步会发生什么。观看今天的主题录音，了解更多关于apachespark、MLflow和我们最新的开源产品Delta Lake的最新产品发布！产品公告Spark+AI峰会的主题包括几个主要的产品发布。ApacheSpark PMC成员、Spark的头号代码提交人Reynold Xin在峰会开幕式上介绍了今年晚些时候为Spark 3.0计划的工作，其中包括1000多个改进、特性和bug修复，包括氢加速器感知调度、Spark Graph、Spark on Kubernetes、ANSI-SQL解析器等等。雷诺德还宣布了一个新的版本，将熊猫数据帧API引入Spark，这是一个新的开源项目，名为考拉。Pandas长期以来一直是Python操作和分析数据的标准，特别是对于中小型数据集，该项目为Spark上的大型数据集开辟了一个更无摩擦的发展道路。有了兼容的API语法，受过熊猫训练的数据科学家现在可以使用考拉轻松地过渡到为生产环境准备的更大的分布式数据集。Databricks的首席执行官兼联合创始人alighodsi宣布了deltalake的开源版本，deltalake是一个存储层，可以为datalakes带来更高的可靠性和质量。以前，数据湖经常面临垃圾堆输出的问题，这些问题使得数据质量对于数据科学和机器学习来说太低，导致了大型、昂贵的"数据沼泽"。该项目为数据湖带来了一系列新功能，包括ACID事务、模式强制，甚至数据时间旅行，这有助于确保下游分析和项目的数据完整性。以前使用Databricks Delta的客户对它为他们解决的核心问题给出了非常积极的反馈，我们很高兴能够为更大的社区公开项目的源代码。apachespark、MLflow和现在的Delta-Lake的生态系统继续扩展，以解决端到端数据和ML挑战。来自微软的CVP Azure数据Rohan Kumar发布了一系列声明：对MLflow的Azure机器学习支持，微软加入MLflow的开源支持.NET对ApacheSpark的支持，将更多的开发人员引入Spark生态系统Databricks的首席技术专家mateizaharia宣布了开源MLflow项目的下一个新组件集，其中包括MLflow工作流和MLflow模型注册表。这些模块通过多步骤管道和模型管理进一步扩展了端到端机器学习生命周期的管理。Matei还宣布了mlflow1.0的后续工作，它提供了一个长期使用的稳定API和其他特性发布。托管MLflow现在也可以在AWS和Azure上使用。主讲人除了产品发布之外，还有一系列来自行业知名人士的主题演讲，涉及各种主题。图灵奖获得者大卫帕特森分享了关于计算机体系结构黄金时代的见解和他对更开放设计的设想。Netflix数据科学和分析副总裁Caitlin Smallwood介绍了Netflix如何在整个公司使用数据，从预测Netflix观众希望观看的内容到投资于内容制作本身。迈克尔乔丹分享了以人为中心的人工智能的原则，以及应用算法和数据的市场策略如何创造更大的经济价值。googlebrain和Black in AI的Timnit Gebru谈到了在数据和人工智能系统中发现的不同性别和种族群体的偏见和错误率，以及需要改进这些系统的标准。谷歌的AnitahVijayakumar分享了TensorFlow2.0的一些最新特性和开发。Facebook人工智能研究公司的Jitendra Malik概述了视觉理解和计算机视觉与深度学习技术的快速发展。来自康卡斯特的Jan Neumann和Jim Forsythe分享了他们如何利用Delta Lake、MLflow和Databricks构建一个可扩展的数据和机器学习平台，以支持他们的人工智能语音遥控器，包括丰富数PB的用户会话数据，并将其输入到灵活的环境中进行模型开发和部署。查看主旨演讲录音，听取所有演讲者的观点。会议和培训更深入的技术内容和教程继续在基调之外，有超过170个会议，跨越十几个轨道，演讲者来自Yelp、AirBNB、Lyft、Nike、Starbucks、Optum、FINRA、IBM、Verizon、腾讯和其他许多公司。主题多种多样，包括流处理、质量监控、测试、模型服务、TensorFlow、SciKit Learn、Keras、PyTorch、数据管道、迁移、NLP、数据治理、性能优化、预测建模、图形算法等等。大量的实践培训深入到数据工程、数据科学、Spark编程、认证、深度学习和机器学习。统一分析中的女性女性领导人在Databricks多样性委员会赞助的一系列活动中分享了她们的观点。来自Netflix、Stanford、LinkedIn、Workday、Apple、Google等公司的演讲者为海湾地区Spark Meetup、女性早餐和午餐技术谈话+小组的与会者带来了思想领导力和观点。下一步是什么Spark+AI Summit 2019主题视频现在可以看到最新的产品发布和思想领导力。如果您想在有新内容时收到通知，请在Twitter上关注@Databricks或订阅我们的时事通讯。今天您还可以在我们的免费Databricks社区版上学习apachespark，或者使用免费的Databricks试用版构建一个生产Spark应用程序。一如既往，感谢您的支持，我们期待着在10月和明年10月在阿姆斯特丹举行的Spark+AI欧洲峰会上见到您！免费试用Databricks。今天就开始吧