你可能听过一句名言："为什么软件正在吞噬世界。"但如果软件正在吞噬世界，你可能会问，软件从何而来？当然，开发者们！一些软件开发商主张"开发者正在吞噬世界"。Stripe的一份研究报告指出，"开发者有能力在未来10年内将全球GDP提高3万亿美元。"或许是这样。但它们在数据驱动公司生产影响收入的数据产品方面的主导地位是无可争议的；它们对GitHub上的开源项目的贡献是无与伦比的；它们在技术会议上的贡献和出席是显著和有影响力的；它们对开源社区会议的承诺是持久的。资料来源：https://open.spotify.com/show/6ugAoqTgAaNmd9UwybEsjR？si=sqtj2nu2qyy3f2tov wLw在本博客中，我们将重点介绍开发人员为开发人员选择的会议，这些会议讲述了他们在将数据和机器学习的巨大价值结合起来方面所做的努力，这些会议侧重于开发人员、深入探讨和教程。开发人员和深度潜水当然，让我们从开发人员的轨道开始。Neo4J的Martin Junghanns和Sören Reichardt先生将分享ApacheSpark3.0的新贡献：用Morpheus和Neo4J为企业扩展Spark Graph。Spark中图形的新模块，本课程介绍如何使用Morpheus和Cypher API将数据转换为属性图。与apachespark中的图相关，TigerGraph的Victor Lee博士和Songting Chen将比较在Spark中使用图的三个选项：GraphX、Apache Spark的Cypher和TigerGraph。不要错过他的演讲，评估apachespark的图形解决方案社区的两个贡献都增强并扩展了Spark的绘图能力。这就引出了Spark的可扩展性。在吸引开发人员的许多特性中，一个是它的可扩展性和新的语言绑定、库或组件的扩展。微软的Terry Kim和rahulpotharaju先生将在他们的演讲中解释他们如何扩展Spark以包括一个新的.NET绑定：apachespark的netbindings。另一个显示Spark可扩展性的会话是一个深入研究和实时编码的会话，使用新的数据源扩展Spark SQL 2.4。独立顾问、《apachespark Internals》的作者Jacek Laskowski将在一个实时编码会话中展示开发人员如何使用新的或定制的数据源扩展sparksql。新的开源项目deltalake扩展了apachespark，为数据湖增加了ACID可靠性。在这次演讲中，Databricks Delta Lake及其优点，Cognizent Worldwide Limited的Nitin Raj和Nagaraj Sengodan将分享Delta Lake API如何与Apache Spark完全兼容，以及其事务处理能力如何为Data Lakes带来可靠性。对于对apachespark的内部结构和优化感兴趣的软件开发人员来说，有几个会话非常突出：首先，apachespark的内置文件源，来自databrickspark提交人Gengliang Wang。在Spark 3.0中，所有数据源都是使用数据源API v2重新实现的。本课程将解释这些是什么，以及如何以最佳方式使用它们。其次，来自CERN的Luca Canali将在他的演讲《使用apachespark Metrics进行性能故障排除》中解释分布式数据处理的性能故障排除和apachespark3.0中的改进第三，Spark调优和优化需要知道要调整哪些配置以实现最佳资源利用率。四节课详细阐述了Spark调优的原因：Apache Spark核心——实际优化（Databricks的Daniel Tomes）；使用生产配置文件指导优化（Facebook的Adam Barth）；拼花地板格式和性能优化机会（Databricks的Boudewijn Braams）；以及用Arrow加速PySpark的内部机制（大数据顾问rubenberenguel）MLflow、三角洲湖、考拉和莫菲斯教程今年在旧金山举行的Spark+AI峰会上，作为一个90分钟的专门实践教程，教程在出席人数和技术内容方面都取得了巨大成功，因此我们也希望将这部分内容作为阿姆斯特丹峰会的一部分。以下是一些值得参加的教程：apachespark3.0中的图形特性：集成Spark图中的图形查询和算法Cosmos DB实时高级分析研讨会考拉：阿帕奇星火上的熊猫用MLflow管理机器学习生命周期管理利用三角洲湖建立可靠的数据管道阅读更多了解为什么具有apachespark和机器学习知识的大数据专业人士需求量大，以及成为专家的五个原因。阅读谁在Spark+AI峰会上就数据和机器学习的现状发表了什么主题演讲。下一步是什么你也可以仔细阅读并从日程表中挑选会话。如果您还没有注册参加峰会，请使用"Jules20"，一个20%的折扣代码。在下一篇博客中，我们将分享我们从与数据科学、深度学习、机器学习和人工智能用例跟踪相关的课程中挑选的内容。 免费试用Databricks。今天就开始吧