Databricks对教育的承诺是我们工作的中心。通过讲师指导的培训、认证和自学培训，Databricks Academy为用户提供了学习ApacheSpark和Databricks的强大途径，并将他们的知识提升到下一个层次。本着这种精神，我们很高兴提供一些新的免费内容。首先是一系列短片，帮助任何人开始在apachespark和Databricks上进行机器学习。接下来，我们将从一个为期3天的讲师指导培训课程中获取一个样本模块。机器学习导论在过去的几周里，Databricks学院推出了两门新的自学课程：结构化流媒体和数据科学与机器学习入门。作为机器学习课程发布的一部分，我们制作了一系列以课程开发人员Conor Murphy为主角的视频。如果您想在自己的计算机上使用Conor，只需下载代码即可。如果您还没有Databricks帐户，可以免费开始Databricks社区版。 在这个视频中，Conor介绍了机器学习和分布式学习的核心概念，以及如何使用apachespark完成分布式机器学习。他还设定了整个视频系列的目标：使用数据块构建一个端到端的机器学习管道。 为了处理数据集，必须将数据导入Databricks工作区。在这段视频中，Conor提供了一个将数据导入Databricks的具体示例。一旦加载了数据，Conor就使用Databricks进行探索性数据分析（EDA）和数据集显著方面的可视化。 apachespark的机器学习库中有三个主要的抽象：转换器、估计器和管道。在本视频中，Conor分别讨论了transformer和Pipeline中实现的transform（）和fit（）方法，以及如何使用它们来构建完整的机器学习管道。然后，Conor使用Spark-in-Databricks完成这样一个管道的实现。 在这段视频中，康纳准备数据为最终模型拟合。他首先演示了对数据集进行训练/测试的准备，并讨论了这种技术在防止模型过度拟合方面的重要性。接下来，Conor展示了如何使用Spark-ML转换器通过特征化管道完成数据准备。 最后，Conor通过在本系列中开发的完整管道上训练模型来完成端到端机器学习管道。他还展示了如何使用性能指标来评估这些管道的性能。在选择了最终模型之后，Conor演示了如何保存模型以备以后使用。我们希望你发现这些视频信息丰富，以及娱乐！完整的视频播放列表在这里。您可以在Databricks Academy提供的数据科学和机器学习简介中了解有关使用Databricks进行机器学习的更多信息。基于成本的Apache Spark优化器在这里，我们将展示来自Apache Spark Tuning and Best Practices的示例模块，这是Databricks学院为期3天的讲师指导培训课程之一。在这个视频中，Databricks的讲师Jacob Parr介绍了apachespark基于成本的优化器。他将首先解释各种优化器及其在apachespark中的使用方式，然后详细介绍基于成本的优化器，并用代码示例提供实际数据的示例。要了解更多关于Databricks提供的课程，请访问Databricks学院。如果您想开始企业培训，请立即联系我们！免费试用Databricks。今天就开始吧