apachehadoop和apachespark已经建立起来，并且是分布式存储和数据处理的标准框架。在Google Cloud，我们希望确保数据科学家和数据工程师拥有所需的工具，以简单、方便、经济高效的方式使用这些框架，这就是为什么我们提供Dataproc，这是我们运行Apache Spark和Apache Hadoop集群的全管理云服务。对于希望构建机器学习模型的用户，微信淘客，可以使用Dataproc使用apachespark对数据进行预处理，然后使用相同的Spark集群为笔记本提供机器学习所需的电源。我们创建机器学习初始化操作是为了提供一组常用的库，以减少为机器学习配置集群所花的时间。

在本博客中，数据分析和大数据，您将了解如何开始在Dataproc集群上使用此初始化操作。这将为您提供一个环境，让您利用最新和最伟大的开源机器学习，低价的云服务器，包括：

加上，您可以通过可选组件和组件网关来增强Dataproc与Jupyter和Zeppelin的使用体验。

机器学习初始化操作依赖于使用其他初始化操作来安装某些组件，如RAPIDS、Dask和GPU驱动程序。因此，您可以访问这些组件提供的全部功能和配置。

数据预处理和机器学习培训在一个地方

Dataproc的机器学习初始化操作提供了运行生产Spark的环境，永久免费的云服务器，数据上的Dask或其他ETL作业，同时还可以使用您选择的机器学习库构建您的机器学习模型，人工智能行业分析，所有这些都在同一个位置。通过向集群配置中添加GPU，您还可以减少使用TensorFlow或RAPIDS的机器学习模型的训练时间，并使用RAPIDS SQL加速器进一步提高模型训练的效率。

配置您的Google云平台项目

您将需要一个Google云平台（GCP）项目。使用您自己的或按照此处的说明创建一个新的。

机器学习初始化操作依赖于对其安装部分使用其他初始化操作。您可以制作这些脚本的副本，以便有效地"锁定"您正在使用的脚本的版本。为此，创建一个云存储桶，并将脚本复制到这个桶中。