云网站服务器_国内数据云存储_移动云数据库服务器主机-搜集站云

云服务器_有哪些_云存储和云计算

小七 141 0

云服务器_有哪些_云存储和云计算

apachehadoop和apachespark已经建立起来,并且是分布式存储和数据处理的标准框架。在Google Cloud,我们希望确保数据科学家和数据工程师拥有所需的工具,以简单、方便、经济高效的方式使用这些框架,这就是为什么我们提供Dataproc,这是我们运行Apache Spark和Apache Hadoop集群的全管理云服务。对于希望构建机器学习模型的用户,微信淘客,可以使用Dataproc使用apachespark对数据进行预处理,然后使用相同的Spark集群为笔记本提供机器学习所需的电源。我们创建机器学习初始化操作是为了提供一组常用的库,以减少为机器学习配置集群所花的时间。

在本博客中,数据分析和大数据,您将了解如何开始在Dataproc集群上使用此初始化操作。这将为您提供一个环境,让您利用最新和最伟大的开源机器学习,低价的云服务器,包括:

加上,您可以通过可选组件和组件网关来增强Dataproc与Jupyter和Zeppelin的使用体验。

机器学习初始化操作依赖于使用其他初始化操作来安装某些组件,如RAPIDS、Dask和GPU驱动程序。因此,您可以访问这些组件提供的全部功能和配置。

数据预处理和机器学习培训在一个地方

Dataproc的机器学习初始化操作提供了运行生产Spark的环境,永久免费的云服务器,数据上的Dask或其他ETL作业,同时还可以使用您选择的机器学习库构建您的机器学习模型,人工智能行业分析,所有这些都在同一个位置。通过向集群配置中添加GPU,您还可以减少使用TensorFlow或RAPIDS的机器学习模型的训练时间,并使用RAPIDS SQL加速器进一步提高模型训练的效率。

配置您的Google云平台项目

您将需要一个Google云平台(GCP)项目。使用您自己的或按照此处的说明创建一个新的。

机器学习初始化操作依赖于对其安装部分使用其他初始化操作。您可以制作这些脚本的副本,以便有效地"锁定"您正在使用的脚本的版本。为此,创建一个云存储桶,并将脚本复制到这个桶中。