Dataproc是一个易于使用、完全托管的云服务，用于以更简单、更经济高效的方式运行托管的开放源码，如apachespark、Presto和apachehadoop集群。Dataproc允许您拥有长时间运行的集群，类似于始终在本地的OSS集群。但更好的是，它允许多个更小的、定制的、以工作为中心的集群，当一项工作完成时，这些集群可以关闭，以帮助管理成本。然而，使用这些短暂的集群会带来一些问题：在这种新的体系结构中，电梯物联网，如何管理对Hadoop服务的安全和细粒度访问？如何审核用户操作并确保日志在任何集群生命周期之外都能持久存在？

在这个博客中，我们提出了一个端到端的架构和最佳实践来回答这些问题，在Google云上使用Apache Ranger，人工智能软件下载，Hadoop的授权操作系统。

在这个架构中，几个Dataproc集群共享一个Ranger后端数据库，而每个集群都有自己的Ranger管理和插件组件。托管在Cloud SQL上的数据库集中了策略，以便在所有集群之间同步策略。

使用这种架构，物联网的应用，您不必为每个集群部署一个Ranger数据库，从而处理策略同步并产生更高的成本。此外，您不需要一个中央Ranger管理实例，这需要维护始终处于启动状态。相反，唯一集中的组件是你的Ranger数据库，由CloudSQL支持，这是谷歌云的完全管理关系数据库服务？

使用Dataproc，您可以在几分钟内创建群集，云服务器买哪个好，轻松管理群集，并在不需要群集时关闭群集以节省资金。您可以根据需要创建任意多个集群，为一个作业或一组作业定制集群，并且只有在这些作业正在运行时才有集群。

听起来不错，但是在这样的环境中如何管理身份验证和授权？Dataproc与Google云的其余部分共享云身份和访问管理（Cloud IAM）功能；但是，IAM权限是高级别的，并不专门用于控制Hadoop环境中对服务的细粒度访问。这就是Ranger的优势所在。

如果你习惯于在prem环境中使用Ranger，那么在Dataproc上你会有宾至如归的感觉。Dataproc支持将Ranger作为可选组件，因此您可以继续使用Dataproc的组件交换在每个集群上安装Ranger。

在这个图中，您可以在Google云上看到四个Dataproc集群。每个集群托管一个Ranger实例，数据统计，以控制对集群服务（如Hive、Presto、HBase等）的访问