云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

云主机_node搭建服务器_促销

小七 141 0

简介:

本文介绍在HDP2.6上快速安装Vora1.4。这是我之前文章Hadoop2.6安装的后续内容。

因此,我假设您已经有了基于上述指南的Hadoop2.6安装。如果您是从零开始,我建议您先安装Hadoop。另外,请注意,如果使用不同的群集管理器或操作系统,服务器租用,返现网,命令和目录可能会有所不同。

群集环境:

3节点:

主机:4 CPU/32 GB2名工人:4 CPU/16 GB

SuSE SLES 12.1

HDP 2.6.3

Ambari 2.6.0

SAP Vora 1.4.0.34(最新版本)

获取Vora 1.4:

Vora可从SAP软件中心下载。进入产品下载页面,搜索"Vora 1.4"。Vora补丁都是完全安装的,所以应该选择最新的Vora补丁。请确保为您的操作系统(SLES、RedHat或CentOS)选择最新安装。

下载后,将安装移动到Hadoop主节点(我使用FileZilla进行此操作,但任何FTP应用程序都可以工作。)

第一部分-运行安装脚本:

将SSH移动到主节点并解压缩安装介质。在/tmp目录中这样做是个好主意,因为hdfs用户将需要访问:

这将启动一个交互式安装提示。–install dep标志将为Vora服务安装任何必要的依赖项。安装程序将要求:

Vora工具和Vora管理器的用户/密码确认操作系统和群集管理器确认依赖项的安装确认hdfs用户的文件访问权限是否为vora服务用户指定uid/gid(选择"否"将使用默认uid/gid)

一旦安装完成,您的群集管理器(在我的例子中是Ambari)将自动重新启动。但是,我发现需要手动重新启动:

第二部分-添加Vora管理器:

一旦Ambari重新启动,从集群管理器UI :8080导航到操作>添加服务。

在服务列表中,现在应该有一个Vora管理器选项。

选择Vora管理器并单击下一步。

选择要部署Vora管理器节点的位置(通常我选择集群中的主节点)。

下一步,分配Vora管理器群集中所有节点的工作程序和客户端组件:

接下来,在"自定义服务"下,您需要确认一些配置:

vora\u default\u java\u home–应该指向您的java安装目录。类似于/usr/jdk64/jdk1.8.x的东西。您还可以检查$JAVA\u HOME环境变量以确认(假设设置正确)

vora\u default\u spark\u HOME–应该指向您的spark安装根目录。类似于/usr/hdp/2.6.x.x-xxx/spark的东西。同样,大数据好不好,您可以检查$SPARK\u HOME环境变量,如果这些变量是按照之前的Hadoop安装指南设置的。

vora\u discovery\u bind\u interface–这应该指向您的活动网络接口。这默认为eth0,但如果用户使用不同名称的网络接口,秒单客返利机器人,则经常会遇到问题。您可以使用ifconfig命令确认:

所有其他选项现在都可以保留默认值。如果您希望以不同的用户或在不同的端口下运行Vora,则可以随时调整这些参数。如果您确实想以非root用户身份运行Vora,请参阅《安装和管理指南》的第3.5节,因为还需要其他步骤。

单击"下一步",什么是大数据技术,安装过程应开始。与Hadoop安装一样,如果任何节点出现故障,可以通过单击安装UI中的"失败"状态来检查故障日志。

一旦成功,重新启动Vora Manager和任何其他需要它的服务。

第三部分-启动服务:

此时,Vora Manager UI应该可以从访问:19000

使用运行初始安装脚本时创建的凭据登录并访问"服务"选项卡。

默认配置和节点分配在安装过程中创建,因此单击顶部的"全部启动"按钮将尝试使用这些默认设置启动所有服务:

如果任何服务失败或显示"严重"状态超过30-60秒,您可以使用Vora 1.4故障排除指南进行故障排除。

使用默认配置,使用本次和上一次Hadoop安装中描述的设置,我的所有服务都可以正常启动。

一旦运行,Vora Tools UI在默认情况下可以通过端口9225访问。单击Vora Tools>Node Assignment以确认运行Vora Tools的节点,并通过键入URL::9225

或从Vora Manager中"外部链接"下的Welcome选项卡访问UI。您可以使用与Vora Manager相同的用户名/密码登录。

第四部分-测试Vora:

最后,我们将使用Vora spark命令行工具确保可以从spark/Vora工具访问Vora库。

在主节点控制台上,我们将首先为vora spark库添加一个环境变量:

在文件的底部粘贴以下内容(注意:对于不同的操作系统和集群管理器,目录可能不同):

保存并退出:wq

现在我们将启动vora spark shell:

一旦spark shell加载,您将看到一个scala>提示。运行以下命令来测试连接性:

在show tables命令之后,您应该得到显示当前不存在表的输出:

接下来我们将创建一个简单的测试表,从中选择并删除它。这些命令使用测试.csv我们在Hadoop教程中在cadmin文件夹中创建的文件。如果尚未创建此文件,请参阅Hadoop指南,或者只创建一个简单的单行csv文件并将其添加到hdfs文件夹/user/cadmin。下面是命令的完整列表:

2."select*fromtesttable"语句应该从我们的测试.csv文件:

3。最后,我们删除表并运行最后一个"show tables"命令来确认testtable已被删除。

在scala提示符下键入exit退出spark shell。

恭喜!现在您有了一个vora1.4的工作实例!