简介:
本文介绍在HDP2.6上快速安装Vora1.4。这是我之前文章Hadoop2.6安装的后续内容。
因此,我假设您已经有了基于上述指南的Hadoop2.6安装。如果您是从零开始,我建议您先安装Hadoop。另外,请注意,如果使用不同的群集管理器或操作系统,服务器租用,返现网,命令和目录可能会有所不同。
群集环境:
3节点:
主机:4 CPU/32 GB2名工人:4 CPU/16 GB
SuSE SLES 12.1
HDP 2.6.3
Ambari 2.6.0
SAP Vora 1.4.0.34(最新版本)
获取Vora 1.4:
Vora可从SAP软件中心下载。进入产品下载页面,搜索"Vora 1.4"。Vora补丁都是完全安装的,所以应该选择最新的Vora补丁。请确保为您的操作系统(SLES、RedHat或CentOS)选择最新安装。
下载后,将安装移动到Hadoop主节点(我使用FileZilla进行此操作,但任何FTP应用程序都可以工作。)
第一部分-运行安装脚本:
将SSH移动到主节点并解压缩安装介质。在/tmp目录中这样做是个好主意,因为hdfs用户将需要访问:
这将启动一个交互式安装提示。–install dep标志将为Vora服务安装任何必要的依赖项。安装程序将要求:
Vora工具和Vora管理器的用户/密码确认操作系统和群集管理器确认依赖项的安装确认hdfs用户的文件访问权限是否为vora服务用户指定uid/gid(选择"否"将使用默认uid/gid)
一旦安装完成,您的群集管理器(在我的例子中是Ambari)将自动重新启动。但是,我发现需要手动重新启动:
第二部分-添加Vora管理器:
一旦Ambari重新启动,从集群管理器UI :8080导航到操作>添加服务。
在服务列表中,现在应该有一个Vora管理器选项。
选择Vora管理器并单击下一步。
选择要部署Vora管理器节点的位置(通常我选择集群中的主节点)。
下一步,分配Vora管理器群集中所有节点的工作程序和客户端组件:
接下来,在"自定义服务"下,您需要确认一些配置:
vora\u default\u java\u home–应该指向您的java安装目录。类似于/usr/jdk64/jdk1.8.x的东西。您还可以检查$JAVA\u HOME环境变量以确认(假设设置正确)
vora\u default\u spark\u HOME–应该指向您的spark安装根目录。类似于/usr/hdp/2.6.x.x-xxx/spark的东西。同样,大数据好不好,您可以检查$SPARK\u HOME环境变量,如果这些变量是按照之前的Hadoop安装指南设置的。
vora\u discovery\u bind\u interface–这应该指向您的活动网络接口。这默认为eth0,但如果用户使用不同名称的网络接口,秒单客返利机器人,则经常会遇到问题。您可以使用ifconfig命令确认:
所有其他选项现在都可以保留默认值。如果您希望以不同的用户或在不同的端口下运行Vora,则可以随时调整这些参数。如果您确实想以非root用户身份运行Vora,请参阅《安装和管理指南》的第3.5节,因为还需要其他步骤。
单击"下一步",什么是大数据技术,安装过程应开始。与Hadoop安装一样,如果任何节点出现故障,可以通过单击安装UI中的"失败"状态来检查故障日志。
一旦成功,重新启动Vora Manager和任何其他需要它的服务。
第三部分-启动服务:
此时,Vora Manager UI应该可以从访问:19000
使用运行初始安装脚本时创建的凭据登录并访问"服务"选项卡。
默认配置和节点分配在安装过程中创建,因此单击顶部的"全部启动"按钮将尝试使用这些默认设置启动所有服务:
如果任何服务失败或显示"严重"状态超过30-60秒,您可以使用Vora 1.4故障排除指南进行故障排除。
使用默认配置,使用本次和上一次Hadoop安装中描述的设置,我的所有服务都可以正常启动。
一旦运行,Vora Tools UI在默认情况下可以通过端口9225访问。单击Vora Tools>Node Assignment以确认运行Vora Tools的节点,并通过键入URL::9225
或从Vora Manager中"外部链接"下的Welcome选项卡访问UI。您可以使用与Vora Manager相同的用户名/密码登录。
第四部分-测试Vora:
最后,我们将使用Vora spark命令行工具确保可以从spark/Vora工具访问Vora库。
在主节点控制台上,我们将首先为vora spark库添加一个环境变量:
在文件的底部粘贴以下内容(注意:对于不同的操作系统和集群管理器,目录可能不同):
保存并退出:wq
现在我们将启动vora spark shell:
一旦spark shell加载,您将看到一个scala>提示。运行以下命令来测试连接性:
在show tables命令之后,您应该得到显示当前不存在表的输出:
接下来我们将创建一个简单的测试表,从中选择并删除它。这些命令使用测试.csv我们在Hadoop教程中在cadmin文件夹中创建的文件。如果尚未创建此文件,请参阅Hadoop指南,或者只创建一个简单的单行csv文件并将其添加到hdfs文件夹/user/cadmin。下面是命令的完整列表:
2."select*fromtesttable"语句应该从我们的测试.csv文件:
3。最后,我们删除表并运行最后一个"show tables"命令来确认testtable已被删除。
在scala提示符下键入exit退出spark shell。
恭喜!现在您有了一个vora1.4的工作实例!