云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

华为云_sql文件导入数据库_高性能

小七 141 0

华为云_sql文件导入数据库_高性能

本教程是在云上安装Hadoop 3节点集群的快速入门指南。大多数配置都保持接近默认值,因此本指南非常适合于开发和测试环境。不建议将本指南用于生产环境。

由于我的群集上存在一些代理限制,我将注意标签为"仅代理"的代理后面与群集相关的解决方法或附加步骤。

有关代码示例,>表示普通用户运行的命令,#表示以root用户身份运行。

节点:4 CPU/16G RAM x 3操作系统:SUSE 12 SP01HortonWorks Ambari 2.6.0

我将使用SAP的云基础设施来提供安装Hadoop的服务器。

Ambari将在只有8GB RAM的节点上运行,但建议更多,特别是如果集群将用于测试。

通常建议使用三个4 CPU/16 GB节点。

所有节点都运行SuSE 12 SP01。HDP2.6.2可以支持SUSE(64位)11.3、11.4、12.1和12.2。确保所有节点运行相同的操作系统和补丁级别。

我们将使用PuTTY连接到节点。你只需要putty.exe客户和puttygen.exe为了将我们的私钥转换成可读的格式。

从本地用户文件夹创建一个名为".ssh"的文件夹。在Windows上,这可能必须通过命令行完成,因为资源管理器不喜欢创建以句点开头的文件夹。

在新的.ssh文件夹中,我们将存储私钥。保存后,启动puttygen.exe.

单击"加载"按钮并选择您保存的私钥(如果您的密钥未列出,请确保在加载屏幕中选择了所有文件。)

加载后,选择"保存私钥"当提示保存不带密码短语的密钥时,选择"是",并将其保存到.ssh目录中的文件中。

此新文件保存为.ppk文件,我们将使用PuTTY连接到服务器。

保存后,启动putty.exe。在主页上指定其中一个节点的主机名,

在"连接">"数据"下,在"自动登录用户名"下指定用户名。

在"连接">"SSH">"身份验证"下,确保选中"允许代理转发"在"用于身份验证的私钥"下,浏览到puttygen创建的私钥文件

添加任何其他您想要的自定义项(外观、选择行为等),然后导航回会话页面,为您的配置文件命名并单击"保存"。

保存配置文件后,单击"打开"连接到节点。

连接成功后,对其他两个节点重复上述过程。

现在我们可以通过SSH连接到所有三个节点,我们将快速更新并创建我们的管理用户。

我的实例用户预先配置了服务器上sysadmin组的无密码sudo访问权限。

这意味着发出sudo su命令将允许您以root用户身份运行。至少一个用户需要无密码sudo访问才能允许HDP在集群上安装服务。

在所有三个节点上,我们将首先进行更新,以确保运行的是最新版本:

因为我们已经有一个具有无密码sudo访问权限的sysadmin组,我们只需要创建一个新用户,并确保它被添加到sysadmin组(以及您可能需要的任何其他组)。对于您的平台,请确保创建的用户具有无密码sudo访问权限。我将我的用户命名为cadmin(cluster admin):

在群集中的所有三个节点上创建此用户。

安装Ambari群集时,我们将使用此用户连接服务器。

从主节点,我们将为新的cadmin用户创建一个RSA密钥,以允许基于密钥的SSH身份验证。

以cadmin用户身份登录并运行SSH keygen要创建此RSA密钥:

在用户的.ssh文件夹(/home/cadmin/.ssh/)中创建两个文件:

id\u RSA–这是私钥。在Ambari安装过程中我们需要这个,所以请将它保存到记事本中,以便我们稍后可以快速访问它。

id_rsa.pub公司–这是公钥,我们需要将其添加到所有节点上的授权的\u密钥文件中,以便cadmin使用私钥进行连接。

授权的\u密钥文件位于用户的.ssh文件夹中,并且在用户尝试连接到服务器时读取。因此,我们将首先将其复制到主节点上的文件:

将此公钥也保存到记事本,因为我们将把它添加到cadmin主目录下的其他两个节点。

通过PuTTY连接到其他节点并运行:

其中"XXXXXX"是cadmin公钥。

您可以在文件上运行cat以确保其写入正确:

现在我们可以测试以确保cadmin能够连接。

从主节点(您第一次生成密钥对的位置)运行:

其中node-2是您的一个工作节点的主机名。您可能会得到关于主机真实性的提示,回答"是",云服务器设备,您应该连接。

如果密钥未被接受或提示您输入密码,请仔细检查公钥是否列在授权密钥文件中,并尝试通过此链接进行故障排除。

假设我们现在有一个工作的cadmin用户,在本节中,我们将添加Ambari存储库并安装群集管理器。

Ambari管理器将仅安装在主(主)节点上,因此以下步骤只需应用一次:

首先,请参阅HortonWorks Ambari存储库页面,并复制"Repo File"链接以适应您的操作系统风格。在我的例子中,对于sles12.1,我的链接是:

如果还没有连接到主节点,则通过SSH连接到主节点,并发出以下命令:

这将把ambari存储库添加到zypper包管理器并刷新存储库列表。刷新后您应该会看到一行,从"ambari Version–ambari-2.6.0.0"存储库中提取包。

现在我们将安装ambari服务器:

安装完成后,运行下面的命令安装ambari(以root用户身份):

所有提示都可以接受默认值。

****仅代理****: