云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

谷歌云_专业旅游网站建设_高性价比

小七 141 0

今天,大数据包括哪些内容,企业或社会数据正呈指数级增长,因此世界正迅速向大数据解决方案迈进。虽然组织对大数据的依赖在增长,但对大数据的分析需求也在增加。在大数据源之上执行更快的数据连接、清理、可视化、分析和共享的能力对于分析工具来说变得非常重要。分析工具面临的挑战是能够在不利用大量数据的情况下处理这些大数据源。

Lumira作为一个自助分析工具,以不同的方式提供与HADOOP/HIVE等大数据源的轻松连接,允许业务用户通过分析大数据源来执行所需的数据操作/清理所有这些业务数据都不依赖于IT或报表开发商。这个

第1阶段:由于大数据量太大,Lumira在采集过程中对数据进行采样,允许用户提供采集数据的采样百分比。一旦用户采集到采样后的数据,用户就可以进行所需的数据操作,确保创建了所需的可视化效果,并根据业务需要创建了报表

阶段2:既然是为采样数据集创建了文档,用户现在可以在stage2中将其提交回Hadoop,以生成一个完整的数据集,作为配置单元表或Lumira文档。为此,需要HADOOP集群的Oozie设置。

通过上述采样、采集、操作和将作业提交回HADOOP的阶段,企业应用系统,HADOOP创建了完整的数据集,这些数据集可以在Lumira中可视化并根据业务需要共享。

为了支持HADOOP中驻留的不同数据方式,Lumira提供两种连接方式:1连接到Hadoop:

此选项可用于连接到Hadoop群集,云品,并将Hadoop群集中作为文件驻留的数据加载到Lumira。

在接下来的步骤中,用户需要输入服务器、端口和凭据才能登录到Hadoop/Hive。

注:要连接到安全的Hadoop群集,需要为Lumira配置kerberos下一步,用户可以通过指定要采样的行数来选择要获取的文件,如下所示:

在此之后,用户可以选择分隔符选项并获取文档。发布此用户可以获取文档。一旦获取了文档,Lumira就会显示如下所示的内容,表明它已经获取了采样数据。用户可以执行所需的数据操作,根据需要创建可视化效果。

用户可以单击上面的示例查看已采样的行数,通过单击"生成完整数据集",用户可以将作业安排回Hadoop,以应用数据转换来创建Lumira文档或配置单元表,如下所示:

如果用户有所需的完整Oozie详细信息Hadoop用户需要提供这些信息以及下一步创建的文档的位置/名称。Post将创建新的Lumira文档或配置单元表,物联网的应用实例,其中包括业务用户在前面步骤中执行的数据操作。

2。Hadoop上的SQL:使用此选项,用户可以连接到Hadoop集群并选择配置单元架构内的表,详情如下:

连接选项

Lumira提供连接到配置单元表所需的连接驱动程序。根据您的需要,您可以选择适当的驱动程序。

注意:要连接到安全的Hadoop系统,需要为Lumira desktop配置kerberos,这将在底部解释。

用户获得选项从表格中选择所需的列,并提供如下所示的抽样百分比。

发布此选项以创建完整的数据集,并将作业提交回Oozie以创建完整的数据集与连接到Hadoop选项的相同。

作业提交到Hadoop,根据数据集的复杂性/大小,作业将在几秒钟到几分钟内完成。用户可以在lumira主页中查看作业的状态,数据建模,如下图所示:

注意:上面要连接的Hdoop系统可以在lumira首选项中配置。

作业成功后,用户可以从此处打开lumira文档,查看结果并与其他人共享。

使用Kerberos连接到Hadoop:

非常高级别,这些是您可能需要执行的配置,以便能够连接到安全的Hadoop集群:

放置您的java.login.config文件文件位于C:/Windows位置(示例)。java.login.config文件文件如下:

com.sap.bo网站.lumira.b数据{com.sun.security公司.auth.module.Krb5LoginModule验证必修的调试=真doNotPrompt=假useTicketCache=false;};客户{com.sun.security公司.auth.module.Krb5LoginModule验证必修的调试=真doNotPrompt=假useTicketCache=真;};

放置您的科里尼文件位于C:/Windows位置(示例)。科里尼如下所示:

[logging]默认值=文件:/var/log/krb5库.logkdc=文件:/var/log/krb5kdc.log文件admin\u server=文件:/var/log/kadmind.log文件

[默认值]默认\u领域=全球公司dns\u lookup\u realm=假dns\u lookup\u kdc=错误车票寿命=24小时续航时间=7dforwardable=真默认\u tkt \u enctypes=RC4-HMAC默认\u tgs \u enctypes=RC4-HMACudp\u preference\u limit=1

[领域]全球公司= {kdc=DS1VAN0000。全球公司管理服务器=DS1VAN0000。全球公司kpasswdèu server=DS1VAN0000。全球公司}

[领域]全球公司= 全球公司.全球公司= 全球公司pgdev.sap公司= 全球公司.pgdev.sap公司= 全球公司

在表格中添加以下两行萨普卢米拉文件位于\Desktop例如:C:\Program Files\SAP Lumira\Desktop

-Djava.security.auth文件.login.config=C:/Windows/java.login.config文件

-Djava.security.krb5文件.conf=C:/Windows/krb5.ini

注意:如果您使用的是高加密算法,替换局部_策略.jar美国出口_策略.jar在SAPJVM\u location/lib/security中,jar支持更高的加密。

通过这些更改,您应该能够连接到安全的Hadoop集群。

通过这些更改,我将用大数据结束Lumira的博客。