云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

云数据库_华为cdn播放_高性价比

小七 141 0

亚马逊最近推出了一款有趣的大数据产品雅典娜。在这篇文章中,我将介绍如何将BusinessObjects universe与之连接。

Athena是一种查询服务,可以使用标准SQL访问存储在AmazonS3上的数据(https://aws.amazon.com/athena/details/)

雅典娜最显著的特点可能是没有服务器。实际上是指:

不需要配置和启动虚拟机,分配的CPU和内存没有成本

亚马逊管理所有这些,并且只根据您实际运行的查询收费。

每TB扫描的数据收费5美元

为了正确考虑这个价格;为了模拟一个真实的单词示例:我已经生成了一个虚构的电信公司的通话详细记录(嗯,有点像),国家大数据,大约有500万活跃用户用户,每天发起大约5-10个电话/用户。我想分析过去90天没有预汇总。因此,我最终得到了超过30亿条记录,即大约12-15GB的压缩数据。

仅需5美元,您就可以在整个数据集上运行所有有意义的分析查询。(60-80个查询)但是如果您明智地划分和查询数据,您可以用您的钱获得更多。如果WHERE条件将"要扫描的数据"缩小到单个分区,免费vps服务器,您只需支付该分区的大小。

如果您想继续使用内部硬件和软件,Athena基于Prestohttps://prestodb.io/

对于一篇博文来说,关于大数据,免费vps服务器,这个分步指南会有点长,但作为回报,它会很详细,所以请容忍我。步骤是:

加载和定义数据库设置JDBC驱动程序在BusinessObjects中定义Athena JDBC在IDT中创建关系连接还有一件事…

加载和定义数据库

首先您需要创建一个AWS帐户(https://console.aws.amazon.com/console/home)创建一个S3 bucket(https://aws.amazon.com/s3). 请注意,雅典娜尚未在所有地区提供,只有在:美国东部(北弗吉尼亚州),美国东部(俄亥俄州),美国西部(俄勒冈州),大数据的商业价值,欧洲(爱尔兰)。最好在其中的一个中创建S3 bucket。

一旦有了bucket,您就可以通过简单的拖放将未压缩的数据上传到CSV中,也可以使用SAP BO数据服务。

如果您在S3上有数据,您可能已经在Athena中定义了数据库模式,并立即开始查询数据集。(https://aws.amazon.com/athena)

雅典娜使用蜂巢DDL。下面是一个表定义示例:

为了获得更好的性能和更低的价格,我建议将普通的CSV转换为基于列的压缩格式,例如Parquet。

对于这一部分,您需要跳出雅典娜,启动一个带有Hive的EMR集群。我将不详细介绍,但简单介绍一下步骤:

在Hive中,您需要引用简单的表,以拼花格式创建一个新的空表使用insert语句将数据加载到parquet

(请参阅:)

拼花桌的DDL:

设置JDBC驱动程序

从Amazon下载JDBC驱动程序:

驱动程序:https://s3.amazonaws.com/athena-downloads/drivers/AthenaJDBC41-1.1.0.jar文档:

在继续之前,作为基线,您可以尝试使用SQL Workbench访问您的Athena数据库。请在上面的链接中找到详细的文档。

为了使用JDBC驱动程序和信息设计工具,您还需要将amazonsl证书添加到Java运行时。(SQL workbench不需要这个,但是IDT如果在密钥库中找不到证书就会抛出一个错误。)您需要使用keytool将证书添加到java密钥库。

获取Amazon SSL证书:

打开URL:https://athena.eu-west-1.amazonaws.com/在Chrome中打开开发工具转到安全选项卡查看证书详细信息选项卡复制到文件选择Base64

接下来您需要找到Java Runtime Environment(JRE)路径。全部:SAP和非SAP,32位和64位。例如:C:\Program Files(x86)\Java\jre1.8.0\u 121\bin

一旦找到它们,在每个\bin as\certs下创建一个目录,并将Amazon证书复制到那里。

要导入这些证书,您需要使用命令提示符下的keytool。示例脚本:

请注意,您应该获得"Certificate was added To keystore"四次!如果失败,它将不会发出响亮的错误消息。

将Athena JDBC驱动程序复制到:C:\Program Files(x86)\SAP BusinessObjects\SAP BusinessObjects Enterprise XI 4.0\dataAccess\connectionServer\drivers\java

找到亚马逊.sbo文件位于:C:\Program Files(x86)\SAP BusinessObjects\SAP BusinessObjects Enterprise XI4.0\dataAccess\connectionServer\jdbc

向Databases节点添加以下定义,类似于默认的Amazon Redshift。

这需要在IDT的服务器和客户机上完成。

服务器(主机:端口): 雅典娜.eu-西一号。亚马逊网站:443

如果一切顺利,我们的连接成功了!

还有一件事……

虽然不是好类型。有一个问题:在数据基础上插入带有IDT的表失败了。我不能直接解决这个问题,但是发现了以下的工作:在另一个数据库中创建相同的数据库模式(在SQLServer上测试)创建连接和数据基础替换与先前创建的雅典娜一号的连接右键单击导入的表并更改Quilifier/Owner将Quilifier设置为您的Athena数据库名称,并将所有者留空

此设置将SAP BusinessObjects领先的企业BI功能与最好、最实惠的大数据服务之一联系起来。