自SAP BusinessObjects Predictive Analytics 2.5版以来，已发布了本机Spark建模功能。此版本支持分类方案的本机Spark建模。最新版本的SAP BusinessObjects Predictive Analytics（3.0版）现在也支持回归场景。从Native Spark建模中获得的业务好处主要是能够在较短的时间内培训更多的模型，从而通过学习预测模型和快速瞄准正确的客户，更好地洞察业务挑战。
Native Spark建模也称为IDBM（InDatabase Modeling），即SAP BusinessObjects Predictive Analytics的功能模型培训和评分可以通过Spark层下推到Hadoop数据库级别。本机Spark建模功能通过Spark engine中的Scala程序在Hadoop中提供。
在本博客中，您将熟悉使用SAP BusinessObjects Predictive Analytics在Hadoop上进行本机Spark建模的端到端配置。
下面让我们详细回顾一下配置步骤：
根据您的需要部署选择，安装桌面或客户机/服务器模式。请参阅"安装概述"链接或"安装指南""安装PA–安装"部分中提到的步骤。
在安装过程中，本机Spark建模所需的所有配置文件和预交付的软件包将安装在本地桌面或服务器位置。
2。检查SAP BusinessObjects Predictive Analytics安装
在这种情况下，SAP BusinessObjects Predictive Analytics服务器已被选为部署选项，它将安装在Windows服务器上。成功安装SAP BusinessObjects Predictive Analytics server后，在Windows server本地目录中，您将能够看到如下文件夹结构。
。
安装SAP BusinessObjects Predictive Analytics 3.0 server后，在Windows server上导航到SAP Predictive Analytics\server 3.0\文件夹。您将看到SparkConnector文件夹，其中包含所有必需的配置文件和以"jar"文件形式开发的本机Spark建模功能。
单击SparkConnector文件夹检查以下目录结构。将显示下面的文件夹结构。
3。检查winutils.exe文件存在于windows安装的"bin"文件夹中
Apache Spark需要可执行文件winutils.exe在非Windows群集上运行时，在Windows操作系统上正确运行。
4。检查"hadoopConfig"文件夹中所需的客户机配置xml文件
为每个配置单元ODBC DSN创建一个子文件夹。例如，在这个场景中，子文件夹被命名为"IDBM\u HIVE\u DUB\u CLOUDERA"。（注意：这不是一个固定的名称，您可以根据自己的喜好命名）。
每个子文件夹应该包含集群（核心）的3个Hadoop客户端XML配置文件-网站.xml，蜂巢-网站.xml，纱线-网站.xml). 下载客户端配置xml文件。您可以使用诸如Hortonworks Ambari或Cloudera Manager之类的管理工具来下载这些文件。
注意：此子文件夹通过SparkConnections.ini文件文件属性"HadoopConfigDir"，物联网技术及应用，不按子文件夹名
5。下载"Jars"文件夹中所需的Spark版本jar
从下面的链接下载附加的程序集jar文件，并将其复制到SparkConnector/Jars文件夹中。
6。配置火花.cfg（对于客户机-服务器模式）或kjjni.ini向导（对于桌面模式）要设置正确的spark版本和路径
由于此处安装了SAP BusinessObjects Predictive Analytics server，返现卡，请在server 3.0文件夹中打开火花.cfg文件在记事本或任何其他文本编辑器。原生Spark建模支持目前两大Hadoop企业级厂商（Cloudera和Hortonworks）提供的两个Spark版本，贵州大数据，
由于Cloudera Hadoop服务器在本场景中使用，因此您应该在本场景中保持Cloudera服务器Spark版本1.5.0的配置路径处于活动状态火花.cfg配置文件并注释掉Hortonworks服务器的Spark版本。也可以在此处设置连接文件夹的路径和一些调整选项。
导航到文件夹位置：C:\Program Files\SAP Predictive Analytics\Server 3.0\SparkConnector\并编辑火花.cfg文件。
对于桌面文件位置：导航到文件夹位置C:\Program Files\SAP Predictive Analytics\Server 3.0\EXE\Clients\KJWizardJNI和编辑kjjni.ini向导文件
7。为本机Spark建模设置模型培训委派-
在自动分析菜单中，导航到以下路径。文件->首选项->模型培训委托关系
默认情况下"Native Spark Modeling when possible"标志应该打开，如果不打开，数据分析，请确保打开。然后按OK按钮
8。创建到配置单元服务器的ODBC连接作为本机Spark建模的数据源
此连接稍后将用于自动分析，云计算与大数据，以选择分析数据源（ADS）或配置单元表作为本机Spark建模的输入数据源。
9。设置SparkConnection.ini文件个人ODBC DSN的文件
此文件包含特定于每个特定配置单元数据源名称（DSN）的Spark连接条目。例如，在有3个配置单元ODBC dsn的情况下，用户可以灵活地说两个应该在IDBM上运行，而不是最后一个，即1个dsn不在IDBM上SparkConnection.ini文件文件将回落到正常的建模过程中使用自动分析引擎。要设置本机Spark建模所需的配置参数，请导航到SAP BusinessObjects Predictive Analytics 3.0 Desktop/Server安装文件夹（如果是服务器，请转到文件夹位置：C:\Program Files\SAP Predictive Analytics\Server 3.0\SparkConnector\或如果是桌面安装，转到文件夹位置C:\Program Files\SAP Predictive Analytics\Desktop 3.0\Automated\SparkConnector并编辑SparkConnections.ini文件文件然后保存。
在这个场景中使用了Cloudera Hadoop box，您需要根据Cloudera集群的配置要求设置文件中的参数。
对于Cloudera集群：
"SparkConnection"后的每个条目都需要与Hive ODBC DSN（数据源名称）完全匹配。
SparkConnection.IDBM\u HIVE\u DUB\u CLOUDERA"本地人。"spark.纱线.jar"="hdfs://主机名：8020/jars/spark-assembly-1.5.0-hadoop2.6.0.jar"
必须为每个DSN设置两个强制参数
使用到Hadoop客户端XML配置文件（XML）-网站.xml，蜂巢-网站.xml，核心-网站.xml)
例如
SparkConnection.IDBM\u HIVE\u DUB\u CLOUDERA.hadoopConfigDir="../../../SparkConnector/hadoopConfig/IDBM\u HIVE\u DUB\u CLOUDERA"
例如SparkConnection。IDBM\u HIVE\u配音_CLOUDERA.hadoop用户名="蜂巢"
例如。SparkConnection.MY\u HDP\u配置单元\u DSN"本地人。"spark.executor.instances实例"="4〃
