这是我们的合作伙伴之一MemSQL的一个客座博客 摘要将运营数据与最先进的分析技术结合起来，使数据驱动的业务走在前面。memsqlapachespark连接器支持这样的配置。满足交易和分析需求事务性数据库是现代商业运作的核心。无论该交易是财务上的、库存变化方面的实物交易，还是客户参与方面的经验交易，交易本身都会推动我们的业务向前发展。但是，虽然交易代表了我们的业务状态，但分析告诉我们过去的模式，并帮助我们预测未来的模式。分析可以告诉我们什么样的杠杆影响盈利能力，使我们走在前列。数字业务的成功需要交易和分析能力，包括最重要的数据分析手段。MemSQL和apachespark的速度和灵活性作为一个用于事务和分析的实时数据库，MemSQL帮助公司同时接收和查询数据，重点关注SQL操作。SQL是商业数据库操作的通用语言，它为复杂的查询提供了丰富的功能，但是有些事情甚至SQL都不能完成。在分析人员和数据科学家希望能够以新的方式操作和探索数据的情况下，apachespark已经成为最重要的数据处理框架，它具有快速、编程和可伸缩的特点。为了让MemSQL用户能够利用Spark中的这一功能，MemSQL最近推出了MemSQL Spark Connector。MemSQL Spark连接器体系结构MemSQL Spark Connector结合了MemSQL和Spark的内存优化和分布式架构，在两个集群之间驱动一个高吞吐量、高度并行化的双向链路。memsqlspark连接器的两个主要组件使Spark能够查询和写入MemSQL。用于从MemSQL查询加载数据的MemSQLRDD类用于将结果持久化到MemSQL表的saveToMemsql函数图1:MemSQL Spark连接器体系结构将数据带到阳光下MemSQL Spark Connector获取最新的操作数据，并使其可从Spark访问，从而通过各种Spark工具和库扩展了MemSQL的分析功能。MemSQL用户可以通过以下步骤使用Spark丰富的分析功能。建立一个复制的集群，在运营和分析团队之间提供清晰的划分为Spark提供最新和相关结果的实时生产数据访问权限允许Spark将结果集写回主MemSQL集群，以便将新的分析投入生产图2：扩展memanalytics双功能内存优化集群由于两个集群都以极快的内存优化速度运行，并且能够并行处理Spark rdd和MemSQL表之间的数据传输，所以这两个组合提供了最高的性能。考虑到与Spark的本机集成，数据传输非常方便，因为可以利用高级SQL查询将计算推送到MemSQL，并且只传输所需的数据。有关MemSQL Spark Connector的更多信息，请访问：用于MemSQL Spark Connector的Github站点MemSQL技术博客文章MemSQL免费30天试用版免费试用Databricks。今天就开始吧