这篇文章是由我们在Nube Technologies的朋友撰写的，他们的Reifier平台现在已经"在ApacheSpark上认证"关于Nube TechnologiesNube Technologies通过更好的数据构建业务应用程序，以更好地进行决策。Nube的模糊匹配产品关联器帮助公司获得企业数据的整体视图。通过连接和解析不同来源的实体，Reifier帮助优化销售和营销渠道，促进增强的安全和风险管理，以及更好地整合和报告业务数据。我们帮助我们的客户建立更好和有效的模型，确保他们的基础主数据是准确的。为什么选择Apache Spark单源或跨源的数据匹配是几乎每个企业都面临的一个非常核心的问题，我们希望创建一个真正聪明的方法来解决这个问题。由于大多数数据质量较差，最主要的原因是数据收集过程中的错误和遗漏、多字段记录和大数据量，解决数据匹配问题变得更加困难。这个问题本质上是一个二次型问题，尽管有一些技术可以减少比较的数量和提高速度，但将它们智能地应用到未知数据上是一个具有挑战性的问题。在构建Reifier时，我们的目标是能够处理不同领域中的各种数据，如客户信息、产品目录、组织或任何其他类型的数据。我们还希望构建一个系统，它能够快速地减轻负担，并且能够根据现代企业所看到的大量数据进行大规模扩展。在开发方面，我们的愿望包括一个友好的API、健壮和可伸缩的架构、易于使用和文档化的框架以及内置的作业依赖管理。如何使用Spark当我们评估Spark时，我们被它的速度、功率和功能所震惊。Spark对机器学习的支持帮助我们创建了一个有监督的学习产品，它可以从标记的正样本和负样本中完全学习记录不同领域的组合相似性规则。因此，我们可以轻松地跨不同的数据类型使用相同的产品。我们的算法位于基本Spark框架之上，使用Spark自定义分区，很多时候我们只比较所有可能对的0.5%，这是一个很大的性能提升。当Reifier获得Spark认证后，我们对Spark的承诺得到了加强。Nube和Spark前进使用Spark显然是我们做出的最好的架构决策，我们很高兴成为欣欣向荣的Spark社区的一员。我们现在期待着开发其他Spark功能来提供实时分布式模糊匹配。一定要访问公司如需了解更多有关Reifier的信息，请直接联系我sonal@nubetech.co公司为问题，审判和演示。免费试用Databricks。今天就开始吧