Syncsort Inc.正在将去年11月收购的Trillium Software Inc.子公司的数据质量特性扩展到具有Trillium quality for Big data的本机Hadoop环境。该产品将Trillium的数据质量特性与其智能执行数据集成平台相结合，使信息技术组织能够同时规范化和集成数据。Trillium平台以前仅在Linux、Unix和Windows操作系统上以本机格式提供。Hadoop支持是Syncsort首次将其数据质量特性应用于应用程序。数据质量是指识别不一致、错误或重复。例如，在日期字段中输入的邮政编码或重复的客户记录（由于拼写错误而不同）。规范化数据是一个棘手的过程。例如，不同的国家有不同的地址和日期格式，同一邮政编码中同名的两个人可能是同一个人，也可能不是同一个人。用户正争先恐后地从生产系统中提取数据并将其加载到分析引擎中，但他们发现质量问题限制了数据的有效性。"Syncsort首席技术官TendüYoëurtçu说："一旦数据进入数据湖，每个人都在试图管理数据，这样数据就不会变成数据沼泽。"数据的数量和多样性使其变得复杂。"Yourtçu说，Trillium有数百种匹配算法来识别此类问题，并且可以配置为自动应用纠正算法。该服务包括150个国家的地址和名称匹配数据，以及邮政目录和地理编码。智能执行检查数据流的拓扑结构，并在不更改应用程序的情况下为作业优化资源。它支持跨Hadoop、MapReduce和apachespark的新的和现有的Trillium数据质量项目。"一旦你理解了这些数据，你就可以创建规则来清理这些数据，"约尔图说例如，如果有重复项，可以指定一个进程来标记或删除它们。"Trillium Quality for Big Data适用于所有Hadoop发行版，包括Cloudera Inc.的CDH、Hortonworks Inc.的HDP和MapR Technologies Inc.的聚合数据平台。它通过Cloudera管理器和apacheambari进行部署和安装。定价基于每个节点或云订阅，但Syncsort没有提供具体细节。图片：Flickr CC既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。