博客人工智能和机器学习是每个行业的未来，尤其是数据和分析。在与人工智能一起成长的过程中，我们帮助您跟上这项开创性技术改变世界的所有方式。近100年来，经济学家和科幻作家都在关注人类因机器人而失业的问题。人工智能系统是对人类工作的下一个威胁，但是哪些工作呢？从众多的开源软件包或付费API服务中获取逻辑，连接不同的数据集，以及维护一条管道，这些都是AIs目前不适合做的复杂任务人工智能与数据管道一个设置良好的数据管道是一件很漂亮的事情，它将多个数据集无缝地连接到一个商业智能工具上，从而允许客户、内部团队和其他利益相关者执行复杂的分析，并最大限度地利用其数据数据工程师在有趣的挑战中茁壮成长：将数兆字节的数据从它所在的地方带到可以分析的地方，使用各种库和服务对其进行转换，并保持管道的稳定性。然而，整个过程的数据准备阶段也有自己的问题。这可能是一个创造性的过程，这当然是必要的，但节省和自动化每X小时重复使用的逻辑是一个挑战。今天，解决这一挑战的方法是引入人工智能和机器学习。增强分析是商业智能的下一个迭代，其中人工智能元素被纳入商业智能过程的每个阶段。今天正在兴起的强大的人工智能分析系统在很多方面都有人工智能帮助用户，但是我们将继续关注本文的数据准备我们将讨论数据准备过程的三个部分：数据清理和转换、提取和加载以及验证准备好的数据干干净净"数据是新的石油"这句俗语已经被抛之脑后，已经成为陈词滥调，但就我们的讨论而言，这是一个特别恰当的比喻。大多数公司都有大量的数据存储，但以未经处理的形式，这些数据并不是很有用。更糟糕的是，分析非标准化数据归结为潜在的有害和误导性的结果。要继续使用石油比喻，您需要一个稳定可靠的管道，将数据从存储位置传输到将要处理的位置，以便能够利用其真正的价值。当您移动这些数据时，数据工程师有能力对其进行消化，以便在数据到达BI系统时，它更接近于处于可用状态。BI平台已经在使用AI以各种方式帮助数据清理过程。让我们来看看人工智能如何帮助你：AI-assistance可以推荐一个日期模型结构，包括要连接哪些列，要复合哪些列，大数据是什么意思，甚至可以创建维度表来方便事实表连接.AI系统可以应用简单的规则集来帮助标准化数据，方法是将所有文本都改为小写，并删除值前后的空格已经有了一个完美格式化的数据集作为学习数据集使用，AI-assistance甚至可以在此基础上进行培训，以识别更大的数据集应该是什么样子，淘客网，从而允许它采取整体方法进行清理，而不是你告诉它具体的任务去做。随着AI-assistance了解到你希望你的数据看起来如何，系统甚至可以扫描所有专栏文章，并就如何修复、实施主动学习或自行修复错误提出建议，例如删除冗余记录（例如，拼写错误导致的重复数据消除）或使用上下文线索填充缺失值提取和装载云数据仓库的兴起改变了公司处理数据的方式。过去，需要组织良好的数据库来保持记录有序。今天，数据来源广泛，形式多样，从用户生成到感官数据。我们甚至越来越频繁地看到公司使用第三方数据来丰富他们的业务逻辑（天气预报将如何影响我的销售？）。 这一变化与人工智能数据分析系统的复杂程度的提高相吻合，允许它们处理所有类型的数据，服务器租用，包括结构化（数字）和非结构化（文本、图像、视频）。像Redshift这样的云仓库上的数据存储非常便宜，而且常常会有不同的角色负责数据收集和存储，因此，公司不必担心数据是如何格式化的，而是将所有内容都输入到仓库中，不管它是如何格式化的，然后再处理。这是另一个BI和AI有机会发光的地方，提取数据，对其执行转换，然后将其加载到BI工具中。前面提到的同样的人工智能能力可以用这种方式在端点得到可用的数据：删除重复记录，填充空白值，并根据学习数据集建议其他清理和转换操作，如聚类和分段。不管你的数据是如何存储的，正确的AI分析工具可以帮助你更好地形成你的单一真相来源；它也可以帮助你将数据加载到你的BI平台或数据科学工具中。当你把你的数据转移到你的BI系统中时，人工智能辅助的最大机会就是监控这个过程。如果一个负载失败，超过了正常的时间阈值或预测的时间阈值，AI可以了解到这一点，并ping工程师让他们知道有问题。加载的数据量的突然变化也值得一提，这样工程师就可以调查一下，看看是否有更大的问题底线是，一个强大的人工智能分析系统可以成为忙碌的数据工程团队的第二双眼睛，让他们能够专注于为分析团队带来更多价值的挑战，并最终为企业带来更多价值。异常值、效率和验证结果离群点检测是人工智能系统可以设计处理的一项任务，对于处理大量不完全完美的数据的数据工程师来说，这项任务有着巨大的好处。人工智能会在表格被创建和新数据被加载时进行监控，返利机器人，并检查输出。当系统扫描列中的值时，它可以测试诸如唯一性、引用完整性（对于其他表中键的值）、倾斜分布、空值和可接受值。基本上就是检查整个表，然后问"这个列看起来正确吗？"基于一系列适用于它的规则。如果人工智能认为其中一个规则可以应用，并且列值不符合规则的条件，那么它将向工程师发送警报。信任你的数据而不检查你的工作是一个灾难的秘诀。有一些你已经知道大概答案的问题可以是一个很好的方法来测试你的人工智能准备数据在事后。如果你的回答在可接受的范围内，那么你就知道准备过程是（可以接受的）成功的。如果存在重大差异，您可能需要重新培训系统或调整所用设置的严格性/宽松性。带有AI的BI系统可以帮助您完成一些其他任务，包括显示哪些连接在您的模型中最频繁地发生，并建议预聚合。这对数据分析人员来说是有用的，可以帮助他们快速查询。人工智能还可以扫描列并测试其唯一性。例如，如果每个值都需要是唯一的，比如所有Salesforce帐户的ID列，并且有两个不同的用户具有相同的帐户ID，淘客论坛，那么AI可以调用它。对于纯数字数据，人工智能可以识别异常值，这些异常值可能表示输入的数据不正确。不管怎样，人工智能又一次成了一组额外的眼睛，在一定程度上执行详细的日常工作，并且只在必要时才将结果呈现给人类数据工程师人工智能正在从事工程工作吗？尽管人类因机器人而失业是一个美好的故事，但事实上，对于数据工程师来说，这远不是事实。解决日常任务，如消除冗余数据，填补数据集的空白，以及在出现异常时对工程师进行ping，这些都是人工智能分析系统能够真正增值的地方，完成人类无论如何都不想做的繁重工作，增加勤奋工作的数据工程师，以解决挑战性的问题，这些问题将为公司带来更大的回报。Inna Tokarev Sela领导Sisense的人工智能团队，专注于构建数据科学能力，为增强数据准备、增强建模和增强分析提供引擎。标签：AI |人工智能|数据管道|数据准备