在最近的一次连续讨论（c9d9）视频播客中，专家小组成员讨论了DevOps for Big Data。我们的专家小组成员包括：斯普伦首席技术官安迪曼（Andi Mann）；约翰•丹尼尔•特拉斯克（John Daniel Trask），该公司首席执行官兼联合创始人Raygun.com公司；皮特·格兰特，CloudBI的解决方案架构师；还有，我们自己的安德斯·沃格伦和萨姆·福尔。在本期节目中，小组成员讨论了DevOps与大数据的交互作用、大数据对传输管道带来的一些独特挑战，以及DevOps大数据应用程序流程的最佳实践和模式。继续阅读他们的见解！为什么要开发大数据？如果您使用的是#DevOps技术，那么团队更容易获得工作的所有权-@petejgrant | c9d9#BigDatapic.twitter.com/0a2os9kzHx-CloudBees（@electricloud）2017年6月27日你必须把人们转移到数据上，而不是反过来-@anders_wallgren | c9d9#DevOps#BigDatapic.twitter.com/G56y7vRiS7-CloudBees（@electricloud）2017年6月27日Mann指出，大数据分析网站，DevOps的持续学习文化是如何与大数据相适应的："你需要开发人员之间的协作，他们正在创建算法并试图理解代码中发生的事情。然后，业务主管需要从业务角度了解正在发生的事情，运营部门需要运行高效、快速的查询并接收响应。所有这些团队协同工作，不断重复并提出问题，这就是DevOps。"来自开发人员背景的Trask强调了数据库的规模和随后的自动化需求："一切都在变大。我们说的是兆字节或数兆字节的数据。现在，您已经需要了解一些自动化重头戏，才能让它发挥作用。"除了讨论DevOps如何帮助团队而不是个人之外，Grant还探讨了DevOps和大数据的监管和合规方面："您需要严格处理大数据解决方案中可能存在的敏感数据。为每个人都带来了大数据的好处。"费尔指出，管道是DevOps和大数据之间的另一个平行点："想想通过管道部署应用程序的方式，即价值流。数据也必须经过价值流。我想你可以把它扔进大数据沼泽，但通常情况下，在数据被摄取时，云服务器服务器，会有一些工作要做，以确保它适合任何数据科学家或你想应用于它的目的。"你需要一个自我服务的概念，在这个环境中你需要一个有趣的自我服务。你可以通过引导人们沿着正确的道路前进来防止错误，这取决于他们希望公布的数据。"DevOps与大数据：挑战与独特考虑根据@AndiMann | c9d9#DevOps#BigData，由于数据重力，敏捷开发的所有策略变得更加困难pic.twitter.com/bf63xljH5A-CloudBees（@electricloud）2017年6月27日因为您无法在笔记本电脑上完成所有任务，请确保您的团队有权利用#data/use data-@raygunio#c9d9#DevOps#BigDatapic.twitter.com/f0RTsYqD9Z-CloudBees（@electricloud）2017年6月27日Trask认为，云服务器商，数据分析本身就是一个挑战："如果你有一个更小的团队，而你不一定有一个专门的数据科学家，你如何坐下来开始构建这些模型？就团队的人才而言，这有时会成为一个问题。"Mann指出了数据量大和无法移动的问题："在一个小数据集上进行测试可以得到完全不同的结果。敏捷开发的许多策略变得更加困难，仅仅是因为围绕着巨大数据集的数据重力。这正是DevOps真正有用的地方，因为您可以逐步增加数据集的大小，立返利，以查看结果是否正确，然后继续迭代这些结果。"数据的规模需要大规模的分布式计算才能实时回答问题，沃格伦说："如今，随着大规模分布式计算和机器学习，你可以比过去预先计算所有答案时更实时地进行这些计算。我们已经发展到能够为数据编制索引的方法，以及在提出问题时更灵活地访问数据的方法。"格兰特强调了知道你在优化什么的重要性："如果你想确保任何批处理过程在一定时间内完成，你必须考虑‘好吧，如果我有更高的性能，那么我会做得更好。’有时，可能会遇到一些挑战。能够控制性能测试的成本可以帮助您解决这个问题。"DevOps大数据模式协作，在小型功能性团队中工作对#BigData-@AndiMann#c9d9#DevOps至关重要pic.twitter.com/jP6dBJP31e-CloudBees（@electricloud）2017年6月27日如果您想保持较低的基础设施成本，请使用#DevOps技术来了解您需要多少@petejgrantŤc9d9#BigDatapic.twitter.com/ELizGqXl7q-CloudBees（@electricloud）2017年6月27日Wallgren说："我们经常谈论的一件事是周期时间，今天许多组织在DevOps上失败的方式是手工处理、手工测试或因问题而返工。在大数据中，如果你不能在周期时间和交付周期内提高一点效率，你将永远无法完成。这是一个很难从大数据中学到的教训，因为当你搞砸了，必须重新开始时，它是如此昂贵。如果你想成为一家成功的公司，你最好尽快吸取教训，否则你就不会在公司呆太久了。""如果你想让你的基础设施的成本尽可能低，那么它的规模就不会太大，以至于有无限多的用户在这个基础设施上运行他们想要的任何查询，"Grant说使用一些DevOps技术可以计算出为这组用户提供服务所需的容量，或数据的预期使用量。"Trask说："从DevOps模式的基础开始，从纯DevOps部分开始，加入自动化管道。以一致的方式可靠地构建和部署代码。坦率地说，现在似乎大多数人都在那里，但如果你不这么做，大数据+，那么这将是改善每个人生活的最不起眼的果实。"Mann强调协作是一种模式，并在机器学习方面进行了扩展："如果数据集非常庞大，人类几乎不可能看到模式，尤其是当一个模式在你的雷达上只是一个信号时。您需要使用能够理解如何找到这些模式的机器，而这在我们的许多努力中都是不正常的，但在涉及大数据时绝对是至关重要的。"观看整集：想要更多的持续讨论吗？我们每隔一个星期二上午10点举行一次c9d9播客。每集都有专家小组成员讨论DevOps、持续交付、敏捷等等。