对于不了解Dataiku DSS的人来说，它是一个协作的数据科学软件平台，云服务器主机，供数据科学家、数据分析师和工程师团队更有效地探索、原型、构建和交付数据产品。Dataiku DSS主要是用Java编写的，为了简化工作，服务器作为单个进程（Java虚拟机或JVM）运行，提供我们所需的一切，包括嵌入式web服务器。Dataiku DSS-简化的体系结构由于Dataiku DSS用户利用的数据可以位于不同的位置，因此Dataiku DSS可以连接到各种数据源，其中一些数据源包含的数据量高达数百GB。Dataiku DSS的全部目的是通过转换、机器学习和深度学习模型将原始数据转换为更具操作性的数据。大多数转换和模型训练都是在计算集群上进行的，但有时，一些数据处理最终由Dataiku DSS自己完成。那么，如果作为Dataiku DSS用户，上载一个大的CSV文件并尝试在其上运行一些内存密集型的数据转换，会发生什么呢？好吧，看云，你很可能会没记性了。最好的情况是JVM将立即抛出OutOfMemoryException，Dataiku DSS服务器将快速退出，然后由我们的主管重新启动。在最坏的情况下，淘客服，垃圾回收器（GC）将不断回收一些未使用的内存，Dataiku DSS服务器将冻结，关于大数据，网页将超时，并且在重新启动平台之前，任何用户都无法访问该平台。未来执行内核那么什么能拯救这一天呢？请帮我欢迎未来的执行内核！我们没有在Dataiku DSS后端进程中运行这些内存密集型操作，而是在另一个JVM/进程中运行它们。我们将这个另一个JVM称为未来执行内核（FEK）。Dataiku DSS后端可以将任务提交给将在FEK上执行的FutureService。因此，如果某些用户触发了可能生成OutOfMemoryException的操作，则该操作将在FEK中执行，而不是在Dataiku DSS后端执行。这大大提高了Dataiku DSS的可靠性：如果操作确实触发OutOfMemoryException，它会杀死FEK，但是后端JVM仍然存在，并且可以通知用户他的操作试图消耗太多内存而被终止。那么引擎盖下是怎么工作的呢？其实很简单。FEK是与后端相同的Java应用程序（相同的jar、相同的类路径），但使用不同的主类进行调用。因此，这两个jvm都承载相同种类的Java对象。为了在FEK中执行任务，用户向JVM后端运行的FutureService提交一个futuread对象的实例。FutureService将这个对象序列化为JSON，并通过一个简单的REST调用将其发送到FEK。Dataiku DSS服务提交导出任务另一方面，FEK接收请求，将JSON反序列化为futuratread对象（这是可能的，因为后端和JEK都有相同的类路径），并在其上调用run方法。FEK servlet实现然后，后端将定期轮询FEK，以检索任务的状态以及任务完成后的结果（使用相同的JSON over REST机制）。我们来谈谈延迟和并发直到最近，Java还不以其惊人的快速启动时间而闻名。最近Java9的情况开始发生变化（您可以在这篇非常好的文章中了解更多），但是仍然需要一些时间来引导一个新的JVM。为了避免这个陷阱，Dataiku DSS在启动时启动FEK，这样每当提交任务时FEK就已经在运行了。任务完成后，其关联的FEK将终止，并启动新的FEK。这可以防止后续任务在可能处于不良状态的JVM中运行。然而，在现实生活中，多个用户可能同时提交任务。为了有效地处理它，淘客工具，Dataiku DSS实际上使用了一个FEK池。在引导时，它启动一个可配置数量的fek。当任务被提交时，它由FEK处理。由于ikfek在待机模式下不再有足够的数据FEK来处理传入的任务。就这些人！正如你所看到的，这不是火箭科学，其他一些公司已经实现了类似的模式。我希望你喜欢这个小旅行的内部运作大田决策支持系统！