EduardoArango是Sylabs公司的软件工程师，目前是计算机科学和云计算架构的博士生。他的研究领域是高性能计算、Linux容器、分布式系统和云计算。Eduardo是Syllabs公司的软件工程师，Sylabs公司是Singularity OSS项目的幕后推手，负责Singularity项目的质量保证和测试基础设施，Nomad与Singularity runtime的集成，同时也是Singularity OSS的维护者。LinkedIn：https://www.linkedin.com/in/eduardo-arango容器正在改变软件打包和分发模式。Singularity通过提供一个围绕容器移动性、再现性、安全性和性能设计的简单平台，将这一点提升到了一个新的水平。Singularity旨在解决与根拥有的守护进程和多租户环境中容器中的根级别权限相关的问题。在Singularity之前，这些担忧阻止了负责为科学家构建可信HPC环境的系统管理员和架构师安装容器平台。Singularity阻止容器内的权限提升；如果用户希望成为容器内的root用户，则必须是容器外部的root用户。这种使用模式减轻了多租户共享资源上的容器存在的许多安全问题。您可以从容器外部直接调用容器内的程序，完全合并管道、标准IO、文件系统访问、X11和MPI。Singularity运行时有助于实现需要与主机操作系统直接集成的应用程序（例如，GPU、infiniband、其他专用互连）与在使用主机资源时需要隔离的服务（如网络或CPU利用率）之间的内聚性。我们在Sylabs的目标是通过提供服务来扩展Singularity的范围，这些服务可以处理更高要求的人工智能、机器学习和其他高级分析工作负载。使用Singularity，企业用户可以直接访问整个解决方案生态系统，从而简化跨单个基础架构或跨混合环境移动应用程序、工作负载和计算环境的过程。Singularity使人工智能、机器和深度学习的力量能够实现我们的目标，并提供独特的企业级服务。Nomad的性能特性和可伸缩性使其非常适合协调高性能的分析工作负载。Nomad的任务驱动子系统允许用户在基于Docker和遗留/非容器化工作负载中利用这些特性。任务驱动子系统在0.9版本中进行了重构，使用户能够将新的任务驱动程序作为外部插件提供。Nomad的Singularity任务驱动插件是第一个这样的社区贡献！这种集成使数据科学家和其他用户能够运行结合了两个系统优点的分析工作负载。在MPL-2开源许可下发布的，Nomad的Singularity插件v1.0-alpha版本现在已经可用了。我们期待社区的反馈。»入门要编译任务驱动程序，请在克隆repo后运行makebuild。这将为Nomad任务驱动程序插件构建二进制文件。在构建步骤之后，将任务驱动程序二进制文件复制到Nomad plugin dir，该目录默认位于/plugins/下。有关更多信息，请参见Nomad-data dir和-plugin dir标志。启动Nomad代理后，我们可以检查singularity任务驱动程序的状态：$nomad driver singularity>nomad节点状态-自身ID=27dc426e名称=linux-345w类=直流=dc1排水=错误资格=合格状态=就绪正常运行时间=17小时8毫秒Driver Status=exec、java、mock\u Driver、qemu、raw\u-exec、singularity节点事件时间子系统消息2019-04-05T10:17:48-05:00集群节点注册分配的资源CPU存储盘0/33600兆赫0字节/16吉比特0比特/369吉比特配置资源利用率CPU存储器0/33600兆赫0 B/16吉布主机资源利用率CPU磁盘存储器1539/33600兆赫7.2吉布/16吉布10吉布/380吉布设备资源利用率nvidia/gpu/Quadro M620[gpu-0173e955-9436-1b06-0e11-4b0134af1e92]574/1999 MiB分配未分配我们会注意到，"奇点"驱动程序在上面输出的驱动程序状态字段中。由于任务驱动因素是健康的，我们可以开始计划我们的第一份工作：$nomad driver singularity>nomad计划示例/示例.hcl+工作："示例1"+任务组："野牛"（1个创建）+任务："mooo"（部队创建）调度程序干运行：-已成功分配所有任务。作业修改索引：0要使用版本验证运行提交作业，请执行以下操作：nomad作业运行-检查索引0示例/示例.hcl使用check index标志运行作业可以确保只有在服务器端版本与返回的作业修改索引匹配时才会执行该作业。如果索引已更改，则另一个用户已修改作业，并且计划的结果可能无效。在projectrepo中，我们可以在examples下面找到一个工作示例/示例.hcl:作业"示例1"{数据中心=dc1"]type="批处理"群"野牛"{计数=1任务"mooo"{driver="奇点"//可以将环境变量传递给运行时环境{SINGULARITYENV_FOO="变量"}配置{//例如，我们正在启用详细的调试//通过alloc日志检索日志的选项调试=真详细=真//此示例运行sylabs容器中的图像//以lolcow为例的图书馆图像="图书馆：//sylabsed/examples/lolcow：最新"//命令可以运行、执行或测试command="运行"}}}}让我们运行示例作业，使奶牛发出呜呜声：$nomad driver singularity>nomad运行示例/示例.hcl==>监测评估"f237d718"由作业"示例1"触发的评估分配"4dca7d9d"已创建：节点"27dc426e"，组"野牛"评估状态已更改："待定"->"完成"==>评估"f237d718"完成，状态为"完成"我们可以通过nomad作业状态命令检查一切进展情况：nomad driver singularity>nomad作业状态ID类型优先级状态提交日期示例1第50批运行2019-04-05T10:24:09-05:00示例$nomad nomad司机状态ID=示例1名称=示例1提交日期=2019-04-05T10:24:09-05:00类型=批次优先级=50数据中心=dc1状态=运行周期性=假参数化=假摘要任务组排队开始运行失败完成丢失野牛0 1 0 0 0 0分配ID节点ID任务组版本所需状态已创建修改4dca7d9d 27dc426e野牛0运行等待1m13s前1m13s前最终的结果是——一头快乐而固执己见的母牛！$nomad driver singularity>nomad日志4dca7d9d mooo^__^（oo）\_______(__)\ )\/\||----w||| ||上面的示例用规范的lolcow示例演示了HashiCorp Nomad的Singularity任务驱动程序插件。有关更多详细信息，请参阅Nomad网站上的官方文档。Singularity继续得到越来越多用户的广泛支持。我们很自豪地说，Singularity容器运行时和图像格式被学术界、政府和快速增长的企业部门的用户每天运行超过100万个作业。»附录：https://www.sylabs.io/2018/11/our-hashiconf-2018-presentation-singularity-containers-for-enterprise-performance-computing-epc/https://www.hashicorp.com/resources/singularity-containers-enterprise-performance-computing