云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

香港带宽_cdn免费加速_安全稳定

小七 141 0

发布新的Databricks api以加快Apache Spark应用程序的生产部署

今天,我们很高兴地宣布,在Databricks上发布了一组api,使我们的用户能够通过RESTful接口管理apachespark集群和生产作业。你可以在这里读新闻稿。对于不耐烦的人来说,这里有完整的API文档。API+GUI:两全其美Databricks中的图形用户界面已经为用户简化了Spark操作,当用户需要快速启动集群或调度作业时。然而,许多人想要的不仅仅是点击式界面,因为他们更喜欢命令行,或者他们需要使用脚本或连续集成工具(如Jenkins)来自动化常见操作。这些新的api公开了Databricks的核心基础设施功能,因此用户可以完全自由地选择如何管理集群和将应用程序投入生产。数据科学和生产Spark应用的一个平台为了有效地部署数据驱动的应用程序,组织需要从其数据平台获得各种各样的功能,因为所涉及的团队的技能集和职责各不相同。Spark应用程序开发人员通常使用命令行和API来提高效率;IT部门的DevOps希望尽可能多地自动化流程以提高可靠性;而数据科学和分析师只希望能够轻松访问功能强大、工作可靠的集群,以及开发算法和可视化数据的交互式环境。通常,每个团队以不协调的方式寻求不同的解决方案。结果是,随着发布周期陷入工具和手动过程的混乱,组织最终将拥有复杂的IT基础设施,或者变得极其低效。没有一个平台能够开箱即用地满足这些完全不同的需求。随着这些api的发布,我们可以自豪地说Databricks是第一家在一个Spark平台上统一所有功能的公司。下一步是什么这些api使用起来非常简单,您可以在终端中使用cURL命令进行测试。以下是一些基本示例:创建新群集卷曲-u用户:pwd-H"内容类型:application/json"-X POST-d'{"cluster_name":"flights","spark_version":"1.6.x-ubuntu15.10","spark_conf":{火花。猜测":真的},"aws_attributes":{"availability":"SPOT","zone_id":"us-west-2c"},"工人人数":2}'https://yourninstance.cloud.databricks.com/api/2.0/clusters/create删除群集卷曲-u用户:pwd-H"内容类型:application/json"-X POST-d'{"cluster_id":"0321-233513-urn580"}'https://yourninstance.cloud.databricks.com/api/2.0/clusters/delete运行作业卷曲-u用户:pwd-H"内容类型:application/json"-X POST-d'{"作业编号":2,"jar_params":param1,"param2"]}'https://yourninstance.cloud.databricks.com/api/2.0/jobs/run-now随着我们向Databricks平台添加新功能,我们将继续发布更多的api–敬请关注。同时,在Databricks中免费试用这些api。免费试用Databricks。今天就开始吧