云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

大带宽_上海云主机_促销

小七 141 0

GraphFrames随需应变网络研讨会和常见问题解答

上周,我们举办了一个在线研讨会——GraphFrames:ApacheSpark基于数据帧的图形——对新的GraphFrames库进行了概述、现场演示和设计决策和未来计划的讨论。这个网络研讨会包括了刚开始使用apachespark的人以及经验丰富的专家的内容。网络研讨会首先回顾了GraphX的主要改进,并提供了入门的资源。一个分析航班延误的运行示例展示了GraphFrame功能的范围:简单的SQL和图形查询、motif查找和强大的图形算法。用于专家们,这次演讲包括了一些关于设计决策、当前实现以及正在进行的关于速度和性能优化的工作的技术细节。网络研讨会可以按需访问,其幻灯片和示例笔记本也可以作为网络研讨会的附件下载。加入Databricks社区版测试版,免费访问Spark并试用笔记本电脑。我们回答了以下网络研讨会观众提出的常见问题。如果您还有其他问题,请访问Databricks论坛。常见网络研讨会问答单击问题以查看答案:图形框架可以处理多种类型的关系(或边),每种关系都有自己的属性集吗?它会在单个数据帧中作为输入吗?是否有图幅与MLlib管道API的集成计划,以便我们可以利用现有的交叉验证/超参数优化来实现图形算法?对于GraphFrames,有没有一种方法可以增量地构建图,要么使用API,例如addVertex()、addEdge(),要么逐个从多个文件加载数据?我尝试了用图形框架在一个顶点为3.7M、边为2.1M的图中寻找连接的组件。但是,我遇到了性能/可伸缩性问题。你能详细介绍一下基本算法及其算法复杂度吗?有了graphframe,您可以从邻接矩阵或交叉表(col1,col2)创建图,它计算给定列的成对频率表吗?对于图形框架,是否有方法处理同一数据集中的多种类型的顶点?i、 e.跨越两个不同帧的边,这些帧具有不同的元数据,并将底层数据帧视为类型化顶点?免费试用Databricks。今天就开始吧