这是我们在Guavus的朋友的一篇博客文章-现在是经过认证的ApacheSpark发行版-概述了他们如何利用Spark为电信公司提供价值。业务挑战Guavus是通信服务提供商（CSP）行业大数据分析解决方案的领先提供商。该公司将前5大移动网络运营商中的4家、前5家互联网骨干提供商中的3家以及北美80%的有线MSO作为客户。Guavus Reflection平台为这些服务提供商提供操作智能。Reflex目前分析超过50%的美国移动数据流量，每天处理超过2.5 PB的数据。然而，这些数据以指数级的速度增长。不断增加的数据量和速度使我们很难及时获得见解。例如，一个操作问题可以快速级联成网络中下游的多个问题，这使得在非常短的时间内从洞察到行动变得至关重要。许多服务提供商部署了数据湖来探索更多的信息。这些存储所有时间段的数据，非常适合于最多需要几分钟才能完成的分析工作。然而，一个更为紧迫和重要的挑战是能够对传入的数据流进行实时决策。因此，Guavus需要能够对数据的最后几秒产生有意义的实时见解，将网络设备、终端客户设备、用户和计费系统的数据源关联起来。第一代反射平台的一个特殊挑战是从大量传入数据中过滤特定事件，这是实现生成实时作战智能的目标所必需的。解决方案自2006年2月成立以来，Guavus一直在开发基于Hadoop和Map Reduce技术的大数据分析解决方案。随着客户的需求变得更具时效性和技术的成熟，Guavus希望从批处理发展其解决方案(番石榴第二代产品Reflex 2.0™ 在Spark峰会上发布，基于ApacheSpark和Hadoop纱线。由于apachespark的功能，Reflex的最新版本扩展到了批处理之外，能够从多个来源（包括来自计费系统、CRM、OSS、网络、应用程序、设备和云）进行真正的实时连续分析。Reflex 2.0不断地将这些数据流与静态数据进行关联、融合和分析，从而为通信服务提供商提供网络中正在发生的事情的360度视图。Spark在迭代处理、过滤和丰富事件流数据方面的能力使得它非常适合与现有的事件过滤算法一起使用。开发人员和最终用户都接受了这个新平台，因为它易于使用并且具有高级抽象性。这些工具包括Spark机器学习库，以及Hadoop数据的分布式SQL查询引擎。作为公司对开源社区的承诺和对apachespark流分析能力的坚定信念的一部分，Guauvs reflection 2.0平台现在也是经过认证的Spark发行版。认证是非常重要的，因为它将使Guavus更快地创新，并以更大的灵活性增强Reflection平台，同时确保与最新标准兼容，并支持Spark周围不断增长的生态系统。此外，Guavus在实时事件处理领域为开源社区做出了贡献。在对网络数据进行操作分析时，必须能够区分事件发生的实际时间和系统接收事件的时间戳。Guavus的团队已经将D-streams（离散化流）特性发展为一个称为bin streams的概念，它更好地解决了这个常见的服务提供商用例。这代表了瓜乌斯对Spark社区的第一次贡献。实现的价值Spark支持"先分析"的方法，允许服务提供商在数据到达时对数据进行推理，而不是传统的Hadoop"先存储后提问"的方法。这种实时分析能力具有不成比例的价值，因为它允许服务提供商在购物者在商店时、客户与呼叫中心代理在线时或欺诈交易正在进行时采取行动。瓜瓜在Spark峰会上分享的指标无疑令人印象深刻。Reflex 2.0每天处理超过2.5 PB的数据，相当于每天2500亿条记录，每秒250万个事务。Guavus发现其Reflex 2.0产品的性能比1.x代产品提高了3到5倍，同时大大减少了所需的硬件占用空间。通过分析数据在几毫秒内到达网络，Guavus的客户可以立即采取行动并改进决策。Guavus在Reflex平台上构建了一个数据层，用于转换、聚合和关联来自多个源的数据，包括流式数据和存储数据，并应用机器学习算法将数据输入分析应用程序。数据层与应用程序协同工作，以快速实现价值，在某些情况下可将开发时间缩短12个月。数据层还可以输入第三方应用程序和数据湖，以获得最大的可扩展性。此外，通过创建一个抽象层来管理数据复杂性，并在边缘和中央存储库中优化提取转换负载（ETL）和企业数据仓库（EDW）的处理，Guavus从根本上改变了分析数据的经济性。例如，1级美国多系统运营商（MSO）利用Guavus Reflection平台将呼叫中心事件和网络流事件关联起来，以检测异常并确定根本原因，以便及时解决问题。基于这些见解，MSO能够及时做出调整，以改善客户体验。CareReflex应用程序允许MSO使用一键式根本原因分析来区分设备和网络相关问题。从那里，交互式语音应答（IVR）可以被转移，并相应地修改客户服务代理脚本。此外，派遣现场操作人员修复网络故障设备与客户现场设备，节省了数百万不必要的卡车翻车，并提高了客户呼叫代理的平均解决时间（MTTR）。据MSO估计，这个单一的应用程序每年将节省5000万美元。CSP如何使用Guavus Reflex 2.0作战情报平台的其他例子包括：开发可嵌入工作流和业务流程的解决方案，以提高资本支出/运营成本效率识别并防止网络中的欺诈活动根据用户活动创建针对性强、个性化的移动广告活动要了解更多信息：://www.youtube.com/watch？v=qMD4XIOtgh0&index=3&list=PL-x35fylirwhd4efbjkhpyyzjtw9qzdu免费试用Databricks。今天就开始吧