公司依靠其大数据和分析平台来支持创新和数字化转型战略。然而，许多Hadoop用户都在为复杂性、不可扩展的基础设施、过多的维护开销以及未实现的总体价值而挣扎。我们帮助客户将Hadoop迁移到现代云平台，如Databricks和我们的合作伙伴产品和解决方案，在本文中，我们将分享我们所学到的知识。Hadoop体系结构的挑战团队从Hadoop迁移的原因有很多。它通常是"推"和"拉"的结合：现有Hadoop系统的局限性促使团队探索Hadoop的替代品，他们也被现代云数据架构带来的新可能性所吸引。虽然不同团队的架构需求各不相同，但我们已经看到了客户希望离开Hadoop的一些共同因素。数据可靠性和可伸缩性差：一家制药公司的Hadoop集群存在数据可伸缩性问题，无法为研究项目进行扩展，也无法缩小规模以降低成本。一家消费品牌公司厌倦了Hadoop工作的失败，将数据束之高阁，影响了团队生产力。时间和资源成本：考虑到维护、修补和升级复杂的Hadoop系统所需的时间和人员，一家零售公司正经历着过度的运营负担。一家新成立的媒体公司由于花了大量的时间来配置其系统，而不是完成业务工作，因此生产力下降。受阻的项目：一家物流公司想用它的数据做更多的事情，但该公司基于Hadoop的数据平台无法跟上它的业务目标——团队只能处理他们成像数据的一个样本，而且他们拥有先进的网络计算，无法在合理的时间内完成。另一家制造业公司的数据被困在不同的筒仓里，有些在HPC集群中，另一些在Hadoop上，这阻碍了企业重要的深度学习项目。除了技术挑战之外，我们还让客户对技术的长期可行性及其供应商的业务稳定性表示担忧。2004年，Google关于MapReduce的开创性论文支持了apachehadoop的开源开发，Google高级副总裁乌尔斯霍尔兹勒（Urs Hölzle）在推特上写道："R.I.P.MapReduce。自2003年以来一直为我们服务，今天，我们彻底删除了剩余的内部代码库……"这些技术的转变反映在专注于Hadoop的供应商所看到的领域的整合和购买活动上。这些关注点的集合激发了许多公司重新评估他们的Hadoop投资，以确定该技术是否仍能满足他们的需求。转向现代云数据平台与传统的Hadoop环境相比，为云本机使用而构建的数据平台可以带来显著的收益，因为传统的Hadoop环境会"拉动"公司采用云计算。这还包括尝试在云中使用Hadoop的客户。下面是一个从基于云的Hadoop服务迁移到Databricks的客户的一些结果。作业运行时数据处理性能提高50%每月基础设施成本降低40%数据处理吞吐量提高200%安全环境凭证集中在六个全球团队中15项人工智能和人工智能计划的畅通和加速Hadoop并不是为在云环境中本机运行而设计的，虽然基于云的Hadoop服务与本地同类服务相比确实有改进，但两者在性能和解决更复杂的数据使用的能力方面都与构建在云中本机运行的现代数据平台相比仍有差距案例。与我们合作过的Hadoop客户已经看到了比上面提到的更大的改进。管理变化：Hadoop到云的迁移原则虽然迁移到现代云数据平台可能会让人望而生畏，但我们合作过的客户常常认为，继续使用现有解决方案的前景会更糟。呆在原地的痛苦要比迁移的代价更严重。我们努力在各个方面简化迁移过程：管理复杂性和规模：元数据移动、工作负载迁移、数据迁移时间线，技术，管理方法论管理成本和时间：合作伙伴和专业服务带来经验和培训面向未来的云分析项目云迁移决策与技术决策一样重要。它们迫使公司认真审视其当前的系统提供了什么，并评估实现目标所需的内容，无论是以处理的PB级数据、发现的客户洞察力还是业务财务目标来衡量。随着这些目标的明确，将出现重要的技术细节，例如将技术组件从内部模型映射到云模型，评估云资源利用率和性能成本，以及构建一个迁移项目，以尽量减少错误和风险。如果您想了解更多信息，请查看我的随需应变网络研讨会，了解云迁移概念、数据现代化最佳实践和迁移产品演示。免费试用Databricks。今天就开始吧