云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

负载均衡_服务器戴尔_免费6个月

小七 141 0

负载均衡_服务器戴尔_免费6个月

在过去的几年里,有很多关于传统数据仓库可能死亡的文章。在我职业生涯的大部分时间里,我都参与了这类系统的兴起(和可能的衰落),我发现探索推动这一根本转变的一些因素、技术和不断变化的商业模式很有意思。但首先,它有助于把它与我在太空中的职业经历联系起来。

我在MCI(后来的MCI WorldCom、WorldCom、MCI Inc,啥叫人工智能,最后在2000年中期被Verizon收购)的MCI小企业集团开始了我的职业生涯,在那里,我的团队负责建立和维护一个潜在客户开发系统,以支持美国各地的几个外呼中心,目标是有公司呼叫计划的中小型企业。其中一个非常重要的部分是我们的数据仓库,我们称之为"阿特拉斯",简称"先进的电话营销和潜在客户分析系统"。这个分析平台为我们的数据战略家提供了第一个切入点,在决定实际推进战略呼叫活动之前,他们可以从各个方面对客户进行细分。鉴于上世纪90年代末的时间框架,我们显然没有幸拥有当今市场上如此流行的大量数据管理/数据仓库平台选择。

经过广泛的研究和尽职调查,我们决定将Sybase IQ作为我们的数据仓库引擎,这是一个不容易做出的选择,因为在设计上似乎发生了根本性的变化,我们大家都非常熟悉更传统的数据库技术。"基于专栏的关系数据库"的概念对我们团队中的大多数人来说似乎非常陌生,但我的思想非常开放,物联网的前景,并且坚持不懈,足以说服我们所有人,它对于我们特定的用例是完全有意义的。今天,人们将很难找到一种数据管理技术,这种技术没有以这样或那样的方式纳入这一概念。

我的智商经验实际上是促使我在1998年离开MCI WorldCom并加入Sybase的动力。我曾经历过我认为是真正的"毛坯钻石",我渴望与世界分享它!现在快进到2010年末的十多年,在这十年里,在专业数据库技术(比如Hadoop)、数据仓库设备(比如Greenplum、Netezza、Vertica)以及计算能力、内存密度和存储容量的巨大增长等领域出现了一系列的活动。在这段时间内,SAP的实验室还进行了另一个相对未知的研究项目,该项目最终将在传统数据仓库即将消亡的概念中扮演重要角色。这个项目就是现在全世界都知道的SAP HANA。

第一个产品是在2010年末发布的,就在我的职业经历与SAP在同年5月收购Sybase之后几个月。这项投资是SAP有意的,因为该公司知道HANA即将发布,需要开始扩大其在数据管理和相关技术方面的产品。Sybase Event Stream Processor(ESP)和Sybase IQ等产品作为与SAP HANA平台越来越紧密集成的技术的补充,已经并将继续发挥非常重要的作用。

再次快进到今天,我们可以再次反思SAP带来的改变游戏规则的创新–这一次提出了一个完全在内存中的数据平台的概念,它既适用于OLTP(在线事务处理)工作负载,也适用于OLAP(在线分析处理)工作负载。Sybase将基于列的关系数据库(Sybase IQ)商业化的最初想法也是SAP HANA的一个基本设计概念,这也就不足为奇了!

不需要对HANA有深入的了解,就可以意识到SAP将产品的原始想法变为现实在很大程度上依赖于过去20年在硬件方面取得的许多进步,特别是更便宜、更高密度的内存以及并行片上计算能力和缓存方面的根本进步。然而,我注意到的是,许多读者确实发现很难理解为什么HANA不仅仅是一个暴力数据库,它通过在内存中保存使事情运行得更快。事实上,它远不止这些!感谢前同事Henry Cook,我喜欢将HANA描述为"大规模并行、超线程、基于列、字典压缩、CPU缓存感知、向量处理、通用处理、ACID兼容、持久性、数据温度敏感、事务性、分析性、关系性、预测性、空间性、图形性、规划性,文本处理,内存数据库!"这些理念中的每一个都为SAP构建的转型平台做出了贡献。由于显而易见的原因,我们缩短了为了方便的"SAP HANA平台",智慧农业物联网系统,但我们永远不能忘记,开心返利,大数据分析数据库,它不仅仅是"内存",还有更多的内容。现在,我们已经奠定了基础,让我们回到我们关于传统数据仓库的原始问题。很明显,供应商解决方案的进步,以及解决传统需求的新方法(数据仓库就是为了满足这些需求而构建的)的大量涌现,已经彻底改变了游戏规则。事实上,我们很少再听到"数据仓库"这个词了;相反,像"大数据"和"数据湖"这样的词现在更为常见。因此,显而易见的问题是,这两者到底有什么区别?维基百科对这两个方面的描述如下:

"数据仓库(DW或DWH),也称为企业数据仓库(EDW),是用于报告和数据分析的系统,被认为是商业智能环境的核心组件。数据仓库是来自一个或多个不同来源的集成数据的中央存储库。它们存储当前和历史数据,并用于为整个企业的知识型员工创建分析报告。报告的例子可以从年度和季度比较和趋势,到详细的每日销售分析。"大数据"是一个术语,指的是如此庞大或复杂的数据集,以至于传统的数据处理应用程序无法满足需要。挑战包括分析、捕获、数据管理、搜索、共享、存储、传输、可视化、查询、更新和信息隐私。该术语通常仅指使用预测分析或某些其他高级数据分析方法从数据中提取价值,很少涉及特定规模的数据集。大数据的准确性可能会导致更自信的决策,更好的决策可以带来更高的运营效率、成本降低和风险降低。"