博客我们生活在一个大数据时代。目前存在的数据量之大已经足够大了，而且还不需要处理每天生成的新信息量。想想看：金融交易、社交媒体帖子、网络流量、物联网传感器数据等等，都在不断地被拉进全世界的数据库。过时的技术根本跟不上。为应对大数据挑战而出现的现代数据库形式多种多样，每种形式都适合不同类型的数据和任务。无论你的公司做什么，选择合适的数据库来构建你的产品或服务是一个至关重要的决定。在本文中，我们将深入研究针对您的独特挑战可以考虑的不同类型的数据库选项，以及您应该熟悉的底层数据库技术。我们将重点介绍关系数据库管理系统（RDBMS）、NoSQL DBMS、列存储和云解决方案。关系数据库管理系统首先，可靠的关系数据库管理系统。这种广泛的多样性以其对核心数据库属性的关注而闻名：原子性（保持任务不可分割和不可简化）、一致性（数据库采取的操作遵守某些约束）、隔离（事务的即时状态对其他事务不可见）和持久性（数据更改可靠地持久存在）。RDBMS中的数据存储在表中，与平面文件相比，RDBMS能够处理大量的数据和复杂的查询，而平面文件往往占用更多的内存，效率较低。RDBMS通常由一组表组成，每个表都有列（字段）和记录（行）。RDBM系统的常见示例包括Microsoft SQL、Oracle、MySQL和Postgres。RDBMS的一些优点包括灵活性和可伸缩性。考虑到现代企业需要处理的大量信息，这些是调查不同类型数据库时需要考虑的重要因素。易于管理是另一个优势，因为每个组成表都可以在不影响其他表的情况下进行更改。此外，管理员可以选择与某些用户共享不同的表，而不是与其他用户共享（如果处理的是机密信息，则最好不要与所有用户共享）。更新数据和扩展数据库很容易，而且由于每个数据块都存储在一个点上，所以也很容易使您的系统避免错误。然而，没有一个系统是完美的。每个RDBMS都构建在一个服务器上，因此一旦您达到了现有机器的极限，您就需要购买一个新的RDBMS。快速变化的数据也会对这些系统造成挑战，因为增加的数据量、种类、速度和复杂性会产生复杂的关系，RDBMS很难跟上这些关系。最后，尽管名称中有"relation"，但关系数据库管理系统并不存储元素之间的关系，这意味着系统实际上并不理解数据之间的连接，因为它们与您可能正在使用的各种连接有关。NoSQL数据库管理系统NoSQL（最初是"非关系"或"非SQL"）DBMS随着web应用程序变得越来越复杂而出现。这些类型的数据库设计用于处理难以坚持在规范化模式中的异构数据。虽然NoSQL和rdbmse可以采用多种形式，但NoSQL和rdbmse之间最重要的区别在于，尽管关系数据库严格地定义了必须如何安排包含在其中的所有数据，但是NoSQL数据库可以是模式无关的。这意味着，如果您有非结构化和半结构化的数据，您可以轻松地存储和操作它，而RDBMS可能根本无法处理这些数据。因此，NoSQL数据库在大数据和实时web应用程序中得到了大量应用，这就不足为奇了。这些数据库技术的例子包括MongoDB、Riak、amazons3、Cassandra和Hbase。然而，NoSQL数据库的一个缺点是它们具有"最终一致性"，这意味着所有节点最终将拥有相同的数据。但是，由于所有节点更新时都有一个延迟，因此根据在更新窗口期间查询的节点不同，可能会获取不同步的数据。NoSQL的数据一致性是一个挑战，因为NoSQL不执行ACID事务。列式存储数据库列式存储数据库的定义特性是按列存储数据表，而不是按行存储数据表。此配置的主要好处是它可以加速分析，因为系统只需读取查询感兴趣的位置，所有这些都在一列中。此外，这些系统还压缩存储中的重复卷，从而实现更好的压缩，因为一个特定列中的数据在所有列中都是相同的（或者，列的类型都是相同的：整数、字符串等，因此可以更好地压缩它们）。但是，通常不使用列式数据库来存储此功能。这些类型的数据库的缺点之一是在整行上插入和更新（例如，ERP和CRM等应用程序所必需的）可能很昂贵。对于这些类型的应用程序，它也比较慢。例如，在CRM中打开一个帐户的页面时，应用程序需要读取整行（名称、地址、电子邮件、帐户id等）来填充页面并将所有这些都写回。在本例中，关系数据库将更有效。云解决方案虽然从技术上讲，数据库本身不是一种类型的数据库，但如果不讨论云，任何关于现代数据库解决方案类型的讨论都是不完整的。在这个大数据和快速移动数据源的时代，数据工程师越来越多地转向云解决方案（AWS、Snowflake等）来存储、访问和分析他们的数据。云选项的最大优点之一是您不必为与数据库相关的物理空间或物理机器（或其维护、紧急备份等）付费。此外，您只需为使用的内容付费：随着内存和处理能力需求的扩大，您需要为所需的服务级别付费，但您不必预先购买这些功能。然而，使用云解决方案也有一些缺点。首先，由于您要连接到远程资源，带宽限制可能是一个因素。此外，尽管云确实可以节省成本，尤其是在白手起家的情况下，支付服务器费用的终身成本可能会超过购买自己设备的成本。最后，根据您处理的数据类型，法规遵从性和安全性可能会成为问题，因为管理数据及其安全性的责任不再由您、数据所有者，而是由第三方提供商来处理。例如，不安全的api和接口更容易被利用，数据泄露、数据丢失或泄漏的风险可能会增加，通过配置不当的防火墙进行未经授权的访问是云数据库可能受到危害的一些方式。决策时间大数据时代正在改变公司处理数据的方式。这意味着选择新的数据库模型，找到正确的分析和BI工具，以帮助您的团队最大限度地利用您的数据，并构建将塑造世界的应用程序、产品和服务。无论您在创建什么，都要为您选择正确的数据库类型，并大胆地构建。标记：数据仓库|数据库