博客当"数据工程师"刚开始成为科技公司的重要角色时，世界是一个更小、更简单的地方。工程师们主要关心的是处理存储在Excel电子表格和本地机器上的数据。随着数据量和复杂性的增长，新的工具被慢慢引入处理数据，但在"云"兴起之前，整体格局基本没有变化。一旦亚马逊网络服务及其云存储即服务模式进入技术领域，数据工程师的本意就永远改变了。现在所有的技术和数据都是关于云的。这是件好事！今天我要讲的是云是如何改变一切的，以及这项技术还能带来什么。云改变了一切这一点怎么说都不为过：云存储和计算的兴起改变了公司和数据工程师的一切，大数据资源，而且永远不会倒退。工程师们最关心的是将数据服务与分析和商业智能软件或其他任何需要使用这些数据的系统连接起来。作为公司数据世界的第一批建设者，他们组装了数据管道并保持了良好的状态然而，随着AWS和云解决方案的普及，数据工程师今天最关心的问题之一就是跟上这些解决方案的发展趋势。而且由于亚马逊是第一个使用AWS的公司（而且仍然拥有巨大的市场份额），这意味着工程师们通常需要掌握Amazon正在做的事情。亚马逊和第三方供应商提供的认证和培训计划是成为一名有技能、有竞争力的工程师的重要组成部分。每个公司都是云数据公司如今，成为一名数据工程师意味着要将公司的业务系统与基于云的数据源连接起来。你可以通过一个不同的云计算平台或者其他的数据仓库来处理这些数据。云存储和处理是如此的便宜和方便，淘客帝国，以至于每一个初创公司都转向云来满足他们的计算需求。他们不这样做是愚蠢的。云计算灵活的定价选项使得把你的数据（和你的整个应用）放到云上是明智的决定。如果你今天要创办一家公司，返利优惠券，你可能会在云上做所有的事情：数据存储、代码托管，一切。你再也不会拥有服务器了。那是过去的事了。一切都可以在云上完成，所以您只需担心如何构建最好的应用程序（并对其进行营销、扩展等），让AWS（或您选择的任何一个云原生数据仓库）担心硬件、维护、正常运行时间等云计算对初创企业来说非常好，因为随着公司扩大用户规模，他们对数据存储和处理能力的需求不断增加，他们只需多付一点钱就可以继续在另一端使用更多的资源。事实上，有了很多云平台提供的免费起步层，一个初创公司可以一直呆在免费层上，直到他们开始赚钱，他们需要支付更多的资源。同时，如果用户数量下降，他们就不会为他们不需要的资源付费。这对数据工程师来说非常好，因为一旦云数据管道都建立好了，他们就不需要不断地修补它了。使用量可能会有波动，但管道会持续。云也是企业级公司的选择。如果你是一个企业，你还没有在云上做所有的事情，那么你很可能正处在一个巨大的数字化转型之中。在云中存储数据是有意义的：无需维护机器，方便从任何地方访问，并易于与Linux等云本地架构集成。组织越大、越复杂，他们的云数据集就越容易与应用软件连接。Linux是这种情况下的首选操作系统，因为它允许连续、可伸缩地推出新代码，并提供高可靠性和可用性。企业要么已经爱上了云，要么正在学习爱上它，而新一代的初创企业可能永远不知道其他地方可以存储他们的数据。每个组织都关心使其数据可访问的另一个原因是，现在每个公司都是一个数据公司。当然，将数据引入应用程序以实现业务的核心功能是至关重要的，但这只是数据在现代科技公司中执行的一项功能。越来越多的公司意识到，数据可以用于其他目的，也可以与其他来源混为一谈，然后作为洞见出售给用户，从而为用户的生活增加越来越多的价值。而在云端完成这一切会使整个过程更简单、更高效，无论你在用它做什么。内部分析消费者，尤其是商业用户（他们大多是非技术性的），大数据定义，会喜欢快速、维护良好的云数据管道，因为它使他们能够灵活地回答所有问题，同时以快速的方式提供见解云层一切都在向云端移动。再说一次：如果你现在开始一项技术业务，你想使用云本地架构并将其全部托管在云上。无服务器解决方案是现在和未来。不用再担心硬件了，只要把代码推出来就行了。即使管理硬件和现场数据集的时代基本结束，数据工程师始终是确保数据安全、安全地到达需要的地方，并保持最新云趋势的关键部分。在以后的博客文章中，有享云商城，我将讨论为什么无服务器云功能如此出色，以及其他云计算主题。标记：云线