博客作为一家标榜端到端BI解决方案好处的公司，我们当然知道数据工程师的价值。数据工程师的工作是提取、清理和规范化数据，为数据科学家探索数据和构建模型扫清道路。为此，数据工程师需要精通各种平台和语言。为了让BI变得更好，我们不遗余力地列出了每一位数据工程师需要的技能和工具，这些技能和工具是每个公司都面临的不断增长的大数据。首先，让我们从基本的语言技能开始。Python和RPython和R是使用最广泛的编程语言。据我们在Sisense的数据工程师所说，虽然还有很多其他程序，但Python和R的应用越来越广泛。每个数据工程师不仅应该了解这些语言的来龙去脉，而且每年都要参加一次进修课程，以保持对这些语言的了解。Python：一种用于web应用程序的高级编程语言，Python被列为数据工程师所有工作描述的64%。Python非常容易学习，是最强大的编程语言之一。Real Python提供了Python的第一步课程，它是为您入门而构建的。别忘了利用他们提供的所有额外材料，比如python提示和技巧，以及新教程发布时的通知。如果你只是想温习一下Python，GitHub有一个值得学习的进修课程。R： Coursera提供R编程在线培训课程，这是约翰霍普金斯大学的一部分。我们的数据工程师喜欢这门课程的原因是它面向数据科学家，并且涵盖了统计计算的实际问题。这会让你专注于科学家需要你提供的数据。你可以在自己的时间做，因为整个课程都是在线提供的。数据库知识数据工程师还需要对SQL和NoSQL有深入的数据库知识，因为这项工作的主要要求之一是实时收集、存储和查询这些数据库中的信息。SQL：学习如何通过SQL与关系数据库通信。在本课程中，您将学习如何操作数据和构建与多个表通信的查询。我们最喜欢这门课的地方是，你将在整个课程中用四个项目来练习你所学的东西，这些项目能真正磨练你的技能。MongoDB（或NoSQL）：一个开源数据库管理系统（DBMS），MongoDB使用面向文档的数据库模型。这意味着MongoDB不是使用数据库中的行中的表，而是由文档集合组成的。作为一个简单、动态和可伸缩的数据库，该语言背后的动机是允许您实现一个高性能、高可用性和自动伸缩的数据系统。云迁移准备好数据工程师，现在你需要AWS和Microsoft Azure被认为是最新的。随着大多数企业迁移到云端，必须具备这两种数据仓库平台的知识。如果你真的想全力以赴的话，也可以去谷歌云平台（googlecloudplatform，GCP）。了解云学院提供的这些课程：AWS:CloudAcademy提供的Amazon Web服务培训库有300多条学习路径、课程和测验，可以帮助您入门并获得认证。Microsoft Cloud Azure：Microsoft Azure培训库提供了一个初始内容选择，让您对MS Azure感到兴奋，然后让您继续学习认证、机器学习和人工智能，物联网是什么意思，甚至数据管理解决方案。Google云平台：Google云平台培训库涵盖了GCP的核心原则。快速从基础知识开始，然后转到认证和机器学习。不要跳过googlebigquery的学习路径，在数据管理解决方案下测试你对Google分析测试的知识。数据仓库PostgreSQL：这是最流行的数据仓库之一，因为数据工程师发现使用PostgreSQL报告工具进行分析很容易。本教程将从涵盖所有细节的16个部分开始。Hadoop：这是处理大数据的主要框架。当有大量结构化和非结构化数据需要分析时，可以使用开源软件。众所周知，Hadoop具有快速、细致和低成本的特点，这使得它成为希望利用大数据进行更好的业务决策的企业公司的最爱。形象学分：jennyxiaozhang.com/6-关于hadoop你需要知道的事情/PIG:PIG是一种高级脚本语言，当数据高度非结构化时，通常由apachehadoop生态系统中的研究人员和程序员使用。Pig的座右铭是"猪吃一切"，因为与其他分析大型数据集的平台不同，Pig不需要任何形式的严格性。当数据是非结构化的，并且记录有不同的类型时，程序员通常使用Pig。Hive：主要用于数据分析师创建报表，云服务服务器，实时大数据，Hive直接利用SQL，对于数据库专家来说很容易学习。Udemy为所有技能级别提供Apache配置单元课程，从免费教程到付费课程。付费课程有退款保证，这是一个很好的尝试不同课程的便利条件。MapReduce：Hadoop生态系统的分布式处理框架，MapReduce通常被称为系统的心脏。任何数据工程师都应该学习如何使用MapReduce来过滤、排序和基本上映射和减少数据集。IBM在描述框架的基础知识方面做得很好。apachespark：这个用于大数据处理的统一分析引擎创建于2009年，作为MapReduce的替代品。Spark类似于MapReduce，大数据的趋势，因为它允许您处理分布在数十台或数百台机器上的数据。不同的是Spark使用更多的内存来产生更快的结果，并且它有一个更直接和更干净的API。你也可以直接去Spark网站学习基础知识。卡夫卡：这是你需要学习的实时数据或动态数据的技术。当公司希望或需要在数据进入其系统后立即获得见解或得出结论时，可以使用实时分析，淘客返利软件，以便他们能够毫不拖延地采取行动。使用这个开放源码教程来训练自己实时应用程序，以及与大数据的实际集成。机器学习数据工程师的角色将继续增长，因此掌握机器学习是不可避免的。今天，软件工程师开始使用神经网络，数据工程师需要准备必要的数据管道来为这些神经网络提供数据。对机器学习（ML）的基本理解将有助于支持软件工程师转向基于人工智能的编程和分析。机器学习和人工智能：我们在Coursera的朋友们有一个最有效的机器学习技术的组合课程。我们特别喜欢展示硅谷在创新方面的最佳实践的部分，因为它与机器学习和人工智能有关。有能力的人现在每个公司都在收集和存储创建的每一个数据，数据工程师将成为公司最重要的工作之一。我们知道我们的技能和工具列表需要随着职位的变化而增长和调整，因此我们会随着时间的推移让每个人都知道最新情况。剩下的，尽管如此，我们将不得不留给有能力、有才华的数据工程师来阅读这篇文章。标签：hadoop | how to's | SQL