博客让我们画一幅幸福的图画。你们公司的工作进展顺利。你有一个强大的银行现有客户，你可以发展他们的业务。你的网站、查询和试用的访问者对你的兴趣很高。你经常会找到好的潜在客户，而且你对更多的潜在客户开发有一些好主意。你在巩固与你的合作伙伴、潜在的新合作伙伴、渠道、供应商等的关系。这意味着你的组织中有大量的数据在运行。抓住一切，准确分析，什么叫物联网，正确解释，你就拥有了宝贵的资源，可以真正建立你的企业。你只需要一个合适的人来完成。那么，如果有选择，你应该选择哪个分析职位：数据工程师还是数据科学家？这是一个受欢迎的问题，但这是一个棘手的选择，因为在某些方面，两者之间有一个很好的界限，所以这里有一个有用的指南来帮助你做出决定。深入挖掘数据钻石——数据工程师数据就像钻石。你需要找到它，提取它，然后提炼和打磨它，使它的价值最大化。首先是提取。这是数据工程师的工作。工程师是数据勘探者和挖掘者，负责寻找获取数据的机会，然后开发、构建、测试和维护提取、建模和生成原始数据的方法。这里，我们讨论的是像数据库和大型处理系统这样的体系结构。工程师试图从组织可用的所有数据源中挖掘出数据，企业软件服务，然后对其进行集成、管理和优化。数据可能是未格式化的，可能是未经验证的，可能包含特定于系统的错误和代码。他们的关键任务是找到它，检索它，确保它易于访问，并构建有助于数据生成的基础设施。有时，工程师建议并实施一些方法来改进这个过程，提高数据的可靠性、效率和质量。 工程师的工作重点是数据管道：构建数据管道并确保其高效，这样数据的自由流动可以满足数据科学家和企业的需求。有了这些，挖掘出了数据，这项工作就交给了数据科学家。将原材料提炼成有价值的见解——数据科学家如果说数据工程师像钻石矿工，数据科学家就像钻石切割机。他们利用原始数据并将其提炼为适合您的业务和满足您特定需求的有价值的见解。数据科学家主要关注组织数据库中数据之间的关系。他们利用自己的技能比较数据，并对数据进行统计分析，从而提供见解。通过创建这些宝贵的见解，您的企业将得到更好的理解。这通常是在数据科学家将他们的发现和见解交给业务分析师时完成的。当数据科学家收集和分析数据以发现是什么创造和驱动趋势时，业务分析师专注于以所有人都能理解的方式（而不仅仅是数据专家）识别并向业务利益相关者和决策者展示这些趋势。为了扩展我们的类比，如果数据科学家是钻石切割师，那么他们会将材料传递给链中最后一位专家——珠宝商（业务分析师），为非专家观众创造有价值的东西。它们使业务同事能够根据分析结果、趋势和模式可视化。因此，作为数据工程师和业务分析师之间的关键中介，数据科学家将技术专长与业务理解结合起来。多亏了数据工程师的努力，数据科学家从最广泛的数据源中获得了大量的原始数据，这些数据源可以满足业务需求。通过使用分析程序、机器学习和其他方法，云计算和大数据的区别，数据科学家设计收集、清理、操作、组织和分析数据的算法，以揭示对其业务或利益相关者有用的见解。数据科学家通常具有高等数学和/或统计分析的背景，他们进行高水平的市场和商业研究，以帮助识别趋势和机会，然后，概括地说，这些发现由业务分析师以一种有助于决策的方式呈现给企业和利益相关者。这些角色的工具是什么？据Glassdoor和TechRepublic称，数据工程师在数据结构化、管理、存储和传输方面与各种大数据工具进行大量合作，如Hadoop、Spark、Kafka、MySQL、Redis、Riak、PostgreSQL、MongoDB、neo4j、Hive和Sqoop。它们还使用数据管道和工作流管理工具，如Azkaban、Luigi和Airflow，以及关系SQL和NoSQL数据库（如Postgres和Cassandra）。随着越来越多的数据仓库转移到云端，工程师越来越多地发现自己在与AWS云服务、EC2、EMR、RDS和Redshift、其他基于云的数据仓库（如Snowflake和googlebiqquery）、云计算服务（如microsoftazure）和数据编排系统（如Kubernetes）一起工作。 另外，随着软件工程师开始使用神经网络，对机器学习和人工智能的理解变得越来越重要，数据工程师将需要准备数据管道来为这些神经网络提供数据。通常，数据工程师使用Python、R、爪哇、C++和Scala编程语言。同样，数据科学家使用Python和R、斯卡拉、java和C++，尽管斯卡拉更受数据工程师的欢迎，因为与SCAPK的集成对于建立大ETL流特别有用。尽管Java在数据科学家中越来越受欢迎，但它在数据工程师中的使用也越来越多。数据科学家使用SPSS、SAS、Stata和Julia等语言来构建模型；还有Matlab和F。在使用Python时，数据科学家可以选择使用软件机器学习库Scikit learn、NumPy和SciPy、绘图库Matplotlib和统计数据探索包Statsmodels等。这两种工具的共同点是分布式数据/计算工具，如Hadoop、Hive、Storm、Gurobi、MySQL和Spark，以及AWS等云服务。数据科学家工作的核心是BI、分析和数据可视化。优秀的数据科学候选者应该熟悉一系列这样的工具，比如使用JavaScript的D3等。例如，当使用Python和R时，数据科学家通常会求助于ggplot2这样的包来在R或Python数据操作库Pandas中实现令人惊叹的数据可视化。他们有本事付账吗？所有这些工具都在他们的指尖，你要确保你选择的数据科学家和数据工程师真的有能力使用它们，以你的最佳优势。几乎不用说，这两个角色都需要计算机科学背景，但这正是他们可能出现分歧的地方，你可以通过确定你需要的技能来确定你需要担任的角色。数据工程师倾向于拥有更多的技术背景，大数据是什么，尤其是计算机工程。对于数据工程师来说，关键的考虑因素是他们有处理大数据、各种数据库、云数据解决方案的经验，以及从大型和断开连接的数据集中提取价值和进行处理的经验。他们应该理解代码和脚本，并具有系统监控、警报和仪表板经验数据科学家背后可能有不同或更多的商业研究，如计量经济学、数学、统计学和运筹学。他们往往来自不同的行业背景，云服务器平台，大多是科学的，或者来自诸如web开发和数据库管理等领域，这使得他们已经意识到了这个角色所涉及的一些技能和挑战。数据科学家通常拥有更丰富的数学和统计经验，在数据建模和机器学习方面有更多的实践知识，并且在可视化和呈现数据驱动的见解方面有着良好的记录，因为他们技能的一个重要组成部分是向非技术受众传达技术发现的能力成功的组合数据工程师和数据科学家的能力对你选择哪一位专家有很大的影响。每一项都在最大限度地发挥数据的效益方面发挥着至关重要的作用。 当然，理想情况下，你会有大量的数据和广泛的机会来使用它们，因为从数据工程师到数据科学家的交接是一个强大的过程。这是一个成功的组合，它将为您提供最好的洞察力，推动您的组织向前发展。标签：数据科学家|职务