谁在微软车库新英格兰研发中心度过暑假？微软汽车修理厂的实习对象是那些渴望学习、不怕尝试新事物、能够在遇到模棱两可的情况时走出舒适区的学生。该项目汇集了来自麻省理工学院的Grace Hsu、东北大学的Christopher Bunn、波士顿大学的Joseph Lai和卡内基梅隆大学的Ashley Hong。他们之所以选择车库实习，是因为他们专注于产品开发，了解从构思到发货的整个开发周期，并学习如何让客户着迷。微软车库实习生接受实验项目，通过黑客攻击新技术来培养他们的创造力和产品开发技能。通常，这些项目都是来自我们微软内部产品小组的建议，但当斯坦利·布莱克和德克尔（Stanley Black&Decker）问微软是否可以将图像识别应用于建筑工地的资产管理时，这个由四名实习生组成的团队接受了在12周内创建一个工作原型的挑战。从一个利用图像识别的简单要求开始，团队进行了市场分析和用户调查，以确保产品脱颖而出并证明有用。他们花了一个夏天来积累移动应用程序开发和人工智能的经验，开发出一款至少能像人类一样准确识别工具的应用程序。问题在建筑行业，承包商每月花费超过50小时跟踪库存是很正常的，这可能导致不必要的延误、积压和工具丢失。总的来说，大型建筑工地在一个漫长的项目过程中可能损失价值超过20万美元的设备。解决这个问题是一个非标准的混合体，通常包括条形码、蓝牙、RFID标签和QR码。Stanley Black&Decker的团队问道："只需拍张照片并自动识别工具，会不会更简单？"因为有许多工具型号有细微差别，例如，识别一个特定的钻孔需要您读取一个型号，如DCD996。工具也可以装配多种配置，如有或没有钻头或电池组连接，并可以从不同的角度看。你还需要考虑到在一个典型的建筑工地上遇到的照明条件和可能的背景。利用计算机视觉很快成为一个非常有趣的问题。 他们是如何破解的分类算法可以很容易地训练，在识别不同的物体时达到很高的精确度，比如区分钻头、锯子和卷尺。相反，他们想知道分类器是否能够准确区分非常相似的工具，如上面所示的四个练习。在项目的第一个迭代中，团队研究了PyTorch和微软的定制视觉服务。customvision通过不需要高水平的数据科学知识来获得工作模型而吸引了用户，并且有了足够的图像（每个工具大约有400个），customvision被证明是一个足够的解决方案。然而，很明显，手动收集这么多图像对于一个拥有数千个工具的产品线来说是一个挑战。焦点迅速转移，找到综合生成训练图像的方法。在最初的方法中，研究小组对工具进行了三维扫描和绿屏渲染。然后这些图像被随机的背景覆盖，以模拟真实的照片。虽然这种方法看起来很有前途，但图像质量却很有挑战性。在下一次迭代中，团队与斯坦利·布莱克和德克尔的工程团队合作，探索了一种新的方法，使用计算机辅助设计（CAD）模型的真实感渲染。他们能够使用相对简单的Python脚本来调整大小、旋转并随机地将这些图像覆盖在一组大背景上。利用这种技术，该团队可以在几分钟内生成数千张训练图像。   左边是绿色屏幕前生成的图像，右边是从CAD中提取的图像。对迭代进行基准测试customvision服务提供关于模型精度的报告，如下所示。对于以视觉上相似的产品为目标的分类模型，下面这样的混淆矩阵非常有用。混淆矩阵通过比较行中类的真实标签与列中模型输出的标签来可视化预测模型的性能。对角线上的分数越高，模型就越精确。当高值偏离对角线时，它有助于数据科学家了解哪两个类被训练的模型所混淆。现有的Python库可以用来快速生成包含一组测试图像的混淆矩阵。 结果该团队开发了一个React原生应用程序，可以在iOS和Android上运行，并作为一个轻量级的资产管理工具，具有干净直观的UI。该应用程序可以适应不同程度的Wi-Fi可用性，当存在可靠的连接时，所拍摄的图像将被发送到Azure云上经过训练的自定义视觉模型的API。在没有互联网连接的情况下，图像被发送到本地计算机视觉模型。这些本地模型可以使用customvision获得，它将模型导出到Core ML for iOS、TensorFlow for Android，或者作为可以在Azure中的Linux应用程序服务上运行的Docker容器。通过从CAD导出渲染图像并生成合成图像，可以实现向机器学习模型添加新产品的简单框架。  图像按从左到右的顺序排列：库存清单屏幕、将图片发送到自定义视觉服务的摄像头功能、机器学习模型结果的显示以及向清单中添加工具的手动表格。下一步是什么为你的团队寻找一个机会来破解计算机视觉项目？在你附近搜索一个OpenHack。Microsoft OpenHack是一个以开发人员为中心的活动，在这里，各种各样的参与者（开放式）通过动手实验（Hack）学习，使用基于真实世界客户参与的挑战，旨在模拟开发人员的旅程。OpenHack是一个高级微软活动，它为客户和合作伙伴提供独特的升级体验。与传统的基于演示的会议不同，OpenHack为开发人员提供了独特的动手编程体验。学习路径也可以帮助你掌握认知服务。