本文由蒂姆·安格拉德撰写，最初在哈克农首播。想赶上HBO的硅谷吗？你可以在HBO GO和HBO Now应用程序上观看整季节目HBO电视剧《硅谷》发布了一款真正的人工智能应用程序，它可以识别热狗，而不是热狗，就像第四季第四集中显示的那样（该应用程序现在可以在Android和iOS上使用！）拉里·金不喜欢热狗pic.twitter.com/sbDiw3ZHyT-产品搜索•发短信给我（415）481-3148（@ProductHunt）2017年6月13日在您的网络上发推特！为了实现这一点，我们设计了一个定制的神经结构，直接运行在你的手机上，并用Tensorflow、Keras和Nvidia GPU对其进行训练。虽然该用例是闹剧，但该应用程序是深度学习和边缘计算的一个可接近的例子。所有的人工智能工作都是由用户的设备提供100%的能量，图像的处理不需要离开手机。这为用户提供了快捷的体验（无需往返云端）、离线可用性和更好的隐私。这也使我们能够以0美元的成本运行该应用程序，即使是在100万用户的负载下，与传统的基于云的人工智能方法相比，可以节省大量成本。作者的开发设置与附加的eGPU用来训练不是热狗的人工智能。该应用程序是由展会内部开发的，由一名开发人员，运行在一台笔记本电脑和附加的GPU上，使用手工编制的数据。在这方面，它可能会让人感觉到，在有限的时间和资源下，非技术公司、个人开发人员和业余爱好者都能实现什么目标。本着这种精神，本文试图详细概述帮助他人构建自己的应用程序的步骤。热狗/不是热狗是机器学习犹他茶壶对CGI的意义。#WWDC17#WWDCpic.twitter.com/zJyfex2UXc-西蒙（@shutter_Simon）2017年6月8日发推特到你的网络！ 1应用程序如果你还没有看过节目或试用过这个应用程序（你应该！），应用程序可以让你抓拍一张照片，然后告诉你它是否认为该图像是热狗。这是一个直截了当的用例，向最近的人工智能研究和应用致敬，特别是ImageNet。虽然我们可能比其他任何人都投入更多的工程资源来识别热狗，但这个应用程序仍然以可怕和/或微妙的方式失败。https://twitter.com/davidüukha/status/865093285886304256相反，它有时也能在复杂的情况下识别热狗……根据Engadget的说法，"这太不可思议了。在过去的两年里，我用这款应用程序识别食物的成功率比我在Shazam上标记和识别歌曲的成功率要高。"2从原型到生产你有没有发现自己读过黑客新闻，想着"他们为此筹集了1000万美元的a系列？"？我一个周末就能造出来！"这个应用程序可能感觉很像，而且最初的原型确实是在一个周末内使用Google云平台的visionapi和React Native构建的。但我们最终在appstore上发布的最后一款应用程序需要数月的额外（兼职）工作，才能实现有意义的改进，而这对于一个局外人来说是很难理解的。我们花了数周时间优化总体精度、培训时间、推理时间，反复使用我们的设置和工具，以便能够更快地进行开发迭代，并花了整整一个周末的时间围绕iOS和Android权限优化用户体验（甚至不要让我开始这方面的工作）。技术博客文章或学术论文常常跳过这一部分，而倾向于提出最终选择的解决方案。为了帮助其他人从我们的错误和选择中吸取教训，我们将简要介绍不适用于我们的方法，然后在下一节中描述最终发布的架构。V0：原型googlecloudvision文档中的示例图像和相应的API输出我们选择React Native来构建原型，淘客返利系统，因为它可以给我们一个简单的沙盒进行实验，并且可以帮助我们快速支持许多设备。最终的体验是很好的，我们在项目的剩余部分一直保持React Native：它并不总是让事情变得简单，而且应用程序的设计也有目的地受到限制，但最终React Native完成了任务。我们用于原型Google云的visionapi的另一个主要组件很快就被放弃了。主要有3个因素：首先也是最重要的一点，它在识别热狗方面的准确度仅此而已-所以，虽然它很擅长识别大量的东西，但不太擅长具体识别一件事，在2016年我们用它做的实验中，有很多非常常见的例子会失败。由于其作为云服务的性质，它必然比在设备上运行慢（网络延迟是痛苦的！），脱机时不可用。图像离开设备的想法也可能引发隐私和法律问题。最后，如果应用程序成功，在Google云上运行的成本可能会变得让人望而却步。基于这些原因，我们开始尝试流行的"边缘计算"，这意味着在笔记本电脑上训练神经网络后，我们将其导出并直接嵌入我们的移动应用程序中，这样神经网络执行阶段（或推理）将直接在用户的手机内运行。V1:TensorFlow、初始和转移学习通过与TensorFlow团队的Pete Warden的一次偶然相遇，我们意识到了它可以直接在iOS设备上运行TensorFlow，并开始探索这条道路。在React Native之后，TensorFlow成为堆栈的第二个固定部分。我们只需一天的工作就将TensorFlow的Objul-C++摄像机示例集成到我们的反应本机外壳中。使用他们的转移学习脚本花费了稍长的时间，这有助于您重新培训Inception架构来处理更具体的图像问题。Inception是Google为处理图像识别问题而构建的一系列神经体系结构的名称。初始可用"预先培训"，这意味着培训阶段已经完成，权重已设置。对于图像识别网络来说，他们通常接受过ImageNet的培训，淘客返利软件，这是一项每年一度的比赛，旨在寻找识别超过20000种不同类型物体的最佳神经结构（热狗就是其中之一）。然而，与googlecloud的visionapi很相似，竞争对手对广度和深度的奖励是一样多的，而在20000+个类别中，只有一个类别可能缺乏现成的准确性。因此，再培训（也称为"转移学习"）的目的是采用一个经过充分训练的神经网络，并对其进行再培训，以便在你想处理的特定问题上表现得更好。这通常涉及到某种程度的"遗忘"，要么从堆栈中去掉整个层，要么慢慢抹去网络区分某类对象（如椅子）的能力，以便更准确地识别出你关心的对象（如热狗）。虽然网络（在本例中是Inception）可能已经对ImageNet中包含的14M个图像进行了训练，但是我们能够在仅仅几千个热狗图像上重新训练它，从而大大增强了热狗的识别能力。转移学习的最大优势是，与从头开始训练相比，你可以更快地获得更好的结果，而且数据更少。一次完整的培训可能需要几个月的时间，需要上百万张图片，而再培训可以在一台有几千张图片的笔记本电脑上几小时内完成。我们遇到的最大的挑战之一是，究竟什么应该算热狗，什么不应该算热狗。定义什么是"热狗"最终会出人意料地困难（切碎的香肠算数吗，物联网架构，如果是的话，哪种香肠？）并接受文化解释。同样，我们问题的"开放世界"性质意味着我们必须处理几乎无限数量的投入。虽然某些计算机视觉问题的输入相对有限（比如说，有或没有机械故障的螺栓的x光），我们必须准备好应用程序，让它可以自拍、自然照和任何数量的食物。可以说，这种方法是有希望的，并且确实导致了一些改进的结果，但是，由于几个原因不得不放弃它。首先，我们问题的性质意味着训练数据的严重不平衡：与热狗相比，不是热狗的东西有更多的例子。在实践中，这意味着如果你在3个热狗图片和97个非热狗图片上训练你的算法，并且它能识别出前者的0%，但后者的100%，默认情况下它仍然会获得97%的准确率！使用TensorFlow的再培训工具，这并不是一个现成的解决方案，基本上需要从头开始建立一个深度学习模型，导入权重，并以更可控的方式进行训练。此时咬紧牙关，开始使用深度学习lib库（Keras），它提供了更为方便、更易于使用的TysFooLet上的抽象，包括相当棒的培训工具和一个类SuffRoad选项，这是我们处理的这种数据集失衡的理想选择。我们利用这个机会尝试了其他流行的神经结构，比如VGG，但是仍然存在一个问题。他们中没有一个能舒适地安装在iPhone上。它们消耗了太多内存，导致应用程序崩溃，有时需要10秒来计算，从用户体验的角度来看，个人用云服务器，这并不理想。很多事情都试图缓解这种情况，但最终这些架构太大了，无法在移动设备上高效运行。V2:Keras和挤压网SqueezeNet vs.AlexNet，计算机视觉架构之父。来源：挤压网纸。给你一个时间背景，这大概是项目的中间点。到那时，用户界面已经完成了90%以上，而且几乎没有什么变化。但事后看来，神经网络最多只完成了20%。我们有一个很好的挑战感&一个好的数据集，什么叫淘客，但是最终的神经结构有0行是w