当前位置:主页 > AI智能 > 大规模部署人工智能,他们没有告诉你这些……

AI智能:大规模部署人工智能,他们没有告诉你这些……
作者:浑博延  发布日期:2019-01-02   浏览:178

大规模部署人工智能,他们没有告诉你这些…… IT思维 2018-12-25 22:29 公众号/AI前线 作者 | Priansh Shah 译者 | Sambodhi 编辑 | Natalie AI 前线导读: 现在,创建 深度学习 模型越发容易,对数

大规模部署人工智能,他们没有告诉你这些……

IT思维 2018-12-25 22:29

公众号/AI前线

作者 | Priansh Shah

译者 | Sambodhi

编辑 | Natalie

AI 前线导读: 现在,创建 深度学习 模型越发容易,对数据科学家和开发者来说,在测试环境中打造复杂模型已不再是难事。但是要大规模部署人工智能模型就变得非常困难了,而且这个问题也不会随着公司规模扩大而消失,更可怕的是,相关资料还很匮乏。Priansh Shah 跟我们分享了他在云端上大规模部署人工智能的心得

更多优质内容请关注微信公众号“AI 前线”(ID:ai-front)

本文最初发布于 Towards Data Science 博客,经原作者 Priansh Shah 授权由 InfoQ 中文站翻译并分享。

现在,关于人工智能的教程多如牛毛:比如,如何进行目标检测、图像分类、自然语言处理、构建聊天机器人等等,这份清单还不止这些。

大规模部署人工智能,他们没有告诉你这些……

但当我查找有关如何正确进行大规模部署人工智能的资料时,我发现相关内容屈指可数。更令人惊讶的是,眼下这些少得可怜的资源似乎都重申了同样的这几点:

使用 TensorFlow 之类的可扩展框架构建模型。

要么将其打包到客户端中(如 TF.js Lite、TF-slim 等),要么将其部署为带有容器的微服务。

我对上述第二点更感兴趣,因为我已经开发了一个模型,但让我很惊讶的是,在网上,关于如何实现这点的细节,相关资料寥若晨星。至于每种解决方案有何缺点的信息更是寥寥可数。经过几天的研究并在 Crane.ai 上进行人工智能规模化之后,我整理了更多的信息,如 有关部署、它们的缺点以及如何在低级别上优化 TensorFlow 模型。

将其打包到客户端?太槽糕了!其中一项最常用的技术就是使用 TensorFlow、TF Lite 或 TensorFlow Slim 等工具将人工智能打包到你所选择的客户端中。限于篇幅,我并不会赘述这些框架是如何运行的,而是重点阐述它们的缺点。

计算能力。 这些模型的部署问题是它们需要海量内存(我指的是受移动 App 或浏览器的限制,即 > 1~2GB 内存)。很多手机并不具备这种能力,桌面浏览器会延迟 UI 线程,同时也会拖慢电脑、使发热更严重,以致于启动了 CPU 风扇等等。

推理时间。 在计算能力未知的设备上运行模型时,推理时间通常也是未知的;而且这些还不是配置 GPU、大内存、高配 CPU 的机器,而是智能手机、浏览器以及普通电脑上运行的桌面应用程序。使用更大的模型仅需一分钟即可轻松地进行推理,但从用户体验的角度来看,却是一个大大的 “NO”。

大文件。 不幸的是,大多数模型都存储在相当大的文件中(我们说的是动辄几十 MB、几百 MB 那种)。因此,这会拖慢速度,而且加载起来会占用大量内存,并且会大大增加了应用程序包的大小。

不安全。 除非你使用的是开源模型,否则,你应该将你的人工智能和预训练的检查点进行相对保密。然而不幸的是,当你将模型与应用程序打包在一起时,不仅你的推理代码容易遭到反编译,而且 预训练的检查点也会被打包其中,很容易被窃取。

难以更新。 如果想更新模型,那么客户端有两项选择。要么用户通过像 Google Play、Apple 的 App Store 那样的应用商店发布的更新进行升级,但这方式会带来 频繁的大更新(这对于用户来说非常麻烦,而且这一更新可能会被终止或者永远不更新,具体要取决于用户的设置);或者应用程序自身进行检查更新和获取元数据。后者听上去更好一些,但这意味着,你必须通过用户可能不稳定的连接下载一个 100MB 以上的文件;这需要耗费一段时间,因此你的应用程序至少要在后台运行才能完成这一更新过程,而且你还需要支付相当大的网络输出成本(这取决于你采用的云端)。

缺乏可训练性。 针对新用户数据的训练模型提供了一定程度的个性化,同时提高了其准确性,并构建了核心的、高信号的数据集。不幸的是,大多数设备缺乏训练模型的计算能力,就算它们有这种能力,也不可能将训练的效果传送到运行这一应用的服务器或其他设备。

由于这些缺点的存在,在客户端上部署和维护大型神经网络几乎是一个不可能实现的任务。因此,我们剔除了这一选项。

将其部署为云端点

大规模部署人工智能,他们没有告诉你这些……

AI智能 大数据 物联网 新科技 城市资讯
Copyright © 2012-2018 版权所有  亚洲城娱乐_亚洲城国际娱乐_ca88亚洲城游戏官网 网站首页 | 网站地图1 | 网站地图2