|
这是关于微型机器学习系列文章的第一篇。本文的目的是向读者介绍微型机器学习的理念及其未来的潜力。关于具体应用、实现和教程的深入讨论将在该系列后续文章中进行。
简介
在过去的十年里，由于处理器速度的提高和大数据的出现，我们见证了机器学习算法的规模成倍增长。最初，模型小到可以使用中央处理单元（CPU）内的一个或多个内核在本地机器上运行。
不久之后，使用图形处理单元(GPU)进行计算成为处理较大数据集的必要条件，并且由于引入了基于云的服务，如SaaS平台(如Google Colaboratory)和IaaS(如Amazon EC2 Instances)，变得更加容易实现。此时，算法仍然可以在单机上运行。
最近，我们看到了专门的应用专用集成电路(ASIC)和张量处理单元(TPU)的发展，它们可以包装出约8个GPU的功率。这些设备已经增强了在多个系统之间分布式学习的能力，以尝试建立得到更多更大的模型。
最近，随着GPT-3算法（2020年5月发布）的发布，这种情况达到了顶峰，它拥有一个包含1750亿个神经元的惊人网络架构—比人类大脑中存在的神经元数量（约850亿）多出一倍。这比有史以来创建的下一个最大的神经网络Turing-LG（2020年2月发布，包含约175亿个参数）的神经元数量多10倍以上。有估计称，该模型的训练成本约为1000万美元，耗电量约为3GWh（约为三座核电站一小时的发电量）。
虽然GPT-3和Turing-LG取得的成绩值得称赞，当然也自然导致了一些业内人士对人工智能行业日益增长的碳足迹提出了批评。不过，这也有助于激发人工智能学界对更加节能计算的兴趣。这样的想法，比如更高效的算法、数据表示和计算，几年来一直是一个看似不相关领域的焦点：微型机器学习。
微型机器学习（tinyML）是机器学习和嵌入式物联网（IoT）设备的交叉领域。该领域是一门新兴的工程学科，有可能给许多行业带来革命性的变化。
tinyML的主要行业受益者是在边缘计算和节能计算领域。TinyML源于物联网（IoT）的概念。传统的物联网概念是将数据从本地设备发送到云端进行处理。一些人对这个概念提出了一定的担忧：包括隐私、延迟、存储和能效等等。
能源效率。传输数据(通过电线或无线)是非常耗能的，比机载计算(具体来说是乘积单元)耗能约一个数量级。开发能够自己进行数据处理的物联网系统是最节能的方法。AI先驱们讨论这种 "以数据为中心 "的计算理念（相对于云模式的 "以计算为中心"）已经有一段时间了，现在我们开始看到它的发挥。
隐私。传输数据可能会被侵犯隐私。这些数据可能会被恶意行为者拦截，而且当数据被储存在一个单一的位置（如云端）时，其本质上变得不那么安全。通过将数据主要保存在设备上并尽量减少通信，这可以提高安全性和隐私性。
存储。对于很多物联网设备来说，它们获取的数据是没有价值的。想象一下，一个监控摄像头每天24小时记录一栋大楼的入口。在一天中的很大一部分时间里，摄像头的录像是没有用处的，因为没有任何事情发生。通过拥有一个更智能的系统，只有在必要的时候才会激活，就需要更低的存储容量，并减少传输到云端所需的数据量。
延时。对于标准的物联网设备，比如亚马逊Alexa，这些设备将数据传输到云端进行处理，然后根据算法的输出返回响应。从这个意义上说，该设备只是通向云模型的便捷网关，就像自己和亚马逊服务器之间的信鸽。这个设备很笨，完全依靠网速来产生结果。如果你的网络速度很慢，亚马逊的Alexa也会变得很慢。对于具有板载自动语音识别功能的智能物联网设备来说，由于减少了（甚至没有）对外部通信的依赖，所以延迟会降低
这些问题导致了边缘计算的发展，即在边缘设备（位于云的 "边缘 "的设备）上执行处理活动的想法。这些设备在内存、计算和功率方面受到资源的高度限制，从而引发了更高效的算法、数据结构和计算方法的发展。
这样的改进也适用于更大的模型，这可能会使机器学习模型的效率提高一个数量级，而对模型的准确性没有影响。举个例子，微软开发的 Bonsai 算法可以小到 2 KB，但其性能甚至可以比典型的 40 MB kNN 算法，或者 4 MB 神经网络更好。这个结果听起来可能并不重要，但在大小只有1/10000的模型上，同样的精度是相当惊人的。这么小的模型可以在Arduino Uno上运行，Arduino Uno的可用内存为2 KB，简而言之，你现在可以在一个5美元的微控制器上建立这样一个机器学习模型。
我们正处在一个有趣的十字路口，机器学习正在两种计算范式之间分叉：以计算为中心的计算和以数据为中心的计算。在以计算为中心的范式中，数据是由数据中心的实例进行储备和分析的，而在以数据为中心的范式中，处理是在数据的原始本地完成的。虽然我们似乎正在迅速走向以计算为中心范式的上限，但以数据为中心范式的工作才刚刚开始。
在现代世界中，物联网设备和嵌入式机器学习模型正变得越来越无处不在（预计到2020年底，活跃设备将超过200亿台）。其中很多你可能根本没有注意到。智能门铃、智能恒温器、当你说两句话时就会 "唤醒 "的智能手机，甚至只是拿起手机。本文的剩余部分将更深入地关注 tinyML 的工作原理，以及当前和未来的应用。
（编辑：南昌站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
