教你搭建Vue服务端渲染项目

模型蒸馏

训练后，然后以创建具有更紧凑表示形式的模型的方式改变模型。剪枝和知识蒸馏是用于此目的的两种此类技术。  

知识蒸馏的基本思想是，大型网络内部具有一定的稀疏性或冗余性。虽然大型网络具有较高的表征能力，但如果网络容量没有饱和，它可以在一个较小的网络中以较低的表征能力（即较少的神经元）来表示。Hinton等(2015)将教师模型中的嵌入信息称为 "暗知识"，以转移到学生模型中去。

下图说明了知识蒸馏的过程。
 

TinyML的例子

之前，复杂的电路是设备执行各种动作的必要条件。现在，机器学习使得将这种硬件 "智能 "抽象成软件的可能性越来越大，使得嵌入式设备越来越简单、轻巧、灵活。

嵌入式设备中的机器学习应用所面临的挑战是相当大的，但在这一领域已经取得了很大的进展。在微控制器上部署神经网络的关键挑战是低内存占用、有限的功率和有限的计算。

也许TinyML最明显的例子是在智能手机内。这些设备永远主动聆听 "唤醒词"，如Android智能手机的 "Hey Google"，或iPhone上的 "Hey Siri"。通过智能手机的主要中央处理单元（CPU）来运行这些活动，现代iPhone的CPU主频为1.85GHz，将在短短几个小时内耗尽电池。对于大多数人每天最多使用几次的东西来说，这种程度的消耗是不可接受的。

为了解决这个问题，开发者们创造了专门的低功耗硬件，能够由小电池（如圆形CR2032 "硬币 "电池）供电。这使得这些电路即使在CPU不运行时也能保持活跃，基本上只要屏幕不亮就可以。

这些电路的功耗可以低至1毫瓦，使用标准CR2032电池可以供电长达一年。

看上去似乎不像是，但这是个大问题。能源是许多电子设备的限制因素。任何需要市电的设备都被限制在有线路的地点，当十几个设备出现在同一个地点时，很快就会变得不堪重负。市电是低效且昂贵的。将市电电压（在美国的工作电压约为120V）转换为典型的电路电压范围（通常为约5V），会浪费大量的能源。任何有笔记本充电器的人在拔掉充电器时可能都会知道这一点。在电压转换过程中，充电器内部变压器产生的热量在电压转换过程中被浪费掉了能量。 

即使是带电池的设备也会受到电池寿命有限的影响，这就需要频繁的对接。很多消费类设备的设计都是电池只能维持一个工作日。TinyML设备可以用硬币大小的电池继续工作一年，这意味着它们可以被放置在偏远的环境中，只有在必要时才进行通信以节约能源。

唤醒词并不是我们看到的唯一无缝嵌入智能手机的TinyML。加速计数据被用来判断是否有人刚刚拿起手机，从而唤醒CPU并打开屏幕。

显然，这些并不是TinyML唯一可能的应用。事实上，TinyML为企业和业余爱好者提供了许多令人兴奋的机会，可以生产出更智能的物联网设备。在一个数据变得越来越重要的世界里，将机器学习资源分配到远程位置中受内存限制设备的能力可能会对数据密集型行业产生巨大的好处，如农业、天气预测或地震学。

毫无疑问，赋予边缘设备以执行数据驱动处理的能力，将为工业流程带来模式转变。举个例子，如果设备能够监测农作物，并在检测到土壤湿度、特定气体（例如，苹果成熟时会释放乙烷）或特定大气条件（例如，大风、低温或高湿度）等特征时发出 "帮助 "信息， 将极大地促进作物生长，从而提高作物产量。

作为另一个例子，智能门铃可能会安装一个摄像头，可以使用面部识别来确定谁在现场。这可以用于安全目的，甚至可以用于当有人在场时将门铃的摄像头输送到房屋中的电视，以便居民知道谁在门口。   

tinyML目前主要关注的两个方面是：

关键字发现。大多数人已经熟悉这个应用程序。"Hey Siri "和 "Hey Google "是关键词的例子（通常与“ hotword”或“ wake word”同义使用）。这类设备连续聆听来自麦克风的音频输入，并被训练成只对特定的声音序列做出反应，而这些声音序列与学习到的关键词相对应。这些设备比自动语音识别（ASR）应用更简单，利用的资源也相应较少。某些设备（例如Google智能手机）利用级联架构来提供扬声器验证以确保安全性。

视觉唤醒词。有一种基于图像的类似于唤醒词的方法，称为视觉唤醒词。把这些词看作是对图像的二进制分类，以说明某些东西要么存在，要么不存在。例如，一个智能照明系统可能被设计成当它检测到一个人的存在时启动，当他们离开时关闭。同样，野生动物摄影师可以利用这一点在特定的动物存在时拍照， 或者当他们发现有人时，可以使用安全摄像机拍摄照片。   

下面是TinyML当前机器学习使用案例的更广泛概述。

（编辑：南昌站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!