容器与虚拟机之争？
|
大多数 TinyML 技术，针对的是处理微控制器所导致的复杂性。TF Lite 和 TF Lite Micro 非常小，是因为其中删除了所有非必要的功能。不幸的是，它们同时也删除了一些有用的功能，例如调试和可视化。这意味着，如果在部署过程中出现错误，可能很难判别原因。 另外，尽管模型必须存储在设备本地，但模型也必须要支持执行推理。这意味着微控制器必须具有足够大的内存去运行（1）操作系统和软件库；（2）神经网络解释器，例如 TF Lite）；（3）存储的神经网络权重和架构；（4）推理过程中的中间结果。因此，TinyML 方向的研究论文在给出内存使用量、乘法累加单元（multiply-accumulate units，MAC）数量，准确率等指标的同时，通常还需给出量化算法的峰值内存使用情况。 为什么不在设备上训练？ 在设备上进行训练会引入额外的复杂性。由于数值精度的降低，要确保网络训练所需的足够准确率是极为困难的。在标准台式计算机的精度下，自动微分方法是大体准确的。计算导数的精度可达令人难以置信的 10^{-16}，但是在 8 位数值上做自动微分，将给出精度较差的结果。在反向传播过程中，会组合使用求导并最终用于更新神经参数。在如此低的数值精度下，模型的准确率可能很差。 尽管存在上述问题，一些神经网络还是使用了 16 位和 8 位浮点数做了训练。
第一篇研究降低深度学习中的数值精度的论文，是 Suyog Gupta 及其同事在 2015 年发表的“具有有限数值精度的深度学习”（Deep Learning with Limited Numerical Precision）。该论文给出的结果非常有意思，即可在几乎不降低准确率的情况下，将 32 位浮点表示形式降至 16 位固定点表示。但该结果仅适用于使用随机舍入（stochastic rounding）的情况，因为其在均值上产生无偏结果。 由于存在 量化误差)，可能会在量化过程中丢失某些信息。例如在基于整型的平台上，值为 3.42 的浮点表示形式可能会被截取为 3。为了解决这个问题，有研究提出了量化可感知（quantization-aware，QA）训练作为替代方案。QA 训练本质上是在训练过程中，限制网络仅使用量化设备可用的值（具体参见 Tensorflow 示例）。 霍夫曼编码 编码是可选步骤。编码通过最有效的方式来存储数据，可进一步减小模型规模。通常使用著名的 霍夫曼编码。 编译
对模型量化和编码后，需将模型转换为可被轻量级网络解释器解释的格式，其中最广为使用的就是 TF Lite（约 500 KB 大小）和 TF Lite Micro（约 20 KB）。模型将编译为可被大多数微控制器使用并可有效利用内存的 C 或 C++ 代码，由设备上的解释器运行。 在这里我们忽略了代码的修bug成本。在管理得当的情况下，软件维护(仅指修bug，不包含增加feature)的成本相比初始开发，以及未来收入来说，是极低的。 循环往复，公司积累了越来越多的资产 。并且，公司可以招募更多的程序员，扩大生产(这里的生产指的是生产资产!)，因此资产本身的积累速度也会越来越快。 对于传统工业品生产企业来说，这种资产积累速度只能望尘莫及。 总结 或许这就是当下互联网公司愿意给程序员支付高薪资的原因吧。公司雇佣程序员的时候只需要按照工作时间来支付薪酬，而程序员产生的资产能够
因此，严谨地说，将程序员类比成流水线工人的说法，既是正确的又是错误的： 错误的地方在于，程序员生产出来的是资产，流水线工人生产出来的是商品 正确的地方在于，两者都是按照劳动时间来支付薪酬 (当然，有一些公司愿意给员工发放股权激励，相当于将一部分资产奖励给员工)
更恰当地类比，应该是将程序员类比成自动化工厂流水线的设计师。他们设计出来的自动化流水线，只需要提供少量电力和人力就能运行。 （编辑：南昌站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
