|
在量化过程中，一些信息可能会因为量化误差而丢失（例如，在浮点表示法上为3.42的值在整数平台上可能被截断为3）。为了解决这个问题，量化感知（QA）训练也被提出来作为一种替代方案。QA训练主要是在训练过程中约束网络只使用量化设备上可用的值（见Tensorflow示例）。
赫夫曼编码
编码是一个可选的步骤，有时会通过最大效率的方式存储数据来进一步减小模型的大小：通常是通过著名的Huffman编码。
编译
一旦模型被量化和编码后，它就会被转换为一种可以被某种形式的轻型神经网络解释器解释的格式，其中最流行的可能是 TF Lite （大小约500 KB）和 TF Lite Micro（大小约20 KB）。然后，该模型被编译成C或C++代码（大多数微控制器工作的语言，以便有效地使用内存），并由解释器在设备上运行。
量化
经过蒸馏，模型在训练后被量化为与嵌入式设备架构兼容的格式。
为什么要进行量化呢？想象一个使用ATmega328P微控制器的Arduino Uno，它使用8位算术。要在Uno上运行模型，理想情况下，模型权重必须存储为8位整数值（而许多台式电脑和笔记本电脑使用32位或64位浮点表示）。通过量化模型，权重的存储量减少了4倍（从32位到8位值的量化），而精度的影响通常可以忽略不计（通常在1-3%左右）。
深度压缩过程的示意图。在这个图中，"老师 "是一个训练有素的卷积神经网络模型。教师的任务是将其 "知识 "转移到一个参数较少的卷积网络模型，即 "学生 "身上。这个过程被称为知识蒸馏，用于将相同的知识封装在一个较小的网络中，提供了一种压缩网络的方法，使它们可以在更多内存限制的设备上使用。来源：ArXiv。
在这张图中，"老师 "是一个经过训练的神经网络模型。老师的任务是将其 "知识 "转移到一个参数较少的小网络模型—"学生 "身上。这个过程用于将相同的知识封装在一个较小的网络中，提供了一种压缩知识表示的方法，从而压缩了神经网络的大小，使它们可以在更多的内存限制的设备上使用。
同样，修剪也有助于使模型的表示更加紧凑。广义上讲，剪枝试图去除那些对输出预测提供很少效用的神经元。这通常与小的神经权重有关，而大的权重则由于其在推理过程中的重要性更大而被保留。然后在修剪后的架构上对网络进行再训练，以微调输出。
7、百度（uid-generator）
uid-generator是由百度技术部开发，项目GitHub地址 https://github.com/baidu/uid-generator
uid-generator是基于Snowflake算法实现的，与原始的snowflake算法不同在于，uid-generator支持自定义时间戳、工作机器ID和 序列号 等各部分的位数，而且uid-generator中采用用户自定义workId的生成策略。
uid-generator需要与数据库配合使用，需要新增一个WORKER_NODE表。当应用启动时会向数据库表中去插入一条数据，插入成功后返回的自增ID就是该机器的workId数据由host，port组成。
对于uid-generator ID组成结构：
workId，占用了22个bit位，时间占用了28个bit位，序列化占用了13个bit位，需要注意的是，和原始的snowflake不太一样，时间的单位是秒，而不是毫秒，workId也不一样，而且同一应用每次重启就会消费一个workId。
（编辑：南昌站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
