一种快速集成 AI 的终端运行环境 SDK

发布时间：2021-03-23 15:07:38 所属栏目：动态来源：互联网

导读：这些推理过程进行抽象，是 AoE 支持各种推理框架的基

这些推理过程进行抽象，是 AoE 支持各种推理框架的基础。目前 AoE 实现了对两种推理框架 NCNN 和 TensorFlow Lite 的支持。

具体来说，AoE 集成运行环境最基本的便是抽象推理操作，通过依赖倒置的设计，使得业务只依赖 AoE 的上层抽象，而不用关心具体推理框架的接入实现。这种设计带来的最大的好处是开发者随时可以添加新的推理框架，而不用修改框架实现，做到了业务开发和 AoE SDK 开发完全解耦。

在 AoE SDK 中这一个抽象是：

InterpreterComponent：用来处理模型的初使化、执行推理和释放资源。
Convertor：用来处理模型输入的前处理和模型输出的后处理。

AoE 还有另一个特性是具有稳定性保障。众所周知，Android 平台开发的一个重要的问题是机型适配，尤其是包含大量 Native 操作的场景，机型适配的问题尤其重要，一旦应用在某款机型上面崩溃，造成的体验损害是巨大的。

有数据表明，因为性能问题，移动 App 每天流失的活跃用户占比 5%，这些流失的用户，6 成的用户选择了沉默，不再使用应用，3 成用户改投竞品，剩下的用户会直接卸载应用。因此，对于一个用户群庞大的移动应用来说，保证任何时候 App 主流程的可用性是一件最基本、最重要的事。

结合 AI 推理过程来看，不可避免地，会有大量的操作发生在 Native 过程中，不仅仅是推理操作，还有一些前处理和资源回收的操作也比较容易出现兼容问题。为此，AoE 运行时环境 SDK 为 Android 平台上开发了独立进程的机制，让 Native 操作运行在独立进程中，同时保证了推理的稳定性（偶然性的崩溃不会影响后续的推理操作）和主进程的稳定性（主进程任何时候不会崩溃）。

具体实现过程主要有三个部分：注册独立进程、异常重新绑定进程以及跨进程通信优化。

目前 AoE SDK 已经在滴滴银行卡 OCR 上应用使用，想更加清晰地理解 AoE 和推理框架、宿主 App 的关系，可以通过下面的业务集成示意图来了解它：

（编辑：南昌站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

数字化转型深水期，作	在火星上开展3D打印研
巨头混战即时配送，顺	炒菜机器人，是烹饪助