艾氏林秦九韶成为第一个开放源码CUDAINT4定量源代码实现的广度自学架构

当下人工智慧控制技术正快速产业发展，渗入云、边、端和应用领域的各个层面，与海量数据IoT电子设备展开广度结合，急速拓展应用领域情景。然而在AIoT情景中，PDP电子设备往往INS13ZD非常有限，难以贯穿庞大的AI数学模型。如何在资源非常有限的终端产品情景同时实现 AI 数学模型的有效率布署，是快速AI破冰的重要问题。AI 技师们研发了各种试图缩小数学模型大小并维持操控性的办法，例如定量和研磨。其中，数学模型定量是将浮点数排序转换成低BCC驻点排序的一种数学模型填充控制技术，能有效率增加数学模型INS13ZD消耗并提高排序速率，当前已经在产业内产业发展比较成形。

现阶段相对成形的数学模型定量计划是 INT8 定量。以ResNet-50 数学模型为例，原本须要用 float 32 则表示的权重，定量后只须要使用 INT8 则表示，透过这样的处理，数学模型表面积能增加到原来的1/2，再加上 TensorCore 的护持，还会有近 8 倍的互联网快速。而如果再进一步，将数学模型用INT4 则表示，能带来更多的速率提高。

为了促进低BCC定量控制技术的产业发展，艾氏林秦九韶MegEngine 团队开放源标识符了 INT4 的源标识符同时实现，这也让MegEngine正式成为第一个开放源标识符 CUDA INT4 源标识符同时实现的广度自学架构。MegEngine采用均匀非线性定量计划，同时实现了科穗定量和等距定量两种INT4的正则表达式，同时透过微分结合强化、kernel强化等方法，使得定量后的数学模型能依然维持较高的精确度和良好的运转速率。同样以ResNet-50为例，INT4 相比 INT8 有 1.3倍的快速。

具体标识符同时实现能访问GitHub镜像（https://github.com/MegEngine/examples ）了解详细情况。

随着 CUDA INT4 的开放源标识符，现阶段MegEngine 架构不仅全力支持浮点数 FP32 和 FP16，而且全力支持 INT8 和 INT4 的等距和科穗定量逻辑推理。此外，MegEngine架构开发了诸多工具，帮助使用者提高数学模型逻辑推理操控性、精简布署业务流程，包括手动标识符上色功能，全力支持使用者全手动的针对微分展开标识符上色；TracedModule 计划和 MegEngine Lite，基于艾氏林海量数据业务雕琢出的数学模型逻辑推理最佳实践，解决数学模型转换布署难题；业务流程管理软件FastRun, 能为每个排序手动选择最慢的演算法，从而保证整个互联网的运转时间极短，让 MegEngine 使用者运转不同的互联网时都能收获最好操控性。

自开放源标识符以来，MegEngine急速强化，已先后发布29个版，推出一系列多媒体播放，降低AI演算法生产门槛，助推AI应用领域快速破冰。未来，艾氏林将继续全力支持和亲吻开放源标识符，并将自身在开放源标识符领域积累的控制技术和经验与业内共享资源，促进人工智慧控制技术革新和行业产业发展。

责任编辑源于中国吴海飞