流程引擎能力中心 全栈智能监控中心 AI能力中心 能力编排中心 机器人能力中心 用户服务中心 RPA能力中心 自动化能力中心 统一采集操作中心 配置资源管理中心 数据共享中心 猎豹智维平台
身份与访问安全管理系统 Ultra-SecFort集中运维审计堡垒机系统 Ultra-ZTIAM 零信任身份服务系统
Ultra-AMR资产安全核查系统 Ultra-BMS安全基线管理系统 Ultra-DeepScanner 深度漏洞全量核查系统 Ultra-PWAnalyser 资源弱口令核查系统
Ultra-APT Detector高级网络威胁识别 Ultra-SmartSensor全流量数据采集探针 Ultra-FWAnalyser 神州泰岳防火墙策略核查系统
Ultra-SOMC安全运行管理中心 Ultra-SecSight信息安全大数据态势感知系统 Ultra-ESA企业综合安全审计系统 SecSight-SOAR安全编排自动化与响应平台
Ultra-DSM数据安全管控产品 Ultra-SmartDLP Detector数据防泄漏系统 Ultra-MSFolder个人安全文件夹系统
Ultra-SmartLxCShield容器安全防护系统 Ultra-SmartGrid网络资产智能微隔离系统 Ultra-SecCloud安全云服务平台 Ultra-SmartShield云主机安全防护系统
5G专网通信产品 EVA泛融合通信平台 高精度定位系统 宽带接入微基站 物联网传感器 EVA会议宝私有云一体机
接入节点设备 汇聚节点设备 智能温控除湿机 特高频局放传感器 超声波局放传感器 暂态地电压局放传感器 SF6气体微水与密度监测传感器 暂态地电压(TEV)超声波局放传感器
全业务可观测平台 Ultra-AIOps 企业知识共享平台 敏捷ITSM管理 数智化运营管理 数字化研发效能平台 电信业务端到端监控
混合多云管理 IDC运营管理 集约化综合网管 算网大脑 核心网运维工作台 IP运维工作台 家客业务运营支撑 政企业务运维支撑系统解决方案 CDN运维工作台 SDN控制器 电子运维管理平台
大模型MaaS平台 智能数据分析 IP网运维智能体 核心网运维智能体 知识增强 智能办公助手 智能研发
消息中台 5G消息CSP平台 渠道运营服务解决方案 一体化营销服务 短信网关
身份与访问控制解决方案 安全合规解决方案 安全威胁分析与预警解决方案 安全资产管理解决方案
特权帐号管理解决方案 一体化信息安全风险感知解决方案 安全基线管理解决方案 安全审计解决方案
安全运营管理解决方案 安全运行保障解决方案 网信办安全态势感知解决方案
泰岳安全中台解决方案 零信任安全解决方案 泰岳数据安全解决方案
AWS SMB上云服务 AWS DevOps服务 AWS架构优化服务 云原生应用开发服务 AWS账单服务 AWS上云迁移服务 AWS云上代维服务
5G通信解决方案 Nu-Comm融合通信系统 智慧园区解决方案
变电在线监测系统解决方案 变电站远程智能巡视系统解决方案 变电数字孪生站智能一体化解决方案 数字主变健康多元状态评估解决方案
社区警务便民小助手解决方案 智脑案情分析系统解决方案 警情数据分析平台解决方案
前言
警情文本深度学习智能化项目验收前夕,驻守公安部门现场和远程算法的同事们正在一遍遍地联合调整业务输出、优化响应逻辑,然而深度学习业务模型大,部署慢,线上响应速度也不甚理想,让在公安系统现场负责的A同事有些焦虑……
数据辣么多,应该怎么办?
警情数据是典型的短文本数据,涵盖多项警情要素,自然语言处理(NLP)作为一种人工智能方法,能够处理机器和人类自然语言之间的交互,帮助警方完成警情的自动分类,自动整理最受关注的各类黑恶势力、电信诈骗、偷窃等警情。然而就像天下没有免费的午餐一样,NLP技术在带来好处的同时也存在一些问题,这其中最为凸显的恐怕是效率问题了。目前的分析模型一般比较消耗计算资源,且一般都是在大量的GPU集群上进行运算,然而警方一般仅有CPU环境,计算很长的时间才能得到结果。针对海量的历史数据,更是一筹莫展。且单个模型很大(一般300M左右),我方部署也有一定困难。因此如何提升部署效率,方便警方使用NLP模型,提升推理速度,并且保证服务的准确率成为一个难题。
哈喽!我叫ARMD
ARMD是神州泰岳旗下鼎富智能科技有限公司推出的一套模型压缩、加速框架,其中包含的NLP预训练语言模型自动化蒸馏算法已发表于自然语言处理领域顶级会议EMNLP 2020。蒸馏,就是知识蒸馏,将教师网络(teacher network)的知识迁移到学生网络(student network)上,使得学生网络的性能表现如教师网络一般。该系统针对目前深度学习模型部署困难的问题,利用知识蒸馏、量化、对抗学习等深度学习方法,发挥各个先进技术的合力,在限定大小和推理速度下压缩模型。采用本系统,大部分模型可以在不降低精度的情况下大幅缩减模型大小,降低部署难度,助力线上运行速度跨越式提升。
优点这么多,我骄傲了吗?!
数据智能扩充
由于小模型语义表达能力有限,我们使用数据扩充方案增加训练集样本数量,提升模型效果。
自动化蒸馏层次选择
普通的蒸馏方法仅使用模型输出概率进行蒸馏,我们模型中间输出同样进行蒸馏,且使用EMD算法自动选择层次对应,减少蒸馏过程信息损失。
智能化层次选择
根据业务场景所需的响应速度和业务难度综合调整模型层次和模型隐层单元大小。
高效可控
在保证业务精度的同时提升响应速度,模型速度平均可提升3倍左右,模型大小可缩减三分之一。