肇观电子正式发布NE-DFM-K1三目人脸识别模组，并于2021年4月20日通过最新BCTC国家金融支付增强级安全标准。
凭借着低功耗高性能的主控AI视觉芯片NE-D163A强悍的硬件平台，特别是芯片内置硬件Depth内核和AI CNN计算模块强大的运算性能、以及超高精度的几何计算能力，配合自研的Depth + 双IR + RGB质控多模态融合活检算法，该模组提供了完整的金融级前端活体检测能力，并开放充分的扩展能力供客户进行端侧AI的二次开发。
▲ 肇观电子通过BCTC检测报告
BCTC增强级活检认证
BCTC活体检测主要是对不同攻击手段进行检测，辨别出纸质/非纸质/屏幕（平面）是否是真人；不同材质的头模、头套或3D打印（立体），是否是活体；以及真人是否会被误拒。检测中心采用的攻击数量达到4万笔，在强光、弱光、逆光、阴阳光、正常光等不同光照环境下采用二维静态纸质/非纸质图像、二维静态/动态电子图像、三维面具/头模、人脸区域不完整、人脸活体等手段进行攻击。其中仿真头模全部按照真是人脸一比一制作。
需要强调的是，2月18日之后增加真人攻击测试项，被测物体的材质（真人皮肤）、特征、五官凹凸都可以轻而易举的将此前通过BCTC检测的算法攻破。
背景新闻回顾
2020年末，清华大学人工智能研究院用极其简单的攻击手法，成功破解19款手机人脸识别系统的事件刷遍朋友圈。
测试人员仅用攻击目标的照片，用优化算法生成对抗样本，然后把贴纸裁下来，贴在眼镜框上，就能够在15分钟之内破解这些手机的解锁功能。
另外，研究人员还用对抗样本攻击了几款政务和金融APP的人脸识别系统，甚至假冒机主完成了银行开户。
肇观电子送检BCTC的人脸识别模组NE-DMF-K1，FAR 误识率远低于0.1%，FRR拒识率远低于1%增强级标准。
▲ BCTC增强级检测结果概况
同时针对二维纸质/非纸质/静态/非静态，三维面具/头模，人脸区域不完整等攻击手法，错误拒绝率和正确接受率都达到了100%。
专业AI芯片NE-D163A
▲ 肇观电子AI视觉芯片NE-D163A
肇观电子的深度人脸模组搭载的是自主研发的AI 视觉芯片NE-D163A, 芯片在支持最高1.2TOPS AI卷积算力的同时，自带硬件Depth内核，能够高效提供60FPS的VGA分辨率深度图像，在人脸识别目标距离内0.3~1.2米内，提供毫米级深度精度供做活体检测判断。
NE-D163A芯片同时支持FP16和INT8两种数据格式，并能够很好支持市面所有主流推理算法，基本能力如下：
▲ 在FP16的精度下，NE-D163A跑各种网络可以达到的每秒帧数
▲ 在INT8的精度下，NE-D163A跑各种网络可以达到的每秒帧数
NE-D163A芯片在提供高效的运算能力同时，能够保障数据类型转换过程中精度水平基本保持不变，典型模型框架下从FP16量化到INT8，精度损失<1%。
NE-D163A作为一颗专业的AI主控芯片，其具有CPU，DSP，ISP，Codec，CV加速引擎，MCU，AI计算引擎和丰富的接口等在内的一系列组件，支持Linux和RTOS操作系统，是一款适合作为信号处理的核心芯片。
金融级3D人脸检测活体算法
肇观电子本次过检搭配的自研3D人脸活检算法为CVLib-FL-DRIR。该算法采用了多模态融合的活检算法，在端侧同时完成了3D Depth的深度活体检测和近红外的活体攻击防御。
具体可以用一张流程图来解释：
▲人脸识别算法流程图
第一层防攻击手段采用的是940nm近红外活检防御。由于不同材质对IR红外光反射的属性不同，IR活体考察的是被测物品的材料，因此可以有效的拦截橡胶面具、头模等低频率高成本的3D模型攻击。而940nm红外光谱NIR近红外能够保证在逆光、高光、阴阳光下的图像成像依然清晰，且基本不受自然光的光照环境影响。
第二层是将双IR摄像头采集来的视频流进行Depth成像，模仿人眼左右眼视差可将前方图像进行几何成像的原理，用于防御所有二维图像攻击，例如手机、照片这种高频率低成本的攻击手段。芯片自带硬件Depth内核，能够高效提供60FPS的VGA分辨率深度图像。在人脸识别目标距离内0.3~1.2米内，能够提供毫米级深度精度。
第三层是基于RGB的人脸质控模块，确保采集到的图分辨率大，以确保细节不丢失；整体图像清晰度高，屏蔽掉因运动引起的拖影情况；在逆光强光或者阴阳光下，或者不同姿态表情和遮挡的环境下，都能通过芯片ISP特有的人脸曝光技术确保人脸部位图像质量。同时也用来防御红外图或灰度图的特定攻击手段。
深度人脸模组NE-DMF-K1
3D人脸识别模组NE-DMF-K1采用一体化设计，包括主控模组和镜头模组。使用NE-D163A为主芯片的，配置128MB内存和32MB/64MB闪存，同时支持2路2MP红外摄像和1路2MP可见光摄像头同时接入。
▲送检BCTC的肇观电子NE-DMF-K1模组
▲NE-DMF-K1模组拆解图
该模组可应用于金融和安防市场的前端活检应用，同样技术也适配门锁等电池类产品，在保持金融级别活检和识别前提下，通过优化设计能够达到0.2秒内冷机快起和0.3秒内完成单次人体&人脸检测、活体检测、人脸辨识。
随后，将有进一步的应用产品发布信息。
- 延展阅读 -
上海肇观电子科技有限公司是一家从事人工智能计算机视觉处理芯片设计和终端应用的科创公司，总部位于上海张江科学城集成电路产业园，拥有员工逾300人，研发占比80%，大部分来自于AMD、Intel、高通、Marvell、海康威视、华为海思、中芯国际、猎豹移动等世界顶级科技公司。已获得诸多知名机构的多轮融资，累积完成融资5亿人民币，申请国内外专利两百余件，在德国和日本设有分部，并获得《高新技术企业》认证，得到各级政府高度关注。
肇观电子已成功发布刷新世界记录的视觉处理能力的N系列、D系列、V系列芯片，可广泛应用于专业安防、辅助驾驶、机器人、智慧零售等领域。
