人脸 Landmark 识别框架选型,纠结中,求指点

1次阅读

共计 534 个字符,预计需要花费 2 分钟才能阅读完成。

最近的项目需要用到人脸识别 Landmark 和 face mesh,调研了市面上主流的 NN 框架:MNN, NCNN, TNN, MediaPipe;

MNN 阿里的,速度快,有个 MNNKit demo,人脸关键点 106 个,单帧处理耗时在 3-5ms;
TNN 腾讯基于 NCNN 做的速度优化版本,有个 demo,270+ 关键点,识别速度,单帧 3-5ms,缺点关键点有点抖动;
MediaPipe:谷歌开源的,有 473 点 face landmark,在 iOS 平台识别速度 10-15ms 单帧;但安卓平台同配置手机 30-50ms,CPU 占用也比 MNN 高 2-3 倍;

除了人脸识别,MediaPipe 还带了背景分割,头发分割等,缺点就是刚才说的性能可能有问题。MNN 的化只有一个人脸 106 点识别,没有其他官方 demo。TNN 有快一年没更新了,所以不准备考虑。

本人刚接触深度学习,还不清楚如何训练模型和框架基础原理。MNN 和 MediaPipe 算是两个资料比较多的框架,准备从这个两个入手, 个人倾向 MediaPipe,现成的 demo 功能比较多。

OK,问题:

  1. MediaPipe 的性能问题存在在哪里,是模型的问题还是框架的问题?
  2. MNN 和 MediaPipe 推荐哪个,如果 MNN 做 face mesh,有哪些快速可用的模型或代码?
正文完
 0