1、模型基图像编码概述
是一种基于图像三维模型的方法,其中通信双方有一个相同的景物的三维模型,基于这个模型,在编码器中用图像分析(摄入图像和模型图像的参数差值)提取景物的参数,例如形状参数、运动参数等。景物的这些参数被编码后通过信道传输到接收端,由后者的解码器根据接收到的参数用图像合成技术来重建图像。
2、模型基图像编码可粗略分类
2.1 语义基图像编码
2.2 物体基图像编码
3、语义基图像编码
(1)概念
基于限定景物的模型基图像编码,其中景物中的物体的三维模型是严格已知的。
(2)在可视通话中的应用
在开始通信时,先把通信双方的基本特征(如三维模型、脸部的表面纹理等)传输到对方。(人物头脸部(及肩部)的三维模型的建立)
接着头部开始运动并伴随着各种不同的表情。这时在发送端需要抽取头部的运动参数和脸部的表情参数。将这些参数编码后再传输到对方。(运动参数和表情参数的估值)
在接收端用已知的三维模型和接收到的各种参数,用图像合成技术获得重建图像。
(图像合成技术)
(3)关键技术分析
(3.1)人物头脸部的三维模型
人脸形状的模型和脸部表情的模型
(3.2)三维运动估计
头部的刚体运动和脸部的表情变化
处理脸部表情的非刚体运动算法:运动跟踪算法
(3.3)图像合成技术
利用纹理映射技术
4、物体基图像编码
(1)概念
对未知物体的模型基图像编码,需要实时构造物体的模型。按照景物中物体形状进行分割。对于每个分割出的物体,用三个参数(运动集A,形状集M和 {MOD}彩集S)进行描述,然后再对这三个参数集进行编码和传输。
(2)关键技术
(2.1)景物的分层次描述
将景物分割成不同的区域。例如将非刚性体(脸部表情)分解成许多刚性分量,然后描述各个分量的运动。
(2.2)运动估值
三维运动估值
(2.3)运动分割
帧间进行运动分割和帧内进行轮廓分割相结合
*红 {MOD}标注部分会在以后的文章中逐步解析