模型基图像编码

2019-04-14 20:12发布

1、模型基图像编码概述  是一种基于图像三维模型的方法,其中通信双方有一个相同的景物的三维模型,基于这个模型,在编码器中用图像分析(摄入图像和模型图像的参数差值)提取景物的参数,例如形状参数、运动参数等。景物的这些参数被编码后通过信道传输到接收端,由后者的解码器根据接收到的参数用图像合成技术来重建图像。 2、模型基图像编码可粗略分类 2.1 语义基图像编码 2.2 物体基图像编码 3、语义基图像编码 (1)概念 基于限定景物的模型基图像编码,其中景物中的物体的三维模型是严格已知的。 (2)在可视通话中的应用        在开始通信时,先把通信双方的基本特征(如三维模型、脸部的表面纹理等)传输到对方。(人物头脸部(及肩部)的三维模型的建立)        接着头部开始运动并伴随着各种不同的表情。这时在发送端需要抽取头部的运动参数和脸部的表情参数。将这些参数编码后再传输到对方。(运动参数和表情参数的估值)        在接收端用已知的三维模型和接收到的各种参数,用图像合成技术获得重建图像。 (图像合成技术) (3)关键技术分析  (3.1)人物头脸部的三维模型 人脸形状的模型和脸部表情的模型 (3.2)三维运动估计 头部的刚体运动和脸部的表情变化 处理脸部表情的非刚体运动算法:运动跟踪算法 (3.3)图像合成技术 利用纹理映射技术 4、物体基图像编码 (1)概念 对未知物体的模型基图像编码,需要实时构造物体的模型。按照景物中物体形状进行分割。对于每个分割出的物体,用三个参数(运动集A,形状集M和 {MOD}彩集S)进行描述,然后再对这三个参数集进行编码和传输。 (2)关键技术 (2.1)景物的分层次描述 将景物分割成不同的区域。例如将非刚性体(脸部表情)分解成许多刚性分量,然后描述各个分量的运动。 (2.2)运动估值 三维运动估值 (2.3)运动分割 帧间进行运动分割和帧内进行轮廓分割相结合
*红 {MOD}标注部分会在以后的文章中逐步解析