当前位置:首页 > 科研管理 > 上海市
真实世界视频智能增强技术及国产化应用
发布时间:2023-12-17
浏览量:182
由上海交通大学张娅等完成,获2022年度上海市科学技术奖-技术发明一等奖。
从视频清晰度和流畅度等方面进行研究,成功克服了真实世界视频超分辨率和插帧等技术难题,开发出一套自主生态的智能视频增强系统,支持多种视频增强应用。项目团队发明了高阶数多层次退化仿真方法,利用多种退化方式的线性和非线性叠加,指数级提升训练样本的多样性和复杂性,以提升超分辨网络的泛化性。针对超分辨内容均质化的问题,进一步引入语义分割网络对输入图像进行语义解构(如人脸、建筑、自然场景等)和局部独立编码,实现了对图像不同区域的内容自适应分辨率提升。视频在细节、层次、色彩和噪声四方面均有明显提升。针对复杂运动画面,团队发明了时序相关性动态滤波,利用像素时序相关性,缩小参数搜索空间,从而突破了基于高阶运动模型的视频插帧算法计算开销过大的难题,从而提升对剧烈运动等复杂场景的插帧质量。针对物体遮挡造成待插帧像素不确定性问题,引入深度估计分支,通过深度信息估计显式地检测物体之间的遮挡关系,并融合光流、深度图、上下文特征等多源信息,实现了等价三维空间计算的端到端优化精准插帧,显著提升了复杂动态场景视频的流畅。
下一篇:异构混合网络的内容适配化多媒体实时传输关键技术及系统