数 字 视 频 编 解 码 技 术 国 家 工 程 实 验 室 数 字 视 频 编 解 码 技 术 国 家 工 程 实 验 室 是 国 家 发 展 改 革 委 员 会 批 准 教 育 部 领 导 依 托 北 京 大 学 建 设 的 国 家 级 研 究 开 发 基 地, 主 要 从 事 视 频 编 解 码 和 智 能 处 理 技 术 研 究, 在 科 研 标 准 化 和 工 程 化 研 究 取 得 重 要 进 展, 近 年 来 在 高 效 视 频 编 码 和 芯 片 实 现 视 频 智 能 分 析 识 别 等 关 键 技 术 领 域 取 得 了 多 项 重 大 突 破 和 科 研 成 果 国 家 工 程 实 验 室 积 极 参 加 国 内 外 标 准 化 活 动, 作 为 AVS 标 准 工 作 组 和 AVS 产 业 技 术 创 新 战 略 联 盟 的 牵 头 单 位, 在 AVS 国 家 标 准 IEEE 1857 国 际 标 准 AVS+ 行 业 标 准 MPEG CDVS 国 际 标 准 等 制 定 中 做 出 了 重 要 贡 献 国 家 工 程 实 验 室 特 别 重 视 科 研 成 果 向 工 程 技 术 的 转 化, 在 芯 片 整 机 研 制 和 产 业 化 推 广 方 面 取 得 丰 硕 成 果, 国 内 外 播 出 的 AVS 节 目 已 经 超 过 一 千 套, 全 球 AVS 芯 片 厂 商 已 经 超 过 20 家,AVS 作 为 我 国 地 面 数 字 电 视 机 和 机 顶 盒 唯 一 必 须 支 持 的 视 频 标 准 正 在 进 入 千 家 万 户 国 家 工 程 实 验 室 建 设 期 间 共 承 担 各 类 科 研 项 目 63 项, 经 费 8782.08 万 元, 荣 获 国 家 科 学 技 术 进 步 奖 2 项, 省 部 级 奖 励 3 项, 发 表 论 文 488 篇 ( 其 中 重 要 国 际 期 刊 论 文 120 篇 ), 申 请 国 家 发 明 专 利 64 项 ( 获 得 授 权 21 项 ) 当 选 中 国 工 程 院 院 士 1 人, 杰 青 2 人, 优 青 3 人, 培 养 博 士 60 多 人 硕 士 70 多 人 主 页 地 址 :www.idm.pku.edu.cn 电 话 :010-62758116
国 家 发 改 委 2009 年 批 复 的 建 设 目 标 和 任 务 围 绕 数 字 音 视 频 广 播 多 媒 体 通 信 视 听 类 消 费 电 子 等 产 业 的 发 展 需 求, 突 破 数 字 视 频 编 解 码 核 心 算 法 和 产 业 化 关 键 技 术 ; 建 立 信 源 编 解 码 技 术 标 准 体 系 并 配 合 新 一 代 标 准 研 制 编 解 码 核 心 软 件 芯 片 IP 核 和 原 型 产 品, 为 相 关 企 业 开 发 视 频 芯 片 和 软 件 系 统 提 供 核 心 模 块 未 来 三 年, 应 在 新 一 代 编 码 算 法 方 面 申 报 专 利 50 项 以 上, 参 与 2 款 以 上 系 统 级 芯 片 (SoC) 设 计, 参 与 制 订 信 息 技 术 先 进 音 视 频 编 码 国 家 标 准, 并 提 供 相 关 集 成 测 试 支 持 经 过 三 年 的 建 设, 数 字 视 频 编 解 码 技 术 国 家 工 程 实 验 室 设 定 的 近 期 目 标 已 经 胜 利 达 成 下 一 步, 将 在 数 字 视 频 技 术 领 域 继 续 开 展 战 略 性 前 瞻 性 技 术 研 发, 牵 头 制 定 视 频 技 术 标 准, 促 进 重 大 科 技 成 果 应 用, 构 建 长 效 的 产 学 研 合 作 机 制, 提 高 我 国 数 字 视 频 产 业 自 主 创 新 能 力 和 核 心 竞 争 力 国 家 工 程 实 验 室 未 来 发 展 目 标 到 2015 年, 制 定 完 成 国 际 接 轨 的 第 三 代 视 频 编 码 标 准, 编 码 效 率 比 第 二 代 标 准 提 高 50% 以 上 ; 提 出 的 核 心 算 法 和 关 键 技 术 在 国 际 标 准 中 所 占 比 例 进 入 前 五 名 ( 按 专 利 数 量 统 计 ); 研 究 制 定 出 系 统 化 的 新 媒 体 标 准, 支 撑 我 国 新 媒 体 产 业 发 展 ; 工 程 实 验 室 研 究 开 发 和 试 验 平 台 达 到 国 际 先 进 水 平, 成 为 我 国 相 关 企 业 研 究 开 发 和 试 验 的 基 地, 成 为 视 频 编 解 码 领 域 国 际 知 名 研 究 开 发 机 构 到 2018 年, 成 为 视 频 编 解 码 领 域 国 际 著 名 研 究 开 发 机 构, 成 为 支 撑 我 国 数 字 视 频 产 业 健 康 发 展 的 技 术 源 头 实 验 中 心 和 人 才 基 地 ; 通 过 建 立 较 全 面 的 核 心 技 术 和 完 善 的 自 主 标 准 体 系, 从 根 本 上 解 决 产 业 的 核 心 技 术 空 心 化 问 题, 成 为 引 领 数 字 视 频 技 术 和 国 际 标 准 发 展 的 国 际 著 名 研 究 开 发 机 构 ; 在 产 学 研 结 合 方 面 成 为 支 撑 产 业 健 康 发 展 的 核 心 试 验 支 撑 平 台 和 充 满 活 力 的 开 放 式 研 究 开 发 环 境
数 字 视 频 编 解 码 技 术 国 家 工 程 实 验 室 理 事 会 ( 理 事 按 姓 氏 拼 音 排 序 ) 王 恩 哥 理 事 长 北 京 大 学 校 长 李 晓 明 副 理 事 长 北 京 大 学 校 长 助 理 李 国 杰 院 士 中 科 院 计 算 所 首 席 科 学 家 何 新 贵 院 士 北 京 大 学 信 科 学 院 学 术 委 员 会 主 任 高 文 院 士 国 家 工 程 实 验 室 主 任 梅 宏 院 士 北 京 大 学 信 息 科 学 技 术 学 院 院 长 邹 峰 国 家 广 播 电 影 电 视 总 局 广 播 科 学 研 究 院 院 长 史 守 旭 北 京 大 学 校 长 助 理 舒 骏 华 为 技 术 有 限 公 司 副 总 裁 研 究 部 部 长
数字视频编解码技术国家工程实验室技术委员会 (委员按姓氏拼音排序) 邬贺铨 院士 (副主任) 何新贵 院士 (主任) 陈俊亮 院士 北京邮电大学 北京大学 计算机视觉 陈熙霖 研究员 中科院计算技术研究所 高文 院士 北京大学 中科院计算技术研究所 邹峰 高级工程师 梅宏 院士 北京大学 中科院计算技术研究所 李幼平 院士 中国工程物理研究院 肖建国 教授 北京大学 查红彬 教授 (副主任) 中国工程院 通信技术 北京大学 计算机软件 国家广电总局广科院 张爱东 研究员 华为技术有限公司 李国杰 院士 倪光南 院士 张钹 院士 清华大学 李晓明 教授 北京大学 汪成为 院士 总装备部科技委 赵沁平 教授 北京航空航天大学
高 文 中 国 工 程 院 院 士 数 字 视 频 编 解 码 技 术 国 家 工 程 实 验 室 主 任 1956 年 出 生, 现 任 北 京 大 学 教 授 博 导, 国 家 自 然 科 学 基 金 委 副 主 任, 第 十 届 十 一 届 十 二 届 全 国 政 协 委 员 1988 年 获 哈 尔 滨 工 业 大 学 计 算 机 应 用 博 士 学 位,1991 年 获 日 本 东 京 大 学 电 子 学 博 士 学 位 曾 在 美 国 CMU 机 器 人 研 究 所 MIT 人 工 智 能 实 验 室 等 做 过 访 问 科 学 家 1992 年 入 选 进 入 国 家 863 智 能 计 算 机 主 题 专 家 组, 担 任 智 能 计 算 机 接 口 领 域 的 责 任 专 家,1996 年 至 2000 年 任 专 家 组 组 长 1998 年 至 1999 年 担 任 中 科 院 计 算 所 所 长,2000 年 至 2004 年 担 任 中 科 院 研 究 生 院 常 务 副 院 长, 其 间 2000 年 至 2003 年 兼 任 中 国 科 技 大 学 副 校 长 曾 任 国 务 院 学 科 评 议 组 计 算 机 学 科 成 员 计 算 机 学 报 主 编 以 及 IEEE T-MM IEEE T-CSVT 等 国 际 顶 级 期 刊 编 委,ISO/IEC/JTC1/ SC29/MPEG 国 际 标 准 化 委 员 会 中 国 代 表 团 团 长 现 兼 任 中 国 计 算 机 学 会 常 务 理 事 IEEE 视 频 信 号 处 理 和 通 信 技 术 委 员 会 (VSPC) 委 员 IEEE 多 媒 体 系 统 与 应 用 技 术 委 员 会 (MSA) 委 员 国 家 信 标 委 多 媒 体 分 委 员 会 主 任 委 员 数 字 音 视 频 编 解 码 技 术 标 准 (AVS) 工 作 组 组 长 是 IEEE ICME 2007 (IEEE 多 媒 体 领 域 旗 舰 会 议 ) ACM MM 2009(ACM 多 媒 体 领 域 旗 舰 会 议 ) IEEE ISCAS 2013(IEEE 电 路 与 系 统 协 会 旗 舰 会 议 ) 大 会 主 席 研 究 领 域 为 计 算 机 视 觉 多 媒 体 数 据 压 缩 多 模 式 接 口 等 近 几 年 主 要 研 究 兴 趣 包 括 视 频 编 码 与 分 析 手 语 识 别 与 合 成 人 脸 识 别 数 字 图 书 馆 等 主 持 973( 首 席 ) 863 国 家 自 然 科 学 基 金 等 国 家 级 项 目 二 十 余 项 已 出 版 著 作 5 部, 在 IEEE T-CSVT IEEE T-MM 等 国 际 期 刊 上 发 表 论 文 百 余 篇 作 为 第 一 完 成 人, 他 在 视 频 编 码 与 系 统, 以 及 人 脸 与 手 语 识 别 等 方 面 的 研 究 成 果 曾 五 次 获 得 国 家 科 技 进 步 二 等 奖, 一 次 获 国 家 技 术 发 明 二 等 奖 2008 年 他 因 在 视 频 编 码 方 面 的 技 术 贡 献, 被 评 为 IEEE Fellow 2010 年 因 音 视 频 编 解 码 理 论 标 准 及 应 用 的 突 出 成 就 被 授 予 中 国 计 算 机 学 会 王 选 奖
SoC 组 织 机 构 国 家 工 程 实 验 室 设 置 理 事 会 和 技 术 委 员 会, 实 行 理 事 会 领 导 下 的 主 任 负 责 制 工 程 实 验 室 内 部 设 技 术 研 究 部 支 撑 平 台 部 和 综 合 服 务 部 理 事 会 是 实 验 室 的 宏 观 决 策 机 构, 负 责 确 定 实 验 室 发 展 目 标 和 重 要 研 究 领 域 审 议 和 批 准 财 务 预 决 算, 聘 任 实 验 室 主 任 技 术 委 员 会 是 实 验 室 的 技 术 领 导 机 构, 主 要 职 能 是 受 理 事 会 委 托, 为 学 术 研 究 方 向 发 展 目 标 成 果 转 化 等 提 供 咨 询 建 议 和 评 议 工 程 实 验 室 设 主 任 一 名, 副 主 任 三 名 工 程 实 验 室 由 技 术 研 究 部 ( 下 设 五 个 研 究 室 ) 支 撑 平 台 部 ( 下 设 四 个 平 台 ) 和 综 合 服 务 部 ( 下 设 企 业 测 试 验 证 服 务 中 心 综 合 办 公 室 标 准 推 进 与 人 才 培 养 办 公 室 专 利 池 合 作 办 公 室 和 产 业 联 盟 合 作 办 公 室 ) 组 成 实 验 室 主 管 部 门 实 验 室 理 事 会 会 实 验 室 主 任 副 主 任 实 验 室 技 术 委 员 会 技 术 研 究 部 支 撑 平 台 部 综 合 服 务 部 视 频 编 码 算 法 研 究 室 编 解 码 系 统 研 究 室 新 媒 体 应 用 研 究 室 多 媒 体 研 究 室 测 试 技 术 研 究 室 重 大 应 用 与 系 统 集 成 示 范 平 台 高 性 能 编 码 器 与 核 心 产 品 开 发 平 台 数 字 内 容 制 作 与 测 试 评 估 平 台 多 媒 体 通 信 技 术 试 验 验 证 平 台 企 业 测 试 验 证 服 务 中 心 综 合 办 公 室 标 准 推 进 与 人 才 培 养 办 公 室 专 利 池 合 作 办 公 室 产 业 联 盟 合 作 办 公 室
2009 年 -2012 年 承 担 各 级 各 类 课 题 63 项 (1-31 项 ) 编 号 项 目 名 称 项 目 类 型 1 基 于 视 觉 模 型 的 高 效 视 频 编 码 理 论 973 计 划 课 题 2 多 维 度 可 伸 缩 视 频 编 码 方 法 973 计 划 课 题 3 面 向 智 能 监 控 的 视 频 编 码 方 法 973 计 划 课 题 4 基 于 视 觉 特 性 的 视 频 编 码 理 论 与 方 法 研 究 973 计 划 子 课 题 5 视 觉 运 动 分 析 理 论 与 方 法 985 工 程 6 高 效 视 频 编 码 算 法 研 究 横 向 项 目 7 下 一 代 视 频 编 码 标 准 编 码 技 术 研 究 横 向 项 目 8 微 软 Internet Services Theme Program 基 金 横 向 项 目 9 模 式 识 别 国 家 重 点 实 验 室 开 放 课 题 基 金 模 式 识 别 国 家 重 点 实 验 室 10 视 频 中 的 运 动 基 元 及 其 流 形 的 学 习 国 家 自 然 科 学 基 金 ( 面 上 ) 11 基 于 超 分 辨 率 技 术 的 视 频 重 构 与 编 码 研 究 国 家 自 然 科 学 基 金 ( 青 年 基 金 ) 12 基 于 深 度 信 息 的 三 维 视 频 编 码 技 术 研 究 国 家 自 然 科 学 基 金 ( 青 年 基 金 ) 13 选 择 性 注 意 驱 动 的 图 像 语 义 理 解 方 法 与 计 算 模 型 研 究 国 家 自 然 科 学 基 金 重 大 研 究 计 划 ( 面 上 ) 14 基 于 视 觉 特 性 的 高 效 视 频 编 码 研 究 国 家 自 然 科 学 基 金 ( 重 点 ) 15 面 向 自 由 立 体 显 示 的 立 体 视 频 技 术 研 究 北 航 国 家 重 点 实 验 室 开 放 课 题 16 基 于 计 算 和 存 储 感 知 的 运 动 估 计 算 法 与 结 构 研 究 国 家 自 然 科 学 基 金 ( 青 年 基 金 ) 17 基 于 自 主 专 利 技 术 的 超 高 清 晰 度 视 频 编 码 系 列 国 家 标 准 及 国 际 标 准 研 制 公 益 性 行 业 科 研 专 项 经 费 项 目 18 国 家 重 点 实 验 室 管 理 机 制 研 究 国 家 软 科 学 研 究 计 划 19 走 进 清 明 上 河 图 沉 浸 式 多 媒 体 音 画 展 示 系 统 横 向 项 目 20 高 清 XXX 芯 片 关 键 技 术 863 计 划 课 题 21 面 向 用 户 的 视 频 自 动 标 注 关 键 技 术 研 究 国 家 自 然 科 学 基 金 ( 青 年 基 金 ) 22 基 于 学 习 的 视 频 关 注 计 算 及 其 在 互 动 视 频 技 术 中 的 应 用 国 家 自 然 科 学 基 金 ( 面 上 ) 23 支 持 残 障 人 士 进 行 环 境 控 制 的 脑 机 接 口 国 际 科 技 交 流 与 合 作 专 项 24 地 面 电 视 双 国 标 示 范 工 程 电 子 信 息 产 业 发 展 基 金 项 目 25 海 量 多 媒 体 信 息 的 知 识 组 织 与 导 航 教 育 部 数 字 图 书 馆 项 目 26 视 频 内 容 分 析 与 智 能 流 媒 体 服 务 教 育 部 数 字 图 书 馆 项 目 27 海 量 图 像 和 视 频 的 自 动 语 义 标 注 与 检 索 教 育 部 数 字 图 书 馆 项 目 28 选 择 性 注 意 的 神 经 机 制, 计 算 模 型 及 其 与 驾 驶 行 为 的 关 系 国 家 自 然 科 学 基 金 ( 培 育 ) 29 服 装 图 像 情 感 语 义 理 解 研 究 北 京 市 自 然 科 学 基 金 30 电 信 数 据 挖 掘 关 键 技 术 研 究 横 项 项 目 31 超 高 清 视 频 产 业 关 键 技 术 研 究 及 产 业 化 广 东 省 产 学 研 项 目
2009 年 -2012 年 承 担 各 级 各 类 课 题 63 项 (32-63 项 ) 编 号 项 目 名 称 项 目 类 型 32 新 型 移 动 多 媒 体 音 视 频 编 解 码 关 键 技 术 研 发 科 技 重 大 专 项 33 高 清 XXX 芯 片 关 键 技 术 863 计 划 课 题 34 AVS 立 体 电 视 研 发 实 验 平 台 及 关 键 技 术 产 业 化 广 州 市 科 技 和 信 息 化 局 / 广 州 市 财 政 局 项 目 35 音 乐 数 字 化 版 权 保 护 技 术 与 标 准 研 究 科 技 支 撑 计 划 36 面 向 超 高 清 视 频 的 编 码 理 论 与 算 法 研 究 北 京 市 自 然 科 学 基 金 37 中 国 传 统 绘 画 的 沉 浸 式 富 媒 体 展 示 算 法 研 究 国 家 自 然 科 学 基 金 ( 青 年 基 金 ) 38 高 分 辨 率 视 频 编 码 算 法 研 究 国 家 自 然 科 学 基 金 ( 面 上 ) 39 基 于 多 摄 像 头 协 同 的 运 动 对 象 检 测 跟 踪 和 异 常 行 为 分 析 国 家 自 然 科 学 基 金 ( 重 点 ) 40 下 一 代 视 频 编 码 标 准 编 码 技 术 研 究 横 向 项 目 41 监 控 视 频 事 件 检 测 技 术 研 究 横 向 项 目 42 AVS-CODESTORAGE/COURT 视 频 转 码 压 缩 系 统 横 向 项 目 43 中 关 村 开 放 实 验 室 中 关 村 管 委 会 项 目 44 百 度 - 北 大 数 字 媒 体 研 究 所 横 向 项 目 45 百 度 - 北 大 数 字 媒 体 研 究 所 联 合 实 验 室 横 向 项 目 46 百 度 - 北 大 数 字 媒 体 研 究 所 联 合 实 验 室 横 向 项 目 47 高 清 晰 度 视 频 XX 芯 片 关 键 技 术 863 计 划 课 题 48 高 效 视 频 编 解 码 技 术 研 究 横 向 项 目 49 3D 电 视 系 统 及 集 成 播 出 平 台 关 键 技 术 研 究 科 技 支 撑 计 划 50 数 字 版 权 保 护 创 新 应 用 技 术 研 发 -- 面 向 数 字 版 权 管 理 的 媒 体 指 纹 技 术 研 究 新 闻 出 版 重 大 科 技 工 程 项 目 51 高 逼 真 度 视 听 系 统 的 理 论 与 方 法 国 家 自 然 科 学 基 金 ( 创 新 群 体 ) 52 基 于 部 件 的 物 体 形 状 建 模 和 形 状 部 件 重 要 性 的 研 究 国 家 自 然 科 学 基 金 ( 青 年 基 金 ) 53 面 向 智 能 监 控 的 高 效 视 频 分 析 和 编 码 方 法 及 芯 片 可 实 现 性 研 究 国 家 自 然 科 学 基 金 ( 面 上 ) 54 AVS 高 清 编 码 器 横 向 55 基 于 码 本 学 习 和 图 片 几 何 编 码 的 海 量 网 络 视 觉 匹 配 研 究 国 家 自 然 科 学 基 金 ( 海 外 ) 56 面 向 立 体 电 视 的 3D 内 容 生 产 和 服 务 系 统 863 计 划 课 题 57 高 端 视 频 编 码 与 网 络 适 配 技 术 研 究 863 计 划 子 课 题 58 2011 年 国 际 多 媒 体 信 号 处 理 会 议 国 家 自 然 科 学 基 金 ( 国 际 会 议 ) 59 复 杂 城 市 交 通 环 境 中 视 觉 显 著 性 目 标 检 测 与 分 析 国 家 自 然 科 学 基 金 子 课 题 ( 重 大 培 育 ) 60 融 合 时 空 域 下 采 样 的 超 高 清 晰 度 视 频 编 码 技 术 研 究 国 家 自 然 科 学 基 金 ( 青 年 基 金 ) 61 基 于 AVS 标 准 的 3D 电 视 关 键 设 备 研 发 与 应 用 (AVS+ 标 准 制 定 与 测 试 验 证 ) 电 子 信 息 产 业 发 展 基 金 项 目 62 AVS 3D 云 媒 体 终 端 软 件 平 台 研 发 及 产 业 化 广 州 市 科 技 和 信 息 化 局 广 州 市 财 政 局 63 基 于 AVS 的 3D 电 视 实 时 编 解 码 系 统 研 制 与 应 用 示 范 国 家 科 技 支 撑 计 划
获 得 国 家 及 省 部 级 科 技 成 果 奖 共 5 项 获 奖 项 目 名 称 奖 项 名 称 获 奖 等 级 获 奖 时 间 1 大 规 模 数 字 图 书 与 视 频 资 源 库 建 设 和 智 能 服 务 系 统 高 等 学 校 科 学 研 究 优 秀 成 果 奖 ( 科 学 技 术 ) 一 等 2009 2 3 4 5 数 字 音 视 频 编 码 技 术 研 究 与 国 家 标 准 制 定 数 字 视 频 编 解 码 国 家 标 准 制 定 及 应 用 百 万 册 数 字 图 书 馆 的 多 媒 体 技 术 和 智 能 服 务 系 统 数 字 视 频 编 解 码 技 术 国 家 标 准 AVS 与 产 业 化 应 用 2009 年 度 中 国 高 等 学 校 十 大 科 技 进 展 中 国 电 子 学 会 电 子 信 息 科 学 技 术 奖 不 设 等 级 2009 一 等 2010 国 家 科 学 技 术 进 步 奖 二 等 2010 国 家 科 学 技 术 进 步 奖 二 等 2012 发 表 学 术 论 文 共 488 篇 国 际 期 刊 国 际 会 议 国 内 期 刊 国 内 会 议 合 计 ( 篇 ) 合 计 115 356 14 3 488 2012 42 99 2 1 144 2011 22 86 2 1 111 2010 31 108 7 1 147 2009 20 63 3 0 86 授 权 专 利 共 21 项 2010 2011 2012 合 计 授 权 专 利 3 2 16 21
人才培养 2011年国家工程实验室主任高文教授被评为中国工程院院士 2010年实验室副主 任陈熙霖研究员和实验室骨干黄庆明教授获得国家自然科学基金委杰出青年基金资助 实验室副主任黄铁军2010年入选教育部 新世纪优秀人才支持计划 实验室引进百 人计划研究员2人 王亦洲研究员 熊瑞勤研究员 2012年团队被评为国家自然科学 基金创新群体 2009至2012期间培养博士后9人 在站4人 出站5人 培养博士生60人 其中在 读37人 毕业23人 培养硕士生75名 其中在读45人 毕业30人 指导本科生做毕业 设计约50人 进入国家工程实验室读研究生的十个理由 高水平导师团队 学术带头人高文院士 IEEE Fellow 国家自然科学基金委副主任 视频技术领域唯一的国家工程实验室 牵头制定AVS国家标准和IEEE国际标准 研究成果具有重要国际影响 每年发表重要国际期刊论文和重要国际会议论文上百 篇 中国大陆首篇信息领域影响因子最高的论文 ACM Computing Survey 高水平科研项目 国家自然科学基金 973 863等国家级课题 广泛的国际合作关系 美国CMU Stanford UCLA UIUC等著名高校 瑞士 EPFL 英国Queen Mary 日本东京大学 香港科技大学 新加坡南洋理工大学等 产业合作 百度 华为 腾讯 海信 中国华录 中国安防等联合实验室和华为 腾讯 Broadcom 联发科技等项目资助 多元化的就业去向 知名高校 北大 清华 中科院 国外高校 南加大 普林 斯顿 著名企业 微软 IBM 高通 百度 腾讯 新浪 华为 中兴 海信 国内国际打通 海外合作导师 硕士毕业后 --田奇 陈长汶等 北大-新加坡南洋 理工双博士学位 良好的学术氛围 师生关系融洽 良好互动 较高的科研补助和相关待遇 解决你的后顾之忧
视 频 编 码 算 法 研 究 室 视 频 编 码 算 法 研 究 室 是 数 字 视 频 编 解 码 技 术 国 家 工 程 实 验 室 中 面 向 视 频 压 缩, 传 输 与 处 理 的 核 心 算 法 研 究 部 门 本 研 究 室 针 对 高 清 数 字 电 视 广 播 宽 带 移 动 多 媒 体 业 务 智 能 监 控 视 频 数 字 电 影 立 体 电 视 等 重 大 产 业 应 用 对 高 效 视 频 编 码 理 论 与 技 术 展 开 研 究, 主 要 研 究 内 容 包 括 面 向 高 清 超 高 清 的 高 效 视 频 编 码 ; 面 向 立 体 电 视 应 用 的 立 体 视 频 多 视 点 编 码 ; 面 向 移 动 多 媒 体 通 信 的 分 布 式 编 码 ; 基 于 视 觉 特 性 的 高 效 视 频 编 码 方 法 及 理 论 研 究 ; 面 向 无 线 通 信 的 视 频 传 输 技 术 ; 高 效 的 视 频 质 量 增 强 技 术 ; 本 研 究 室 的 主 要 任 务 是 瞄 准 数 字 视 频 编 码 发 展 的 前 沿 和 走 向, 紧 密 结 合 产 业 应 用 需 求, 探 索 高 效 的 视 频 编 码 方 法 与 技 术, 通 过 技 术 创 新 推 动 产 业 不 断 向 前 发 展, 为 视 频 编 解 码 系 统 的 研 发 和 标 准 的 应 用 推 广 提 供 强 有 力 的 技 术 支 持 通 过 对 上 述 几 个 方 面 的 研 究, 研 究 室 将 力 求 在 视 频 编 码 的 理 论 上 有 创 新, 在 技 术 上 有 突 破, 并 为 我 国 的 信 息 产 业 提 供 高 效 视 频 编 码 与 系 统 技 术 解 决 方 案, 同 时 力 争 相 关 研 究 成 果 进 入 国 家 标 准 国 际 标 准 体 系 通 过 上 述 研 究 工 作, 研 究 室 将 进 一 步 坚 实 在 视 频 编 码 理 论 方 面 的 研 究 积 累, 为 我 国 的 信 息 产 业 实 现 跨 越 式 发 展 提 供 技 术 支 撑, 同 时 为 我 国 信 息 产 业 持 续 发 展 提 供 人 才 储 备 主 要 奖 励 2009 年, 中 国 高 等 学 校 十 大 科 技 进 展 数 字 音 视 频 编 码 技 术 研 究 与 国 家 标 准 制 定 2010 年, 中 国 电 子 学 会 电 子 信 息 科 学 技 术 一 等 奖 数 字 视 频 编 解 码 国 家 标 准 制 定 及 应 用 2012 年, 国 家 科 学 技 术 进 步 二 等 奖 数 字 视 频 编 解 码 技 术 国 家 标 准 AVS 与 产 业 化 应 用
编 解 码 系 统 技 术 研 究 室 编 解 码 系 统 技 术 研 究 室 面 向 应 用 环 境 和 需 求 的 变 化, 研 究 从 视 频 压 缩 基 本 流 到 用 户 接 收 环 节 中 的 系 统 层 面 技 术 和 编 解 码 标 准 到 应 用 的 实 现 技 术, 起 到 标 准 与 应 用 的 桥 梁 作 用 在 系 统 层 技 术 方 面, 主 要 针 对 综 合 场 景 的 存 储 传 输 格 式 和 对 立 体 电 视 (3DTV) 的 系 统 层 支 持, 以 及 数 字 版 权 管 理 技 术 方 面 开 展 了 研 究 牵 头 制 定 了 AVS 综 合 场 景 标 准 ( 草 案 ) 在 实 现 技 术 方 面, 面 向 高 清 立 体 电 视 网 络 电 视 和 视 频 监 控 等 应 用, 重 点 研 究 了 AVS 标 准 产 业 化 所 面 临 的 编 码 品 质 的 专 业 化 系 统 性 能 的 高 效 化 和 用 户 需 求 的 个 性 化 等 关 键 技 术 针 对 视 频 监 控 领 域 的 应 用, 提 出 了 背 景 模 型 增 强 的 高 效 编 码 框 架, 显 著 提 高 了 静 态 摄 像 机 拍 摄 的 监 控 视 频 的 压 缩 效 率, 并 为 更 高 层 的 智 能 处 理 提 供 场 景 信 息 针 对 高 清 电 视 领 域 的 应 用, 提 出 和 实 现 了 基 于 多 级 流 水 的 并 行 编 码 快 速 模 式 决 策 基 于 窗 口 的 码 率 控 制 等 算 法 以 上 技 术 都 已 应 用 到 AVS 高 清 编 转 码 器 产 品 中 同 时 研 究 室 还 引 领 和 参 与 了 视 频 国 家 标 准 的 制 定 工 作, 在 AVS 标 准 中 的 综 合 场 景 描 述 立 体 视 频 系 统 层 描 述 监 控 视 频 编 码 等 方 面 发 挥 了 重 要 作 用 未 来 研 究 室 将 继 续 面 向 应 用 需 求, 以 视 频 编 解 码 系 统 层 和 系 统 实 现 中 的 关 键 技 术 研 究 为 核 心, 通 过 设 备 原 型 与 验 证 系 统 的 研 发, 推 动 从 标 准 到 产 业 化 的 跨 越, 同 时 成 为 相 关 国 际 和 国 家 标 准 的 主 要 推 动 者 和 贡 献 者 主 要 研 究 成 果 AVS 多 路 标 清 实 时 编 转 码 系 统 AVS 高 清 立 体 实 时 编 码 系 统 AVS 地 面 数 字 电 视 广 播 系 统 基 于 AVS 的 3DTV 播 出 演 示 验 证 系 统 AVS 视 频 通 信 系 统
新媒体技术研究室 本研究室瞄准数字视频发展的走向和前沿 以智能视频分析 检索与编码研究为 主线 从理论 技术与应用层次对以下课题展开深入研究 视觉感知与认知机理的计算 理论与模型 新媒体数据的分析 理解 检索和编码技术 新媒体数据的合成与编码 技术 新媒体数字艺术研究等 基于上述研究 研究室将领导视听新媒体的国家标准制 定 同时成为相关国际标准的主要推动者和贡献者 本研究室的主要任务包括 开展面向新视听媒体分析与编解码核心算法与技术的 研究 为我国的新视听媒体产业的进一步发展打下坚实的基础 领导新视听媒体编解码 国家标准制定并积极介入国际标准制定 成为相关国际标准的主要贡献者之一与本领域 核心专利的产出中心 为本产业提供技术研发 验证和检验的平台 最终将对我国的新 兴视听媒体产业与国民经济的发展产生深远的影响 建立本领域人才培养基地 为我国 新视听媒体产业不断提供熟练掌握技术 标准 工程的复合型且具有国际眼光的人才 Canonical MKL Increase the num of groups Test sample Test sample x m M 1 m m 1 Training Samples x i Sample-specific MKL Group-sensitive MKL Decrease the num of groups i 1,..., N M 2 m m 1 Training x c ( x = 1 Samples i x i i M G m m 1 c ( x i = 2 x i Test sample x x M m 1 m ( x1 ) M m 1 m ( x 2 ) N M i 1 m 1 f ( x ) i yi m K m ( xi, x ) b N M i 1 m 1 f ( x ) i yi m c ( xi ) m ( x N ) M m 1 c ( x i = G x1 M m 1 x2 xn m c(x) K m ( xi, x ) b N M i 1 m 1 f ( x ) i y i m ( x i ) m ( x )K m ( x i, x ) b
多 媒 体 处 理 SoC 研 究 室 多 媒 体 处 理 SoC 研 究 室 是 数 字 视 频 编 解 码 技 术 国 家 工 程 实 验 室 中 面 向 多 媒 体 算 法 的 高 性 能 SoC 芯 片 结 构 的 研 究 部 门 本 研 究 室 主 要 致 力 于 音 视 频 编 解 码 和 图 形 图 像 处 理 等 多 媒 体 算 法 及 其 结 构 创 新, 促 进 音 视 频 编 解 码 器 和 图 形 图 像 等 多 媒 体 处 理 芯 片 产 业 化 面 向 AVS 下 一 代 标 准 和 国 际 下 一 代 标 准, 研 究 编 码 算 法 的 硬 件 实 现 结 构, 针 对 算 法 硬 件 实 现 指 标 的 确 认 和 技 术 评 估, 进 行 新 标 准 硬 件 原 型 验 证 联 合 算 法 提 出 单 位 通 过 合 作 及 交 叉 验 证 的 方 式, 制 定 技 术 先 进 而 适 合 芯 片 制 造 的 编 码 算 法 ; 突 破 目 前 先 有 算 法 再 有 结 构 的 研 究 开 发 模 式, 面 向 不 同 产 业 应 用, 同 步 提 出 针 对 新 算 法 的 结 构, 成 为 多 媒 体 处 理 SoC 领 域 核 心 结 构 研 究 成 果 产 出 中 心 主 要 研 究 内 容 包 括 : 多 媒 体 SoC 算 法 结 构 及 实 现 : 采 用 算 法 和 结 构 联 合 优 化 的 方 式 进 行 音 视 频 编 解 码 和 图 形 图 像 等 多 媒 体 处 理 算 法 的 芯 片 实 现 可 编 程 / 重 构 多 媒 体 处 理 器 研 究 : 面 向 多 媒 体 系 统 的 不 同 应 用 需 求, 可 编 程 / 重 构 多 媒 体 处 理 器 在 提 供 灵 活 性 的 同 时 又 提 供 较 高 的 处 理 性 能 音 视 频 编 解 码 器 和 图 形 图 像 处 理 IP 核 研 制 : 配 合 新 一 代 标 准 的 制 定, 研 制 音 视 频 编 码 解 码 核 心 IP 核 和 原 型 产 品, 验 证 新 标 准 芯 片 实 现 的 可 行 性, 为 音 视 频 企 业 开 发 音 视 频 芯 片 提 供 核 心 算 法 的 硬 件 结 构 和 IP 核, 支 撑 标 准 的 产 业 化 发 展 SoC 研 究 开 发 支 撑 平 台 : 研 究 并 提 出 多 媒 体 处 理 SoC 设 计 流 程 及 其 方 法 学, 搭 建 SoC 研 究 开 发 支 撑 平 台, 提 供 开 放 环 境 加 快 芯 片 产 品 化 进 程, 通 过 重 大 SoC 验 证 和 示 范 工 程, 缩 短 自 主 多 媒 体 芯 片 产 品 研 发 周 期, 支 持 我 多 媒 体 处 理 企 业 开 发 芯 片 产 品 主 要 成 果 全 球 首 颗 AVS 高 清 视 频 编 码 SoC 芯 片 高 性 能 EPGen 芯 片 AVS+ 高 清 视 频 编 码 SoC 芯 片 研 制
测 试 技 术 研 究 室 视 频 编 解 码 器 的 测 试 与 评 测 是 编 解 码 系 统 研 究 中 的 一 个 重 要 环 节, 是 实 现 视 频 编 码 标 准 化 和 视 频 标 准 应 用 的 关 键 技 术 根 据 数 字 视 频 技 术 发 展 和 产 业 应 用 的 需 求, 本 研 究 室 主 要 从 以 下 几 个 研 究 方 向 取 得 突 破 : 支 持 高 清 设 备 的 AVS 测 试 码 流 生 成 技 术 支 持 下 一 代 编 码 标 准 的 测 试 码 流 生 成 技 术, 支 持 高 清 设 备 的 AVS 码 流 分 析 技 术 支 持 下 一 代 编 码 标 准 的 码 流 分 析 技 术 支 持 AVS 高 清 设 备 的 实 时 监 控 技 术 视 频 主 观 质 量 评 测 技 术 支 持 主 观 质 量 的 编 码 器 评 测 技 术 等 上 述 关 键 技 术 的 研 究 将 有 效 推 动 AVS 及 新 一 代 视 频 标 准 的 制 定 测 试 和 系 统 应 用 测 试 码 流 测 试 方 法 测 试 设 备 与 此 同 时, 研 究 室 将 积 极 参 与 和 协 助 数 字 视 频 处 理 与 测 试 评 估 平 台 的 建 设, 通 过 AVS 标 准 测 试 码 流 的 生 成, 测 试 和 监 控 设 备 的 研 制, 以 及 相 关 视 频 主 客 观 质 量 的 评 测, 将 相 关 技 术 成 果 融 入 数 字 视 频 处 理 与 测 试 评 估 平 台 之 中, 弥 补 AVS 标 准 产 业 化 进 程 中 测 试 测 量 设 备 和 环 境 的 不 足, 保 证 AVS 视 频 编 码 标 准 的 制 定 实 现 和 相 关 成 果 转 化 的 顺 利 实 施 研 究 室 的 中 长 期 目 标 是 : 站 在 国 际 和 国 内 数 字 视 频 编 码 标 准 研 发 的 技 术 前 沿, 为 下 一 代 数 字 视 频 产 业 的 发 展 提 供 权 威 性 的 一 致 性 测 试 码 流, 功 能 完 备 的 测 试 测 量 设 备, 以 及 系 统 完 善 的 视 频 质 量 评 测, 成 为 本 领 域 重 要 的 技 术 源 头
数 字 视 频 重 大 应 用 示 范 与 系 统 集 成 平 台 北 京 大 学 和 国 家 广 播 科 学 研 究 院 合 作, 针 对 广 播 电 视 行 业 的 应 用 需 求, 设 计 建 立 了 重 大 应 用 示 范 和 系 统 集 成 平 台 该 平 台 实 际 上 是 一 个 精 简 的 电 视 播 出 系 统, 可 用 来 测 试 验 证 各 种 标 准 的 编 解 码 设 备 数 字 视 频 重 大 应 用 示 范 与 系 统 集 成 平 台 平 台 主 要 包 括 节 目 源 3D 视 频 预 处 理 3DTV 编 码 HDTV 编 码 SDTV 编 码 业 务 信 息 复 用 3D 电 视 接 收 解 码 终 端 HDTV 接 收 解 码 终 端 等 其 中,3DTV 编 码 HDTV 编 码 SDTV 编 码 采 用 AVS+ 标 准,3DTV 编 码 为 左 右 拼 接 3D 视 频 编 码 基 于 此 平 台 开 展 的 应 用 试 验 : 移 动 电 视 (CMMB) AVS 高 清 电 视 AVS 立 体 电 视 AVS+ 高 清 电 视, 对 AVS 在 广 播 电 视 行 业 的 应 用 推 广 发 挥 了 重 要 作 用, 特 别 是 立 体 电 视 试 验 以 及 AVS+ 标 准 的 制 定 和 实 施
高 性 能 编 码 技 术 和 核 心 产 品 开 发 平 台 编 码 器 是 AVS 标 准 实 施 的 关 键 产 品, 北 京 大 学 和 合 作 单 位 中 国 科 学 院 计 算 技 术 研 究 所 及 其 下 属 的 联 合 信 源 数 字 音 视 频 技 术 ( 北 京 ) 有 限 公 司 合 作 构 建 了 高 性 能 编 码 技 术 研 究 和 核 心 产 品 开 发 平 台, 支 持 联 合 信 源 公 司 开 发 出 了 支 持 高 清 标 清 AVS 编 码 的 多 款 编 码 器 产 品, 基 于 此 平 台 开 发 的 AVS 编 码 器 已 经 累 计 在 超 过 300 个 频 道 上 得 到 实 际 应 用 高 性 能 编 码 器 平 台 架 构 AVS 多 路 标 清 编 码 器 平 台
数 字 视 频 处 理 与 测 试 评 估 平 台 通 过 多 方 协 作, 建 立 了 相 对 完 善 的 支 持 高 清 3D 和 超 高 清 视 频 处 理 和 测 试 评 估 系 统, 包 括 前 期 拍 摄 现 场 实 时 处 理 后 期 制 作 和 内 容 测 试 评 估 的 全 流 程 硬 件 设 备 和 软 件 环 境 高 清 平 台 : 以 全 高 清 和 高 标 清 混 编 为 目 标, 建 立 了 支 持 非 压 缩 全 高 清 采 编 播 完 整 的 数 字 视 频 制 作 平 台 能 够 精 确 提 取 视 频 画 面 的 亮 度 饱 和 度 色 度 清 晰 度 以 及 噪 点, 对 各 种 形 式 的 素 材 进 行 对 比 评 估 3D 立 体 视 频 平 台 : 结 合 广 州 亚 运 会 3D 电 视 转 播 试 验 的 需 要, 建 立 了 较 为 完 整 的 3D 电 视 采 编 播 平 台, 后 经 进 一 步 完 善, 形 成 了 4K 立 体 视 频 实 时 编 辑 调 整 校 色 和 显 示 系 统, 拍 摄 制 作 了 我 国 最 早 的 一 批 立 体 视 频 测 试 码 流 超 高 清 视 频 系 统 : 支 持 超 高 清 视 频 拍 摄 编 辑 校 色 合 成 处 理 的 平 台, 拍 摄 制 作 了 一 批 4K 5K 6K 的 视 频 素 材, 为 实 验 室 开 展 超 高 清 的 研 究 起 到 了 很 好 的 支 撑 作 用 数 字 视 频 处 理 与 测 试 评 估 平 台
多 媒 体 通 信 技 术 试 验 验 证 平 台 AVS 多 媒 体 通 信 技 术 试 验 验 证 平 台 是 一 套 基 于 自 主 AVS 视 频 编 解 码 标 准 的 融 合 视 频 通 信 系 统, 支 持 视 频 会 议 视 频 监 控 及 视 频 调 度, 可 以 支 撑 多 种 视 频 编 解 码 标 准 在 多 媒 体 通 信 方 面 的 视 频 互 通 试 验, 可 以 支 撑 多 种 多 媒 体 通 信 信 令 在 多 媒 体 通 信 方 面 的 信 令 互 联 试 验, 从 而 为 多 媒 体 通 信 的 技 术 实 现 和 设 备 研 制 提 供 基 础 验 证 平 台, 加 快 多 媒 体 通 信 技 术 的 成 果 转 化, 促 进 多 媒 体 通 信 领 域 的 发 展 系 统 主 要 由 AVS 高 清 编 解 码 终 端 AVS 标 清 编 解 码 终 端 AVS 多 媒 体 协 同 终 端 AVS 移 动 视 频 终 端 AVS 视 频 转 码 器 AVS 多 媒 体 协 同 服 务 器 等 组 成 整 体 系 统 拓 扑 图 如 下 图 所 示 : 系 统 充 分 利 用 AVS 高 效 编 码 性 能, 可 实 现 高 达 1080P 高 清 晰 度 的 高 品 质 视 频 通 信 效 果, 可 满 足 低 至 8Kbps 低 带 宽 的 极 端 网 络 视 频 通 信 要 求, 可 保 障 高 达 15% 高 误 码 的 恶 劣 环 境 视 频 通 信 质 量, 可 根 据 带 宽 要 求 进 行 自 适 应 带 宽 调 整 系 统 支 持 SIP/H.323 双 信 令 协 议 栈 和 兼 容 H.264/MPEG4/SVAC 等 多 种 视 频 编 解 码 标 准, 可 与 Polycom 思 科 科 达 中 兴 华 为 中 星 微 等 诸 多 厂 家 的 视 频 会 议 系 统 和 终 端 互 联 互 通, 对 现 有 的 终 端 和 系 统 具 有 良 好 的 兼 容 性
关 键 技 术 成 果 作 为 视 频 编 码 算 法 和 标 准 研 究 的 领 头 雁, 在 高 清 超 高 清 3D 视 频 编 解 码 技 术 方 面 连 续 突 破, 牵 头 制 定 了 国 际 和 行 业 标 准 率 先 开 发 出 具 有 完 整 自 主 知 识 产 权 的 高 清 立 体 电 视 编 码 器 和 端 到 端 系 统, 在 广 州 亚 运 会 期 间 得 到 应 用, 成 为 我 国 立 体 电 视 播 出 的 技 术 先 行 者 针 对 监 控 视 频 提 出 了 基 于 场 景 建 模 的 编 码 方 法, 将 国 际 标 准 和 国 家 标 准 的 编 码 效 率 提 高 一 倍, 成 为 视 频 编 码 领 域 独 具 特 色 的 一 个 方 向 在 无 线 视 频 软 广 播 (Softcast) 系 统 开 展 了 前 瞻 性 探 索, 有 望 形 成 未 来 视 频 广 播 的 重 要 模 式 率 先 研 制 出 AVS 高 清 编 码 芯 片, 突 破 了 AVS 大 规 模 产 业 化 应 用 的 瓶 颈 视 频 评 估 测 试 技 术 与 系 统 平 面 视 频 转 立 体 视 频 技 术 在 移 动 视 觉 搜 索 技 术 突 破 多 项 核 心 技 术, 成 为 国 际 标 准 MPEG CDVS 标 准 的 主 要 技 术 贡 献 者 在 智 能 监 控 视 频 分 析 国 际 比 赛 TRECVID SED 中 连 续 四 年 名 列 前 茅,2012 年 超 越 美 国 最 好 团 队
高清立体视频编码标准 面向超高清视频应用的编码标准AVS2 较 AVS+ 编码效率再提高40%以上 基于超高清视频的编码结构 高效的帧内 帧间预测算法 高性能熵编码算法 面向3D视频应用的视频编码标准 积极推动立体视频编码标准的制定 制 定了双路立体视频的独立编码 联合编 码以及单路视频左右/上下拼接的立体 视频编码标准 并开展基于深度的3D 视频编码技术研究及标准制定工作 科技奖项 2009年 中国高等学校十大科技进展 数字音视频编码技术研究与国家标准制定 2010年 中国电子学会电子信息科学技术一等奖 数字视频编解码国家标准制定及应用 2012年 国家科学技术进步二等奖 数字视频编解码技术国家标准AVS与产业化应用
立 体 电 视 编 码 器 与 亚 运 会 示 范 2009 开 始 进 行 立 体 电 视 标 准 制 定 和 关 键 设 备 研 制, 使 得 新 版 AVS 国 家 标 准 直 接 支 持 立 体 电 视 立 体 电 影 立 体 监 控 和 立 体 手 机 基 于 该 标 准, 实 验 室 开 发 出 了 具 有 完 整 知 识 产 权 的 3D 编 码 器 机 顶 盒 和 端 到 端 播 出 系 统, 以 实 验 室 广 州 研 究 开 发 与 产 业 化 中 心 为 依 托, 在 2010 年 11 月 举 行 的 广 州 亚 运 会 上, 该 编 码 器 承 担 了 3D 电 视 试 验 中 立 体 视 频 编 码 这 一 核 心 任 务, 输 出 的 AVS 立 体 码 流 在 TCL 康 佳 LG 等 企 业 内 置 AVS 芯 片 的 3D 一 体 电 视 机 中 流 畅 播 放, 构 建 了 我 国 第 一 套 基 于 AVS 的 端 到 端 立 体 电 视 播 出 系 统, 证 实 了 AVS 标 准 用 于 3D 电 视 系 统 的 可 行 性 和 先 进 性 AVS 3D 频 道 在 广 州 亚 运 会 期 间 在 广 州 和 中 国 网 络 电 视 台 实 验 播 出 2010 年 12 月 5 日, AVS 高 清 实 时 立 体 视 频 编 码 器 通 过 教 育 部 主 持 的 技 术 成 果 鉴 定 鉴 定 委 员 会 认 为, 该 项 目 研 究 起 点 高 技 术 先 进, 实 现 了 AVS 高 清 立 体 电 视 系 统 核 心 技 术 的 整 体 突 破, 为 实 现 我 国 立 体 电 视 和 数 字 音 视 频 产 业 的 自 主 知 识 产 权 参 与 国 际 竞 争 与 规 模 化 生 产 提 供 了 重 要 的 技 术 支 撑, 研 究 成 果 达 到 国 际 先 进 水 平, 其 中 编 码 优 化 算 法 等 达 到 国 际 领 先 水 平 AVS 高 清 立 体 编 码 器 专 家 鉴 定 会
效 率 翻 番 的 监 控 视 频 编 码 标 准 IEEE 1857 根 据 IDC 2012 年 的 Digital Universe 报 告 估 计, 全 球 大 数 据 的 一 半 左 右 是 监 控 视 频 视 频 监 控 已 经 成 为 最 大 的 视 频 系 统, 对 海 量 监 控 视 频 有 效 编 码 传 输 存 储 分 析 和 识 别 是 信 息 技 术 面 临 的 重 大 挑 战 数 字 视 频 编 解 码 国 家 工 程 实 验 室 建 设 伊 始 就 率 先 抓 住 了 这 个 视 频 技 术 应 用 的 重 大 趋 势, 提 出 了 基 于 背 景 建 模 的 监 控 视 频 编 码 方 法, 能 够 将 AVS 国 家 标 准 和 国 际 上 的 AVC/H.264 HEVC/H.265 压 缩 效 率 提 高 一 倍 以 上, 并 于 2013 年 6 月 作 为 IEEE 1857 标 准 独 具 特 色 的 一 个 部 分 颁 布 增 加 背 景 建 模 和 可 选 差 分 的 监 控 视 频 编 解 码 框 架 大 数 据 成 分 组 成
无线视频软广播技术 在无线通信环境下 由于噪声和运 动的干扰 信道质量经常在大范围内波 动 在无线广播环境下 不同用户的信 道质量差异很大 传统视频通讯框架在 这种条件下很难有效应用 图1. 传统视频传输框架 在传统视频通讯系统中 编码码率 需在通讯前根据预计信道状况预先决定 这常导致所谓 悬崖 效应 即 当实 际信道质量低于一定阈值时 往往无法 成功解码 当实际信道质量高于该阈值 图2. 视频软传输框架 时 系统无法提供更优的通讯结果 视频软广播技术可以用同一个数 据流同时为不同信道条件下的各用户同 时提供通讯 并使不同用户的接收质量 自动随信道状况而改变 图3. 无线传输系统 软广播技术弃用传统框架中的量 化 熵编码和信道编码 采用信号变换 和能量分配来达到优化传输的目的 软 传输框架中 发送端不引入失真 压缩 过程是无损的 传输过程是有损的 接 收端的接收质量正比于信道信噪比 在实现上 我们采用可编程无线 PSNR = 32.81dB PSNR = 30.40dB 图4. 左 软传输 右 传统传输 电板搭建视频软广播系统
AVS 高 清 视 频 编 码 SoC 芯 片 NVE001 北 京 大 学 数 字 视 频 编 解 码 技 术 国 家 工 程 实 验 室 历 经 两 年 努 力, 完 成 了 全 球 首 颗 AVS 高 清 编 码 芯 片 NVE001 的 开 发 并 一 次 流 片 成 功 NVE001 芯 片 主 要 用 于 AVS 高 清 编 码 器, 将 能 够 大 幅 度 提 高 编 码 器 的 可 靠 性, 并 明 显 降 低 编 码 器 的 成 本, 对 AVS 高 清 应 用 的 大 规 模 推 广 意 义 重 大 NVE001 符 合 国 标 GB/T 20090.2-2006, 具 有 完 全 自 主 知 识 产 权, 支 持 全 高 清 分 辨 率 1080P@30 编 码 芯 片 的 主 要 功 能 特 征 如 下 : 支 持 AVS 视 频 标 准 基 准 档 次 6.0 级 别 的 高 清 实 时 编 码 支 持 1080P@30 及 以 下 分 辨 率 4:2:0 格 式 视 频 的 实 时 编 码 处 理 支 持 帧 编 码 模 式 和 场 编 码 模 式 支 持 多 路 AVS 高 清 码 流 复 用 支 持 视 频 TS 流 实 时 输 出 支 持 Host 实 时 配 置 和 离 线 调 试 模 式 支 持 采 样 频 率 96KHz 及 以 下 的 16bit PCM 音 频 输 入 和 输 出 支 持 音 频 编 码 DSP 的 配 置 支 持 编 码 后 的 音 频 码 流 的 输 入 支 持 AVS 音 视 频 码 流 同 步 和 混 合 输 出
高 清 视 频 质 量 测 试 系 统 高 清 视 频 质 量 测 试 系 统 采 用 协 同 调 度 算 法 实 时 管 理 多 路 高 清 视 频, 有 效 解 决 多 路 高 高 清 测 试 码 流 清 视 频 的 系 统 大 数 据 交 换 问 题, 消 除 不 同 高 清 视 频 编 码 器 的 编 码 延 时, 实 现 相 同 测 试 源 下 的 同 步 播 放, 从 而 辅 助 完 成 多 个 高 清 编 码 器 的 主 观 在 线 测 试, 提 高 高 清 编 码 器 主 观 测 试 的 准 确 性, 保 障 测 试 条 件 的 客 观 性, 增 加 高 清 视 频 质 量 的 测 试 效 率 系 统 主 要 包 括 : 缓 存 深 度 缓 存 池 多 级 控 制 指 针 格 式 转 换 子 模 块 协 同 调 度 缓 存 窗 时 钟 锁 播 控 输 出 原 始 码 流 高 清 视 频 的 格 式 自 适 应 转 换 算 法 缓 存 池 管 理 算 法 协 同 调 度 管 理 算 法, 高 清 视 频 数 据 的 异 步 控 制 算 法 和 全 局 时 钟 锁 同 步 机 制 编 码 器 码 流 图 1. 高 清 视 频 质 量 测 试 系 统 结 构 图 t 第 一 监 视 器 原 始 码 流 编 / 解 码 器 高 清 视 频 质 量 测 试 系 统 测 试 码 流 t - T 1 t - T 2 第 一 编 / 解 码 器 第 二 编 / 解 码 器 SDI/ HDMI SDI/ HDMI 第 二 监 视 器 第 三 监 视 器 失 真 码 流 缓 存 延 迟 t - T 3 第 三 编 / 解 码 器 SDI/ HDMI 第 四 监 视 器 是 否 同 步 是 否 输 出 失 真 码 流 输 出 失 真 码 流 输 出 原 始 码 流 图 2 高 清 视 频 质 量 测 试 系 统 功 能 示 意 图 图 3 高 清 视 频 质 量 测 试 系 统 工 作 流 程 图 高 清 视 频 质 量 测 试 系 统 的 功 能 如 图 1 所 示, 系 统 工 作 流 程 如 图 2 所 示 完 整 的 高 清 视 频 质 量 测 试 环 境 包 括 : 高 清 视 频 质 量 测 试 系 统 高 清 测 试 码 流 高 清 编 解 码 器 专 业 监 视 器 等 软 硬 件 资 源 高 清 视 频 质 量 测 试 系 统 产 生 用 于 高 清 编 码 器 可 识 别 的 高 清 测 试 码 流, 在 t 时 刻 送 给 多 个 编 码 器 和 原 始 码 流 监 视 器, 测 试 码 流 经 过 编 码 器 编 解 码 后 分 别 产 生 时 延 T1 T2 T3, 将 解 码 后 的 码 流 送 入 监 视 器, 将 监 视 器 上 显 示 的 编 解 码 延 时 的 时 间 差 反 馈 给 高 清 视 频 质 量 测 试 系 统, 重 新 校 准 每 路 输 出 码 流 的 时 延, 校 准 后 的 输 出 分 别 为 t t-t1 t-t2 t-t3, 使 得 高 清 测 试 码 流 经 过 各 个 编 码 器 后, 可 在 时 间 t 时 刻 同 步 进 入 监 视 器 显 示
传 统 视 频 到 立 体 视 频 的 转 换 与 编 码 随 着 三 网 融 合 推 进 和 新 一 代 数 字 电 视 (3D 电 视 互 联 网 电 视 ) 出 现,3D 电 视 已 经 成 为 目 前 新 媒 体 的 代 表 和 热 点 之 一 但 目 前 3D 节 目 源 的 短 缺 成 为 整 个 3DTV 产 业 链 发 展 的 瓶 颈 本 项 研 究 致 力 于 通 过 自 动 / 半 自 动 化 的 过 程 实 现 把 传 统 2D 视 频 转 换 为 3D 视 频, 以 改 变 3D 节 目 源 短 缺 的 现 状 半 自 动 化 的 转 换 系 统 通 过 手 工 交 互 的 方 式 标 注 单 帧 前 背 景 深 度, 并 利 用 视 频 镜 头 分 割 和 聚 类 技 术 自 动 深 度 估 计 帧 间 深 度 和 标 注 信 息 传 递 等 手 段 减 轻 用 户 在 交 互 操 作 上 的 工 作 量, 进 而 可 以 高 效 地 完 成 2D 到 3D 视 频 的 转 换 立 体 视 频 与 传 统 2D 视 频 相 比, 在 提 供 更 为 丰 富 的 视 觉 体 验 的 同 时, 也 带 来 了 数 据 量 大 使 用 传 统 编 码 方 法 难 于 有 效 压 缩 的 问 题 在 2D 到 3D 视 频 转 换 的 应 用 环 境 下, 一 些 中 间 结 果 可 以 帮 助 我 们 更 为 有 效 地 进 行 视 频 压 缩 基 于 此 考 虑, 我 们 提 出 一 种 紧 致 的 立 体 视 频 表 示 方 法 该 表 示 由 一 路 2D 视 频 及 其 对 应 的 深 度 线 索 构 成 相 关 研 究 成 果 以 长 文 形 式 发 表 于 2012 年 数 据 压 缩 的 年 会 DCC 12 ACM-MM 12, 并 被 IEEE-T CSVT 接 受
移 动 视 觉 搜 索 与 国 际 标 准 以 移 动 智 能 终 端 为 平 台 的 所 见 即 所 知 式 的 增 强 现 实 是 继 搜 索 引 擎 之 后 的 互 联 网 新 一 代 服 务 范 式 移 动 视 觉 搜 索 技 术 使 得 人 们 可 以 快 速 便 捷 地 采 集 现 实 世 界 的 视 觉 对 象 或 场 景, 进 行 视 觉 内 容 的 高 精 度 匹 配 和 识 别, 从 移 动 互 联 网 的 另 一 端 获 取 所 感 兴 趣 的 关 联 信 息, 并 以 增 强 呈 现 技 术 显 示 在 移 动 终 端 屏 幕 上 提 出 多 通 道 编 码 紧 凑 描 述 子 方 案 (Multiple-Channel Coding based Visual Descriptor), 仅 需 上 传 约 100 比 特 信 息, 即 可 完 成 对 单 幅 搜 索 图 像 的 紧 凑 表 达, 研 究 成 果 发 表 在 IJCV 12 TMM 13 IJCAI11 ACM MM 11 CVPR 12 等 计 算 机 视 觉 或 多 媒 体 领 域 顶 级 国 际 期 刊 国 际 会 议 上 组 织 制 定 MPEG CDVS(Compact Descriptors for Visual Search) 国 际 标 准, 六 项 核 心 技 术 提 案 被 采 纳, 占 据 一 半 以 上 核 心 技 术 专 利 视 觉 搜 索 关 键 技 术 已 在 百 度 上 线 的 两 款 移 动 商 品 搜 索 产 品 中 得 到 成 功 应 用 此 外, 该 项 研 究 获 得 新 加 坡 媒 体 发 展 局 (MDA) 资 助, 成 立 了 中 新 视 觉 搜 索 联 合 实 验 室 (Rich and Rapid Object SEarch Lab), 致 力 解 决 移 动 互 联 网 环 境 下, 电 子 商 务 旅 游 科 教 等 领 域 面 临 的 视 觉 对 象 搜 索 共 性 需 求
监 控 视 频 分 析 识 别 技 术 达 到 国 际 领 先 水 平 视 频 监 控 网 络 已 经 成 为 公 共 安 全 城 市 管 理 与 公 众 服 务 的 重 要 基 础 设 施, 其 关 键 难 点 在 于 监 控 视 频 的 智 能 分 析 在 973 计 划 国 家 自 然 科 学 基 金 重 点 项 目 等 的 支 持 下, 课 题 组 提 出 了 选 择 式 特 征 背 景 建 模 方 法 多 视 贝 叶 斯 网 络 模 型 基 于 序 列 非 均 衡 学 习 的 异 常 行 为 检 测 方 法 等 多 项 高 性 能 监 控 视 频 分 析 技 术 相 关 研 究 成 果 发 表 在 IEEE TCSVT IEEE TMM 等 领 域 权 威 国 际 期 刊 和 国 际 会 议 上 在 此 基 础 上, 课 题 组 在 TRECVID 监 控 视 频 事 件 检 测 比 赛 中 连 续 四 年 成 为 单 项 第 一 最 多 的 团 队 : 2012 年 参 加 全 部 7 项 自 动 事 件 检 测 任 务, 其 中 3 项 排 第 一 2 项 排 第 二 2 项 排 第 三, 是 唯 一 一 只 所 有 自 动 检 测 任 务 均 进 入 前 三 名 的 队 伍 ( 如 下 表 ); 2011 年 参 加 7 项 事 件 检 测 任 务 中 的 5 项, 其 中 2 项 排 第 一 2 项 排 第 二 ; 2010 年 参 加 7 项 事 件 检 测 任 务 中 的 4 项, 其 中 2 项 排 第 一 1 项 排 第 二 ; 2009 年 参 加 10 项 事 件 检 测 任 务 中 的 5 项, 其 中 4 项 排 第 一 2012 年 TRECVID 监 控 视 频 事 件 检 测 比 赛 的 前 三 名 队 伍 PeopleMeet People Embrace Person CellTo Object Pointing 事 件 Splitup Runs Ear Put 第 一 名 PKU-NEC CMU-IBM CMU-IBM CMU-IBM PKU-NEC PKU-NEC BJTU 第 二 名 MediaCCNY PKU-NEC BJTU MediaCCNY MediaCCNY CMU-IBM PKU-NEC 第 三 名 CMU-IBM MediaCCNY PKU-NEC PKU-NEC BrnoUT MediaCCNY PKU-OS 同 时, 在 2012 年 IEEE 多 摄 像 机 行 人 检 测 与 跟 踪 评 测 (PETS2012) 中, 课 题 组 在 单 视 检 测 多 视 检 测 与 跟 踪 方 面 都 排 名 第 一 机 场 事 件 检 测 多 摄 像 机 行 人 检 测 与 跟 踪 地 铁 行 人 检 测 与 跟 踪
AVS系统的广泛应用 AVS十年 专利池驱动的协同创新 AVS地面数字电视应用进展 已在上海 河北 山西 山东 等20个省 市投入使用 AVS 数字电视频道已达650个 北 京市从2010年部署的200万台 高清机顶盒全部支持AVS标准 AVS成为主流解码芯片必备 AVS系统走向世界 已在老挝 斯里兰卡 古巴 吉尔吉斯 柬埔寨等国得到应 用 合计184个频道
AVS标准的路线图 AVS2 国内 AVS新版国标 国际:IEEE P1857 AVS+ 行标 GY/T 257-2012 广电总局科技司-工信部电子信息司 AVS技术应用联合推进组 面向移动通信的 AVS移动档 面向高清应用的 AVS加强档 面向视频监控的 AVS伸展档 AVS国标 GB/T 20090.2-2006 AVS标准的里程碑 2012-07 AVS+颁为广电行业标准GY/T 257-2012 2011-06 AVS成为我国数字电视接收机唯 一必须支持的视频标准 2009-07 AVS与H.264 VC1一起被ITU并 列为IPTV三大视频标准 2006-02 AVS颁为国家标准GB/T 20090.2-2006
紧 凑 视 觉 描 述 子 视 觉 描 述 子 压 缩 是 计 算 机 视 觉 的 研 究 热 点, 正 得 到 多 个 应 用 研 究 领 域 的 关 注 视 觉 描 述 子 区 分 能 力 影 响 视 频 内 容 分 析 检 索 理 解 的 性 能 无 线 网 络 环 境 下, 发 送 紧 凑 视 觉 签 名 要 比 整 张 图 像 更 具 优 势 对 象 分 类 与 识 别 任 务 中, 紧 凑 描 述 子 有 利 于 克 服 高 维 特 征 对 分 类 器 训 练 造 成 的 负 面 影 响 面 对 大 规 模 视 频 检 索 分 类 问 题, 紧 凑 描 述 子 呈 现 诸 多 技 术 优 势, 比 如 可 伸 缩 存 储 快 速 相 似 性 计 算 (a) 视 觉 搜 索 流 程 示 意 图 (b) 基 于 多 通 道 编 码 的 视 觉 描 述 子 压 缩 流 程 示 意 图 提 出 基 于 位 置 等 边 信 息 敏 感 的 视 觉 描 述 子 编 码 方 案, 仅 需 上 传 约 100 比 特 信 息, 即 可 完 成 单 幅 搜 索 图 像 的 紧 凑 表 达 ; 在 位 置 搜 索 应 用 中, 平 均 搜 索 精 度 (Mean Average Precision) 不 低 于 86% 研 究 成 果 发 表 在 IJCV 2012 提 出 基 于 多 通 道 编 码 的 描 述 子 压 缩 方 案, 利 用 上 下 文 学 习 查 询 通 道 划 分 及 每 个 通 道 的 压 缩 函 数, 将 查 询 划 分 至 具 体 通 道 可 以 获 得 极 低 比 特 率, 同 时 保 持 较 高 搜 索 精 度 研 究 成 果 以 长 文 形 式 发 表 在 ACM MM 11 此 外, 提 出 迭 代 优 化 算 法, 实 现 最 优 区 域 划 分 与 紧 凑 编 码 的 联 合 优 化 目 标 研 究 成 果 发 表 在 IJCAI 11 提 出 从 图 像 库 中 学 习 具 有 判 别 力 的 紧 凑 主 题 描 述 子, 利 用 参 考 图 像 相 似 性 建 模, 寻 找 描 述 子 紧 凑 性 与 判 别 力 的 平 衡 研 究 成 果 发 表 在 CVPR 12
基 于 不 完 全 成 对 比 较 的 有 效 视 频 质 量 主 观 评 价 方 法 本 工 作 提 出 了 一 种 基 于 部 分 随 机 成 对 比 较 的 视 频 质 量 评 价 方 法, 省 时 省 力 而 且 不 影 响 排 序 准 确 率 该 方 法 不 仅 适 合 于 在 实 验 室 环 境 下 操 作 而 且 适 合 于 网 络 众 包 首 先, 我 们 采 用 随 机 图 的 策 略 来 生 成 待 看 视 频 对 ; 随 后 采 用 霍 奇 分 解 来 得 到 每 段 待 测 视 频 的 质 量 得 分 和 不 一 致 程 度 的 值 Persistent homology 示 意 图 Persistent homology 示 意 图 不 同 采 样 比 例 下 的 实 验 性 能 图 梯 度 流 代 表 视 频 质 量 的 全 局 质 量 排 序 散 度 流 代 表 质 量 排 序 的 可 信 程 度 ( 不 一 致 性 ) 散 度 流 越 大 排 序 越 不 可 信, 散 度 流 又 可 分 解 为 局 部 不 一 致 流 和 全 局 不 一 致 流, 分 别 表 征 不 一 致 性 是 由 局 部 引 起 还 是 由 全 局 引 起 的 应 用 中, 可 通 过 控 制 图 的 拓 扑 结 构 来 控 制 全 局 不 一 致 流 所 占 的 比 例 由 此 生 成 的 随 机 图 要 满 足 以 下 2 个 条 件 ( 由 Persistent homology 可 实 现 ): 1) 生 成 的 图 是 连 通 图, 这 样 才 能 进 行 统 计 排 序 (Betti0=1); 2) 生 成 的 图 里 没 有 洞, 这 样 才 能 保 证 排 序 的 可 信 程 度 (Betti1=0)
基 于 时 空 结 构 特 征 的 全 参 考 视 频 质 量 评 价 方 法 视 频 质 量 评 价 不 同 于 图 像 质 量 评 价 的 一 个 重 要 特 点 是, 对 于 视 频 质 量 评 价, 需 要 充 分 考 虑 HVS 对 运 动 的 感 知 特 性, 并 且 需 要 对 视 频 中 的 时 域 失 真 进 行 准 确 建 模 我 们 提 出 了 一 种 基 于 时 空 结 构 信 息 的 视 频 质 量 评 价 方 法, 其 核 心 思 想 是 提 取 自 然 视 频 中 符 合 人 眼 视 觉 感 知 特 性 的 结 构 性 特 征, 这 些 特 征 能 够 同 时 反 映 HVS 所 能 感 知 自 然 视 频 在 空 域 和 时 域 上 的 失 真 由 于 无 需 计 算 光 流, 该 方 法 复 杂 度 很 低, 而 且 算 法 性 能 不 依 赖 于 参 数 训 练, 具 有 很 强 的 鲁 棒 性 e v p t+1 t y t t-1 x 局 部 时 空 结 构 特 征 示 意 图 LIVE 数 据 库 上 的 性 能 比 较 VQEG 数 据 库 上 的 性 能 比 较 如 果 把 视 频 看 做 是 x-y-t 三 维 空 间 中 的 像 素 排 列, 那 么 视 频 中 的 像 素 在 这 个 三 维 空 间 中 将 呈 现 出 很 强 的 局 部 结 构 特 征 如 左 上 图 所 示, 运 动 物 体 的 边 缘, 在 x-y-t 空 间 中 会 划 出 一 个 平 面, 因 此, 在 运 动 边 缘 的 时 空 邻 域 中, 像 素 的 灰 度 值 变 化 ( 即 能 量 ) 会 指 向 该 平 面 的 垂 直 方 向 视 频 中 的 局 部 失 真, 会 破 坏 这 种 局 部 能 量 分 布 的 规 整 性 和 方 向 性, 所 以 可 用 视 频 中 时 空 局 部 区 域 能 量 分 布 的 变 化 来 评 测 视 频 失 真, 使 用 视 频 局 部 时 空 区 域 的 结 构 张 量 的 最 大 特 征 值 及 其 对 应 的 特 征 向 量 来 描 述 其 能 量 分 布, 其 物 理 意 义 为 该 区 域 内 结 构 主 方 向 ( 像 素 变 化 趋 势 最 大 的 方 向 ) 的 能 量 变 化 程 度 和 角 度, 其 失 真 能 够 反 映 视 频 的 时 空 结 构 失 真 考 虑 到 人 眼 视 觉 系 统 (HVS) 的 感 知 特 性, 该 算 法 应 用 在 HVS 所 感 兴 趣 的 显 著 性 像 素 上, 不 仅 提 高 了 质 量 评 价 的 准 确 性, 同 时 也 极 大 地 降 低 了 计 算 复 杂 度 该 算 法 在 Texas 大 学 的 Live 数 据 库 以 及 VQEG 国 际 视 频 质 量 评 价 标 准 组 织 的 FRTV Phase II 数 据 库 上 进 行 了 测 试, 其 对 视 频 质 量 预 测 的 精 准 性 达 到 国 际 领 先 水 准, 并 保 持 了 很 低 的 计 算 复 杂 度
基于媒体指纹的视频拷贝检测 视频拷贝检测主要研究检测派生查询视频的原始视频 并定位实际拷贝片段的方 法 是多媒体安全与图像处理领域的一个具有重要理论价值和广阔应用前景的研究课题 其关键任务是设计区分能力强 对常见视频处理操作鲁棒的视频标识方法 媒体指纹正 是从视频内容中提取的 能够唯一标识该视频内容的不变性表征 近年来 课题组针对 基于媒体指纹的视频拷贝检测问题开展了深入研究 框架见上图 主要研究成果发表 在IEEE Computer IEEE Multimedia ACM TOMCCAP 等多媒体计算与应用领域权 威国际期刊与知名国际会议上 课题组提出的以多模态特征表示与时间金字塔匹配 见左上图 为核心的拷贝检 测方法与系统在NIST组织的2011年TRECVID基于内容的拷贝检测国际比赛中获得了拷 贝检测准确率总体第一 见右上图 课题组承担了新闻出版重大科技工程-数字版权 保护技术研发工程中面向数字版权管理的媒体指纹技术研究课题
基于学习的视觉显著计算 研究如何通过视觉显著计算来自动预测 定位和挖掘重要的视觉信息具有重要的 学术价值和实用前景 课题组多年来对基于学习的视觉显著计算问题进行了深入研究 主要研究成果发表在IJCV IEEE TCSVT IEEE TIP 等多媒体和人工智能领域权威国际 期刊以及顶级国际学术会议上 其中 基于概率多任务学习的视觉显著模型提 供了一种融合自底向上和自顶向下因素 的通用视觉显著计算框架 上图 该 模型被视觉显著计算研究的开创者 美 国南加洲大学的Laurent Itti教授称为 现有最突出的显著模型 之一 在另 一项研究中 研究人员将视觉显著计算 建模为代价敏感的排序学习问题 这在 国际上尚属首例 该类方法的代表性的 研究成果被IEEE Signal Processing Letter选为当期的封面文章 在相关领 域产生了一定的影响 左图
EoP 视 觉 信 息 理 论 与 编 码 视 觉 信 息 论 突 破 传 统 的 基 于 像 素 的 图 像 表 示 方 法, 探 讨 符 合 视 觉 机 理 的 视 觉 基 本 组 成 单 元 与 视 觉 信 息 论 中 基 本 信 源 符 号 间 的 关 系 提 出 了 基 元 熵 概 念, 发 展 了 视 觉 信 息 论 对 基 元 熵 的 特 性 进 行 分 析, 提 出 了 应 用 基 元 熵 进 行 视 觉 无 失 真 估 计 以 及 半 参 考 质 量 评 价 算 法 提 出 的 算 法 与 主 观 实 验 结 果 具 有 很 高 的 一 致 性 H ( X ) H ( F ) 扩 展 像 素 基 元 词 典 基 元 熵 7 6 5 4 3 2 1 0 0 5 l 10 15 视 觉 优 化 编 码 技 术 提 出 了 高 效 的 视 觉 编 码 算 法 由 于 图 像 视 频 的 最 终 接 受 者 为 人 眼 因 此, 设 计 视 频 编 码 算 法 时 应 充 分 考 虑 到 人 眼 的 主 观 视 觉 特 性 提 出 了 基 于 半 参 考 及 全 参 考 视 频 质 量 评 价 模 型 的 视 频 编 码 优 化 算 法, 对 视 频 编 码 中 核 心 技 术 模 式 选 择 以 及 量 化 进 行 优 化 相 关 论 文 发 表 于 IEEE TCSVT(2012) 及 IEEE TIP (2013) 中 (a) H.264/AVC 码 率 : 413.04 kbit/s (b) 提 出 的 方 法 码 率 : 377.4 kbit/s
数 字 音 视 频 编 解 码 标 准 制 定 数 字 音 视 频 编 解 码 技 术 标 准 -AVS 2006 年 3 月, 信 息 技 术 先 进 音 视 频 编 码 第 二 部 分 : 视 频 国 家 标 准 正 式 实 施 2009 年 7 月,AVS 被 电 信 联 合 会 (ITU) 正 式 通 过 成 为 IPTV 国 际 标 准 2010 年 7 月, AVS 立 体 视 频 编 码 标 准 完 成 定 稿 并 在 广 州 亚 运 会 获 得 应 用 2012 年 7 月, 广 播 电 视 先 进 音 视 频 编 解 码 第 1 部 分 : 视 频 (AVS+) 颁 布 为 广 电 行 业 标 准 2013 年 6 月, AVS 视 频 编 码 标 准 成 为 IEEE 国 际 标 准 IEEE P1857-2013 国 际 视 频 编 码 标 准 制 定 及 贡 献 HEVC 是 由 运 动 图 像 专 家 组 MPEG 和 ITU-T 视 频 编 码 专 家 组 联 合 制 定 的 下 一 代 数 字 视 频 编 码 标 准 视 频 编 码 算 法 研 究 室 提 出 了 两 项 高 效 的 帧 内 与 帧 间 预 测 技 术 被 HEVC 标 准 采 纳 HEVC-3DV 是 基 于 HEVC 的 三 维 视 频 编 码 标 准, 支 持 纹 理 + 深 度 格 式 编 码 视 频 编 码 算 法 研 究 室 提 出 了 五 项 高 效 编 码 技 术 被 HEVC-3DV 标 准 采 纳 包 括 : 高 效 的 帧 内, 帧 间 预 测 技 术 ; 熵 编 码 技 术 以 及 率 失 真 优 化 技 术
高 质 量 视 频 传 输 视 频 软 广 播 技 术 传 统 广 播 单 一 的 视 频 码 流 难 以 充 分 利 用 不 同 用 户 的 信 道 资 源, 重 构 视 频 质 量 取 决 于 压 缩 码 率, 不 会 随 着 信 道 容 量 的 继 续 增 加 而 提 高 视 频 软 广 播 技 术 省 略 了 量 化 熵 编 码 等 过 程, 像 素 值 被 直 接 按 比 例 映 射 成 发 送 信 号 的 强 度, 失 真 只 由 在 传 输 过 程 中 引 入 的 噪 声 决 定, 因 此 重 构 质 量 可 以 平 滑 的 随 信 道 质 量 的 改 善 而 提 高 传 统 视 频 传 输 框 架 视 频 软 传 输 框 架 高 保 真 度 视 频 复 原 提 出 了 一 种 基 于 图 像 局 部 和 非 局 部 先 验 信 息 联 合 优 化 的 高 质 量 视 频 复 原 框 架 算 法 利 用 数 据 精 度 项 来 表 示 观 测 约 束, 与 退 化 模 型 直 接 关 联 ; 局 部 平 滑 项 用 来 刻 画 图 像 局 部 平 滑 的 特 性, 作 为 局 部 约 束 ; 非 局 部 稀 疏 正 则 项 用 来 刻 画 图 像 非 局 部 之 间 的 稀 疏 性, 作 为 非 局 部 约 束 相 关 技 术 论 文 发 表 在 本 领 域 重 要 的 国 际 会 议, 视 觉 通 讯 与 影 像 处 理 国 际 会 议 VCIP 2011 上, 并 获 得 了 最 佳 论 文 奖 噪 声 图 像 复 原 图 像
视 觉 注 意 机 制 的 计 算 模 型 人 类 每 一 时 刻 都 接 受 到 大 量 的 外 界 信 息, 处 于 被 信 息 轰 炸 的 状 态 中 我 们 有 限 的 心 理 资 源 和 神 经 资 源 不 可 能 同 时 处 理 这 么 多 的 信 息, 只 能 选 择 性 的 处 理 具 有 高 优 先 性 的 信 息 而 忽 视 低 优 先 性 的 信 息, 选 择 性 注 意 的 作 用 正 是 体 现 于 此 我 们 通 过 心 理 物 理 学 与 神 经 科 学 等 研 究 手 段, 研 究 视 知 觉 机 理, 提 出 一 系 列 新 的 视 觉 注 意 计 算 模 型 并 将 其 应 用 于 视 频 中 感 兴 趣 对 象 的 提 取 选 择 性 注 意 的 关 键 词 是 选 择, 而 且 注 意 是 一 个 动 态 信 息 获 取 过 程 这 一 动 态 过 程 是 揭 示 视 觉 注 意 的 选 择 性 机 制 以 及 注 意 转 换 机 制 ( 或 者 说 什 么 触 发 了 注 意 转 换 ) 的 重 要 线 索 对 于 这 一 动 态 过 程 的 研 究 为 指 导 我 们 理 解 视 觉 注 意 的 心 理 机 制, 建 立 视 觉 注 意 计 算 理 论 与 模 型 具 有 重 要 意 义 我 们 提 出 了 一 个 基 于 信 息 最 大 化 原 理 的 新 的 视 觉 注 意 计 算 理 论 与 模 型, 它 在 信 息 最 大 化 理 论 框 架 下, 结 合 人 眼 中 央 视 野 与 外 周 视 野 成 像 差 异 长 期 视 觉 经 验 短 期 记 忆 等 生 理 心 理 物 理 特 点, 从 计 算 上 模 拟 人 类 视 觉 系 统 高 效 调 度 自 底 向 上 和 自 顶 向 下 的 视 感 知 加 工 过 程, 更 准 确 地 模 拟 人 类 视 觉 系 统 动 态 获 取 图 像 信 息 的 过 程 实 验 证 明 我 们 提 出 的 模 型 无 论 是 在 静 态 注 视 点 的 预 测 上 还 是 在 动 态 扫 视 路 径 的 预 测 上 都 有 很 好 的 结 果 相 关 研 究 成 果 发 表 在 2010 和 2011 年 IEEE 计 算 机 视 觉 与 模 式 识 别 年 会 上 (CVPR 10 CVPR 11)
场景的结构解析 层次化和结构化是场景构成的基本属性 结构化图模型是公认的场景解译方向所 自然采用的一个表示 然而 由于场景在视角 几何形状等方面存在连续变化 这使得 图模型的节点如何量化定义成为难题 另外 由于对场景和物体的解译方法可能不唯一 这导致了解析图的不唯一性 这也给图模型的学习带来很大的挑战 在这项研究中 我们针对上述问题 提出一套弱监督学习的方法 以图像标注的 文字作为图像属性 同时学习场景部件及其与属性的对应关系 从而得到关于一类场景 紧凑的 语义歧义性较小的图模型表示 由于在学习时 场景的部件以及标注属性在图 像上可能的位置信息都是未知的 所以这个方法属于弱监督学习 我们提出的模型包括 三个方面 1 在表示方面 我们采用了 与或树 AND-OR Tree 的知识表示 在这种表示下 通过有限的部件词典 我们可以合成大量的场景结构配置 2 我们 将图像属性分为名词和形容词 名词对应场景中的物体 形容词描述物体的表观 3 在学习方法上 我们采用EM方法 一边计算最可能的场景解析树 一边更新 与或树 的参数 直至收敛 通过实验验证 我们提出的场景解译方法在场景物体识别率和属性定位精度上都 较以前的方法有了的提高 相关论文发表在2013年IEEE计算机视觉与模式识别年会上 CVPR2013
走 进 清 明 上 河 图 清 明 上 河 图 是 我 国 最 珍 贵 的 文 物 之 一, 是 现 存 的 展 示 北 宋 时 代 日 常 生 活 的 最 珍 贵 的 图 像 资 料, 具 有 重 要 的 艺 术 价 值 文 化 价 值 和 历 史 研 究 价 值 北 京 大 学 数 字 媒 体 所 联 合 故 宫 博 物 院 清 华 大 学 微 软 亚 洲 研 究 院 开 展 了 走 进 清 明 上 河 图 沉 浸 式 数 字 音 画 展 示 项 目 该 项 目 的 主 要 技 术 突 破 是, 首 次 提 出 针 对 中 国 传 统 绘 画 典 型 的 散 点 透 视 技 法 的 几 何 解 析 理 论 与 方 ( 利 用 二 维 画 面 中 物 体 的 布 局 与 遮 挡 关 系 计 算 非 焦 点 透 视 图 三 感 知 空 间 ); 在 博 馆 展 示 应 用 方 面, 提 出 向 中 国 传 统 绘 画 的 沉 浸 式 多 媒 体 展 示 系 统 ( 提 出 了 音 画 的 虚 拟 时 间 空 数 据 组 织 方 法, 实 现 包 含 十 亿 像 素 级 别 图 和 数 百 兆 音 频 的 据 在 普 通 个 人 计 算 机 上 时 调 度 与 绘 制 ; 结 合 硬 件 平 台, 包 含 触 摸 屏 以 及 5.1 声 道 音 响 环 境, 提 出 基 于 高 维 度 视 点 空 间 的 交 互 式 漫 游 策 略 实 现 自 然 沉 浸 式 交 互 视 听 虚 拟 环 境 ) 该 项 目 于 2010 年 6 月 23 日 在 故 宫 博 物 院 举 行 新 闻 发 布 会 并 将 系 统 正 式 投 入 使 用, 中 央 电 视 台 人 民 日 报 海 外 版 等 国 内 百 余 家 媒 体 对 发 布 会 进 行 了 道 该 项 目 以 创 新 数 字 技 术 为 每 年 数 以 万 计 的 中 外 观 众 提 供 服 务, 满 足 人 们 欣 赏 国 之 瑰 宝 清 明 上 河 图 需 求 计 算 机 图 像 图 形 学 的 先 驱 布 朗 大 学 Andy 教 授 美 学 大 师 李 泽 厚 先 生 中 宣 部 十 二 五 规 划 起 草 小 组 等 专 家 领 导 均 积 极 肯 定 该 项 目 在 以 数 字 技 术 推 进 文 化 宣 传 与 发 展 方 面 起 到 的 重 要 示 范 作 用 进 清 明 上 河 图 系 统 分 别 在 故 宫 博 物 院 书 画 馆 和 数 字 体 验 发 布 展 示 各 一 套, 为 故 宫 博 物 院 书 画 馆 观 众 和 青 少 年 教 育 活 动 提 供 服 务 相 关 成 果 在 ACM Journal on Computing and Cultural Heritage 上, 该 论 文 Annotating Traditional Chinese Paintings for Immersive Virtual Exhibition 被 Computing Reviews Best of 2012 list 评 为 a notable paper in computing in 2012
视 频 风 格 化 视 频 风 格 化 是 计 算 机 图 形 学 领 域 的 热 点 与 难 点 研 究 问 题, 其 在 影 视 娱 乐 领 域 的 应 用 能 够 产 生 巨 大 的 经 济 效 益 本 课 题 针 对 将 输 入 视 频 渲 染 成 具 有 油 画 风 格 的 艺 术 作 品 的 风 格 化 方 法 进 行 了 深 入 研 究, 研 制 了 一 套 交 互 式 视 频 风 格 化 系 统 该 系 统 流 程 包 含 两 个 阶 段 : 1. 对 视 频 的 语 意 解 析 该 步 骤 利 用 计 算 机 视 觉 领 域 的 先 进 理 论 与 方 法, 提 取 视 频 中 具 有 语 意 的 区 域 与 物 体, 建 立 视 频 帧 间 特 征 点 的 对 应 2. 视 频 的 风 格 化 渲 染 该 步 骤 根 据 语 意 解 析 的 结 果, 选 择 与 渲 染 物 体 表 观 相 匹 配 的 笔 触 放 置 笔 刷 的 位 置 以 及 根 据 物 体 的 运 动 信 息 实 现 笔 刷 在 帧 间 的 传 递 与 前 人 工 作 相 比, 本 项 目 提 出 的 系 统 具 有 以 下 优 势 : i) 由 于 采 用 了 从 粗 到 细 的 渲 染 策 略 和 对 笔 刷 色 彩 的 丰 富 化, 所 产 生 的 视 频 具 有 更 加 艺 术 的 表 现 力 ii) 通 过 运 动 分 析, 获 得 物 体 运 动 与 变 形 的 参 数 模 型, 将 其 应 用 于 对 笔 刷 的 控 制, 较 之 以 前 的 基 于 笔 刷 的 渲 染 工 作, 我 们 得 到 更 加 自 然 的 渲 染 效 果 iii) 提 出 推 迟 渲 染 - 反 向 填 充 等 策 略, 在 阻 尼 系 统 模 型 中 完 成 笔 刷 渲 染, 从 而 大 大 减 轻 了 基 于 笔 刷 渲 染 方 法 的 一 个 重 要 问 题 笔 刷 在 视 频 中 的 稳 定 性 问 题 iv) 系 统 在 GPU 环 境 中 实 现, 其 渲 染 效 率 大 大 高 于 同 类 系 统, 实 验 结 果 表 明, 提 出 的 视 频 风 格 化 系 统 能 够 产 生 生 动 的 具 有 油 画 风 格 视 觉 效 果, 是 同 类 系 统 中 的 代 表 性 工 作 相 关 成 果 发 表 于 2010 年 非 真 实 感 动 画 与 绘 制 年 会 NPAR2010 并 获 最 佳 论 文 runner-up 奖, 之 后 发 表 于 IEEE-CSVT2012 期 刊
动 作 结 构 的 层 次 化 建 模 与 学 习 动 作 分 析 是 计 算 机 视 觉 领 域 的 一 个 热 点 问 题 很 多 重 要 的 应 用 都 需 要 这 项 技 术, 如 视 频 监 控 和 人 机 交 互 等 但 由 于 在 实 际 情 况 中 受 到 遮 挡 视 角 变 化 个 体 动 作 差 异 和 服 饰 变 化 等 因 素 的 影 响, 动 作 的 分 析 与 识 别 存 在 着 相 当 的 难 度, 一 直 都 是 计 算 机 视 觉 领 域 的 一 个 难 题 和 热 点 问 题 而 人 类 在 动 作 的 理 解 方 面 却 毫 不 费 力, 一 瞥 之 间 就 可 以 对 动 作 作 出 准 确 的 判 断 这 一 巨 大 差 距 促 使 我 们 对 动 作 的 结 构 进 行 了 进 一 步 的 研 究 在 这 项 研 究 中, 我 们 通 过 上 下 文 无 关 的 语 法 (Context free grammar) 对 动 作 的 层 次 化 时 空 结 构 进 行 建 模 通 过 时 空 点 的 组 合 关 系 反 映 动 作 的 规 则 程 度, 将 动 作 结 构 语 法 分 为 三 类 : 强 关 系 弱 关 系 和 共 生 关 系, 并 对 这 些 关 系 采 用 不 同 的 统 计 模 型 算 法 通 过 自 底 向 上 的 结 构 语 法 检 测 和 自 顶 向 下 的 歧 义 语 法 剪 除 这 两 个 过 程, 构 建 紧 致 的 动 作 解 析 树, 完 成 对 动 作 结 构 的 解 译 实 验 表 明, 这 种 考 虑 动 作 元 素 之 间 时 空 关 系 以 及 它 们 之 间 的 高 阶 统 计 特 性 的 方 法, 可 以 大 大 地 提 高 动 作 识 别 的 准 确 性 另 外, 我 们 将 计 算 复 杂 度 比 较 高 的 时 空 兴 趣 点 换 成 复 杂 度 低 但 对 感 知 非 常 重 要 的 两 种 特 征 : 光 流 和 边 缘 特 征 更 新 后 的 模 型 可 以 对 视 频 中 的 动 作 进 行 实 时 检 测 这 种 实 时 性 效 果 在 很 多 应 用 中 都 非 常 重 要, 但 是 在 动 作 识 别 领 域 却 一 直 被 忽 略 与 上 述 工 作 相 关 的 论 文 分 别 发 表 在 2011 年 IJCV 2012 和 2013 年 的 IEEE-CVPR 上
AVS 高 清 立 体 实 时 编 码 系 统 随 着 3D 视 频 应 用 的 推 广, 支 持 3D 视 频 采 集 和 压 缩 的 编 码 器 成 为 3D 视 频 应 用 系 统 中 不 可 缺 少 的 重 要 一 环 因 此, 实 现 AVS-3D 高 清 实 时 编 码 器 平 台 的 研 发, 可 验 证 AVS 标 准 在 3D 视 频 应 用 中 的 可 行 性, 同 时 也 可 对 3D 视 频 应 用 链 的 验 证 具 有 重 要 意 义 AVS 3D 高 清 实 时 编 码 器 不 仅 需 要 具 有 一 般 编 码 器 的 基 本 架 构, 同 时 还 需 要 支 持 双 路 视 频 采 集 及 拼 接 的 功 能, 因 此,AVS3D 高 清 实 时 编 码 器 的 原 理 如 下 图 所 示 : 从 应 用 的 角 度 考 虑, 通 过 两 种 方 法 实 现 对 立 体 视 频 编 码 的 支 持 : 方 法 一 是 对 左 右 视 点 的 两 路 视 频 信 号 进 行 联 合 编 码, 用 其 中 一 路 信 号 对 另 一 路 进 行 预 测, 可 以 支 持 全 高 清 立 体 视 频 与 左 右 视 点 分 别 独 立 编 码 相 比, 联 合 编 码 能 显 著 提 高 编 码 效 率 ; 与 一 路 视 频 信 号 编 码 相 比, 左 右 视 点 独 立 编 码 的 码 率 增 加 一 倍, 而 联 合 编 码 的 码 率 增 加 不 超 过 50% 方 法 二 是 采 用 拼 接 方 式 实 现 立 体 视 频 编 码, 即 首 先 在 视 频 采 集 端 将 两 个 视 点 的 原 始 数 据 拼 接 得 到 一 路 视 频 信 号, 然 后 再 对 拼 接 后 的 一 路 视 频 信 号 进 行 编 码, 立 体 视 频 常 用 的 拼 接 方 法 有 三 种, 分 别 为 对 行 的 下 采 样 对 列 的 下 采 样 和 对 奇 偶 场 的 提 取 后 进 行 拼 接
AVS 多 路 标 清 实 时 编 转 码 系 统 研 制 编 解 码 系 统 技 术 研 究 研 制 的 AVS 多 路 标 清 实 时 编 转 码 系 统, 实 现 将 实 时 采 集 的 音 视 频 流 编 码 成 符 合 AVS 标 准 的 码 流, 或 将 实 时 MPEG2 码 流 转 码 成 符 合 AVS 标 准 的 码 流 该 系 统 是 完 全 符 合 AVS 国 家 标 准 (GB/T20090.2-2006) 的 广 播 级 编 码 器, 可 以 将 多 套 节 目 源 经 过 采 集 / 解 码 编 码 复 用, 输 出 标 准 的 TS over IP/ASI 传 输 流, 可 广 泛 应 用 于 DTMB 地 面 数 字 电 视 DVB-C 有 线 电 视 DVB-S 卫 星 广 播 电 视 以 及 IPTV 网 络 电 视 等 领 域 根 据 AVS 多 路 标 清 实 时 编 转 码 原 型 系 统 定 制 的 AVS 多 路 标 清 实 时 编 转 码 器 实 物 图 如 下 图 所 示 : AVS 多 路 标 清 实 时 编 转 码 器 具 备 以 下 功 能 : 完 全 符 合 AVS P2 Jizhun Profile 标 准 编 码 支 持 四 路 编 码 或 八 路 转 码 或 两 种 模 式 组 合 专 业 级 降 噪 算 法 去 隔 行 算 法, 用 户 可 配 置 支 持 多 分 辨 率 转 换 和 多 种 编 码 方 式, 用 户 可 配 置 精 准 高 效 的 码 流 控 制 算 法, 输 出 的 码 率 平 滑 稳 定 PID PSI/SI 可 配 置, 用 户 可 以 预 置 或 自 动 生 成 支 持 以 太 网 或 其 他 远 程 网 络 管 理 方 式 支 持 远 程 升 级 和 运 行 日 志 下 载, 升 级 过 程 简 单 迅 速 支 持 码 流 录 制 和 监 测 参 数 自 动 生 成 可 扩 展 平 滑 升 级 AVS 音 频 DRA 等 音 频 编 码 格 式 可 扩 展 台 标 插 入 广 告 插 入 滚 动 字 幕 等 增 值 功 能 可 扩 展 画 中 画 同 源 不 同 分 辨 率 码 流 输 出 同 源 同 分 辨 率 不 同 码 率 输 出 等 增 值 功 能 可 扩 展 域 内 所 有 编 码 器 的 集 中 控 制 和 通 道 配 置 等 增 值 功 能 可 扩 展 域 内 所 有 编 码 器 的 集 中 监 测 多 画 面 监 测 码 率 波 动 分 析 三 级 监 测 声 光 报 警 等 增 值 功 能
AVS 地 面 数 字 电 视 广 播 系 统 基 于 数 字 视 频 AVS 国 家 标 准 和 地 面 传 输 DTMB 国 家 标 准, 建 立 了 AVS 地 面 双 国 标 数 字 电 视 广 播 系 统, 实 现 了 多 节 目 流 到 AVS 码 流 的 实 时 编 码 和 转 码, 可 在 单 频 点 上 实 现 高 达 16 路 的 AVS 节 目 广 播 该 系 统 已 经 成 功 使 用 在 古 巴 国 家 地 面 数 字 电 视 广 播 示 范 项 目 中, 有 力 地 推 动 AVS 国 标 的 国 际 化 推 广 应 用 系 统 具 有 如 下 特 点 : 具 备 ASI 输 入 接 口, 单 设 备 可 实 现 单 频 点 多 路 MPEG-2 TS 的 到 AVS 的 转 码, 最 多 支 持 1 套 高 清 或 8 套 标 清 节 目 具 备 多 频 点 接 收 机, 支 持 多 路 ASI/ABS/DVB-S/DVB-S2 输 入 接 口, 实 现 多 卫 星 频 道 MPEG-2 TS 到 AVS 的 转 码, 单 设 备 最 多 支 持 8 套 节 目 具 备 IP 输 入 接 口, 支 持 IP 输 入 的 单 路 高 清 和 多 路 标 清 的 转 码, 单 设 备 最 多 支 持 8 套 节 目 具 备 SDI 输 入 接 口, 支 持 原 始 YUV 序 列 通 过 SDI 输 入 的 单 路 高 清 和 2 路 标 清 的 编 码 具 备 ASI 输 出 接 口, 支 持 单 路 AVS TS 输 出 具 备 IP 多 路 复 用 器, 支 持 两 路 ASI 输 出 接 口, 实 现 1~2 频 点 多 路 AVS TS 输 出, 最 多 支 持 16 套 节 目 具 备 IP 输 出 接 口, 单 设 备 支 持 最 多 8 组 单 路 AVS TS 组 播 输 出
基 于 AVS 的 3DTV 播 出 演 示 验 证 系 统 将 AVS 高 清 立 体 实 时 编 码 器 及 各 关 键 设 备 进 行 集 成 调 试 优 化 搭 建 3DTV 播 出 演 示 验 证 系 统, 该 系 统 实 现 了 稳 定 的 3D 电 视 (3DTV) 的 直 播 录 播 和 点 播 三 大 功 能, 已 成 功 广 州 亚 运 会 部 分 场 馆 的 3D 电 视 转 播, 为 AVS 产 业 化 应 用 提 供 了 保 障 3DTV 直 播 是 利 用 一 台 AVS 高 清 实 时 立 体 视 频 编 码 器, 将 对 一 套 3D 立 体 拍 摄 系 统 拍 摄 的 左 右 视 双 路 HD-SDI 视 频 信 号 和 音 频 信 号 实 时 编 码 成 AVS 3D 节 目, 再 通 过 ASI 播 出 卡 实 时 传 输 到 统 计 复 用 器 ; 3DTV 录 播 是 利 用 AVS 视 频 播 出 服 务 器, 将 已 经 录 制 好 的 AVS 3D 节 目 通 过 ASI 播 出 卡 实 时 传 输 到 统 计 复 用 器 ; 统 计 复 用 器 再 将 直 播 流 和 录 播 流 实 时 复 用, 再 通 过 QAM 调 制 器 进 入 有 线 网 络 ; 终 端 AVS 高 清 机 顶 盒 接 收 3DTV 节 目, 进 行 解 调 和 AVS 3D 解 码, 输 出 到 立 体 电 视 机, 用 户 通 过 立 体 眼 镜 观 看 3DTV; 3DTV 点 播 是 利 用 AVS 视 频 播 出 服 务 器, 将 已 经 录 制 好 的 AVS 3D 节 目, 建 立 基 于 HTTP 协 议 的 点 播 服 务 ; 终 端 PC 机 通 过 互 联 网 或 者 局 域 网 点 播 3DTV 节 目, 进 行 AVS 3D 解 码, 输 出 到 立 体 显 示 器, 用 户 通 过 立 体 眼 镜 观 看 3DTV 节 目
高 性 能 EPGen 芯 片 EPGen 将 多 路 标 清 / 高 清 视 频 拼 接 为 一 路 视 频 并 叠 加 若 干 图 层, 最 终 形 成 一 路 标 清 / 高 清 视 频 输 出, 其 显 示 结 果 如 右 图 所 示 可 用 于 需 要 在 一 个 视 频 窗 内 呈 现 多 个 视 频 的 应 用 场 合, 如 TV 广 播 视 频 监 控 视 频 会 议 和 编 码 预 处 理 等 EPGen 系 统 主 要 由 Capture 模 块 DDR 及 其 控 制 器 模 块 BLIT 位 块 传 送 模 块 Display 模 块 组 成, 如 左 图 所 示 芯 片 已 基 于 FPGA 实 现, 主 要 功 能 如 下 : 支 持 16 路 高 清 标 清 或 者 高 清 / 标 清 混 合 输 入 高 清 视 频 格 式 支 持 符 合 SMPTE274 和 SMPTE296 的 各 种 格 式 标 清 视 频 格 式 支 持 PAL 和 NTSC 支 持 6 个 图 层 叠 加, 其 中 包 括 一 个 背 景 层 两 个 视 频 层 以 及 三 个 图 像 层 图 像 层 支 持 AYUV8888 ARGB8888 等 图 像 格 式, 可 以 叠 加 音 柱 字 幕 和 台 标 等 图 层 并 动 态 显 示 每 一 路 的 视 频 在 进 行 拼 接 时 其 位 置 和 大 小 可 由 配 置 寄 存 器 来 配 置 每 个 图 像 层 的 叠 加 次 序 也 可 配 置
AVS+ 高 清 视 频 编 码 SoC 芯 片 配 合 广 电 高 清 视 频 行 业 标 准 AVS+ 的 产 业 化 工 作, 与 博 雅 华 录 公 司 合 作 研 制 AVS+ 高 清 视 频 编 码 SoC 芯 片, 实 验 室 负 责 AVS+ 高 清 视 频 编 码 芯 片 IP 核 的 研 制, 博 雅 华 录 公 司 负 责 SoC 系 统 结 构 设 计 VPP: video pre-processor Scaler: 1-1/8 scaling down TSM: TS muxer VIA/B/C/D: four Video input capture to support 4 SD capture SFC: SPI flash controller MC DDR2: DDR2 memory controller 目 前, 已 完 成 AVS+ 高 清 视 频 编 码 芯 片 IP 核 的 算 法 设 计 C model 和 RTL 实 现 及 仿 真 工 作 ( 上 图 所 示 ),SoC 系 统 结 构 设 计 验 证 完 毕, 正 在 将 AVS+ 高 清 视 频 编 码 芯 片 IP 核 集 成 到 SoC 系 统 进 行 芯 片 流 片 前 的 验 证 工 作, 计 划 今 年 8 月 投 片 生 产, 芯 片 功 能 如 下 : 支 持 AVS 视 频 标 准 基 准 (AVS-P2 Jizhun) 广 电 行 标 (AVS+) 监 控 标 准 (AVS- S,IEEE-SA:Standard for Advanced Video Coding) 的 实 时 高 清 视 频 编 码 支 持 1 路 1080P@30 高 清 或 4 路 标 清 视 频 实 时 编 码 处 理 支 持 帧 编 码 模 式 和 场 编 码 模 式 支 持 CBR, VBR 码 率 控 制 方 式 及 帧 级 slice 级 和 宏 块 级 多 层 次 码 率 控 制 机 制 支 持 图 像 缩 放 降 噪 等 预 处 理 功 能 支 持 高 级 熵 编 码 AEC 和 2D-VLC 编 码 技 术 支 持 帧 级 自 适 应 加 权 量 化 技 术 及 P B 场 增 强 技 术 支 持 多 路 AVS 码 流 复 用 及 TS 流 实 时 输 出 支 持 Host 实 时 配 置 和 离 线 调 试 模 式 支 持 AVS 音 视 频 码 流 同 步 和 混 合 输 出