ISSN 1000-9825, CODEN RUXUEW E-mal: jos@scas.ac.cn Journal of Software, Vol.19, No.8, August 2008, pp.1995 2003 http://www.jos.org.cn DOI: 10.3724/SP.J.1001.2008.01995 Tel/Fax: +86-10-62562563 2008 by Journal of Software. All rghts reserved. 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 + 肖 俊, 庄 越 挺, 吴 飞 ( 浙 江 大 学 计 算 机 学 院 人 工 智 能 研 究 所, 浙 江 杭 州 310027) Feature Vsualzaton and Interactve Segmentaton of 3D Human Moton XIAO Jun, ZHUANG Yue-Tng, WU Fe + (Insttute of Artfcal Intellgence, College of Computer Scence and Technology, Zhejang Unversty, Hangzhou, 310027, Chna) + Correspondng author: E-mal: wufe@cs.zju.edu.cn Xao J, Zhuang YT, Wu F. Feature Vsualzaton and nteractve segmentaton of 3D human moton. Journal of Software, 2008,19(8):1995 2003. http://www.jos.org.cn/1000-9825/19/1995.htm Abstract: In order to get prmtve actons for anmaton producton, ths paper proposes a vsualzaton and nteractve segmentaton method for 3D human moton sequences. Frstly, a new feature based on bone angles of human skeleton s used to represent the orgnal moton data. Then a heurstc method s ntroduced to detect the canddate segmentaton ponts on the feature sequence. Fnally, a graphcal user nterface s created to vsualze the canddate segmentaton ponts and pck the precse segmentaton ponts nteractvely. Expermental results show that ths method can dvde moton sequence nto prmtve actons more convenently, effcently and precsely. Key words: human moton data; vsualzaton; nteractve segmentaton; bone angle 摘 要 : 为 了 从 运 动 序 列 中 提 取 不 同 类 型 的 运 动 片 段 进 行 人 体 动 画 创 作, 提 出 一 种 三 维 人 体 运 动 数 据 可 视 化 与 交 互 式 分 割 技 术. 首 先, 采 用 人 体 各 主 要 骨 骼 夹 角 作 为 对 原 始 运 动 数 据 的 几 何 特 征 表 示, 并 提 出 一 种 启 发 式 方 法 自 动 检 测 其 潜 在 分 割 点, 最 后 将 提 取 的 运 动 特 征 可 视 化 并 使 用 可 交 互 用 户 界 面 对 其 进 行 精 确 分 割. 实 验 结 果 表 明, 该 特 征 表 示 及 交 互 式 分 割 方 法 能 够 更 加 方 便 准 确 高 效 地 对 包 含 多 种 类 型 的 长 序 列 三 维 人 体 运 动 数 据 进 行 分 割. 关 键 词 : 人 体 运 动 数 据 ; 可 视 化 ; 交 互 式 分 割 ; 骨 骼 夹 角 中 图 法 分 类 号 : TP391 文 献 标 识 码 : A 近 年 来, 运 动 捕 获 设 备 的 普 及 使 得 大 量 真 实 感 3D 人 体 运 动 数 据 的 获 取 成 为 可 能. 这 些 数 据 被 大 量 应 用 于 计 算 机 游 戏 动 画 制 作 及 运 动 仿 真 等 多 个 领 域, 并 且 大 型 人 体 运 动 数 据 库 也 已 出 现 [1]. 与 传 统 多 媒 体 数 据 ( 如 图 像 视 频 音 频 ) 相 比, 成 规 模 的 三 维 人 体 运 动 数 据 是 近 年 来 随 着 运 动 捕 获 设 备 的 普 及 而 大 量 涌 现 的, 因 此, 针 对 原 始 采 集 得 到 的 长 序 列 三 维 人 体 运 动 数 据 的 自 动 / 半 自 动 分 割 元 数 据 标 注 甚 至 检 索 技 术 还 不 多 见, 但 正 逐 渐 成 为 Supported by the Natonal Natural Scence Foundaton of Chna for Dstngushed Young Scholars under Grant No.60525108 ( 国 家 杰 出 青 年 科 学 基 金 ); the Natonal Key Technology R&D Program of Chna under Grant No.2007BAH11B00 ( 国 家 科 技 支 撑 计 划 项 目 ); the Natonal Hgh-Tech Research and Development Plan of Chna under Grant Nos.2006AA010107, 2006AA01Z303 ( 国 家 高 技 术 研 究 发 展 计 划 (863)), the Program for Changjang Scholars and Innovatve Research Team n Unversty of Chna under Grant No.IRT0652 ( 长 江 学 者 和 创 新 团 队 发 展 计 划 ) Receved 2008-01-08; Accepted 2008-04-18
1996 Journal of Software 软 件 学 报 Vol.19, No.8, August 2008 近 些 年 的 研 究 热 点. 相 对 于 传 统 多 媒 体 数 据, 三 维 人 体 运 动 数 据 具 有 其 自 身 的 特 点, 主 要 存 在 于 :(1) 数 据 采 样 率 高, 最 新 的 光 学 运 动 捕 获 设 备 最 高 可 达 2 000 帧 /s, 产 生 的 数 据 量 巨 大 ;(2) 三 维 人 体 运 动 数 据 流 是 结 构 化 数 据 且 具 有 一 定 物 理 意 义 ( 即 表 示 了 人 体 各 主 要 关 节 点 位 置 信 息 ), 这 为 进 一 步 对 其 进 行 结 构 化 分 析 与 理 解 奠 定 了 基 础. 本 文 的 研 究 主 要 针 对 三 维 人 体 运 动 数 据 提 出 一 种 有 效 的 几 何 特 征 表 示 以 对 其 直 观 可 视 化 并 进 行 交 互 式 分 割, 能 够 提 高 三 维 人 体 运 动 数 据 预 处 理 与 结 构 化 分 析 的 效 率, 并 为 下 一 步 的 运 动 数 据 检 索 提 供 帮 助. [2] 到 目 前 为 止, 国 内 外 已 有 一 些 学 者 提 出 了 对 长 序 列 三 维 人 体 运 动 的 分 割 技 术.2001 年,Wang 等 人 使 用 隐 [3] 马 尔 可 夫 模 型 对 人 体 运 动 数 据 序 列 进 行 分 割 与 聚 类.2003 年,Arkan 等 人 基 于 一 组 手 工 标 注 的 训 练 样 本 构 建 支 持 向 量 机 分 类 器, 用 于 人 体 运 动 序 列 的 自 动 标 注, 该 方 法 也 可 同 样 用 于 人 体 运 动 序 列 的 自 动 分 割.2004 [4,5] 年,Kanav 等 人 提 出 了 层 次 行 为 分 割 算 法, 使 用 一 个 动 态 层 次 数 据 结 构 表 示 人 体 运 动 数 据, 进 而 采 用 简 单 贝 叶 斯 分 类 器 用 于 运 动 分 割, 但 这 种 方 法 在 很 大 程 度 上 依 赖 于 训 练 样 本 和 来 自 于 专 家 的 经 验 数 据. 同 样, 在 2004 [6] 年,Lu 等 人 提 出 一 种 双 阈 值 多 维 分 割 算 法, 用 于 将 复 杂 人 体 行 为 序 列 自 动 分 解 为 一 个 简 单 动 态 线 性 模 型 序 列, 但 这 种 算 法 仅 适 用 于 周 期 性 行 为 数 据, 并 不 是 一 种 具 有 普 适 性 的 运 动 数 据 分 割 方 法. [7] 2004 年,Jernej 等 人 认 为 不 同 类 型 的 人 体 运 动 数 据 应 该 具 有 不 同 的 内 在 维 度, 从 而 基 于 PCA 子 空 间 分 析 理 论 构 建 了 一 个 运 动 数 据 分 割 器, 当 运 动 数 据 的 子 空 间 模 型 内 在 维 度 发 生 变 化 时 进 行 分 割. 进 一 步 地, 基 于 不 同 类 型 运 动 数 据 具 有 不 同 高 斯 分 布 模 型 的 假 设, 还 提 出 了 基 于 PPCA 的 运 动 数 据 分 割 方 法. 这 两 种 算 法 效 果 良 好, 但 运 算 效 率 较 低. 除 此 之 外,Jernej 等 人 还 认 为, 不 同 类 型 的 运 动 数 据 会 形 成 独 立 的 聚 类, 且 每 个 聚 类 可 以 采 用 一 个 统 一 的 高 斯 分 布 模 型 来 表 示, 并 基 于 此 假 设 提 出 了 基 于 混 合 高 斯 模 型 运 动 数 据 分 割 算 法, 但 是 这 种 算 法 的 缺 点 在 于, 进 行 运 动 数 据 分 割 时 需 由 用 户 指 定 待 分 割 的 运 动 片 断 数 目. 通 过 分 析 可 以 看 出, 上 述 所 有 方 法 均 对 原 始 运 动 数 据 直 接 建 模 以 达 到 运 动 分 割 目 的, 这 导 致 两 个 问 题 的 出 现 :(1) 原 始 运 动 数 据 维 度 较 高, 影 响 计 算 效 率 ;(2) 原 始 运 动 帧 虽 然 能 够 精 确 表 示 三 维 人 体 运 动 姿 态, 但 在 进 行 相 似 度 判 别 时, 对 逻 辑 相 似 姿 态 不 能 进 行 良 好 的 判 别. 针 对 上 述 问 题, 本 文 首 先 定 义 一 组 人 体 主 要 骨 骼 之 间 的 几 何 特 征 以 表 示 原 始 三 维 人 体 运 动 序 列, 并 将 其 转 换 为 一 维 特 征 信 号 序 列, 进 而 采 用 启 发 式 方 法 对 其 潜 在 分 割 点 进 行 自 动 标 注, 最 后 利 用 交 互 手 段 实 现 其 精 确 分 割. 1 运 动 序 列 的 几 何 特 征 提 取 本 文 所 采 用 的 人 体 骨 架 模 型 如 图 1(a) 所 示. Head RShould RElbow RHand RHp Neck Chest LShould LElbow Root LHand LHp Rght up arm Rght low arm Rght up leg Center Left up arm Left low arm Left up leg RKnee RAnkle LKnee LAnkle (a) Human skeleton (a) 人 体 骨 架 Fg.1 图 1 Rght low leg (b) Skeleton segments (b) 骨 骼 段 Left low leg 如 果 将 捕 获 得 到 的 人 体 运 动 数 据 视 为 由 离 散 时 间 点 采 样 得 到 的 人 体 姿 势 序 列, 每 个 采 样 点 为 一 帧, 则 每 一
肖 俊 等 : 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 1997 (1) (1) (2) (16) (1) 3 帧 的 姿 势 由 16 个 关 节 点 共 同 决 定. 在 任 意 帧 时 刻, 人 体 姿 势 表 示 为 F = ( p, r, r,..., r ), 其 中 : p P 及 (1) 3 ( ) r R 分 别 表 示 Root 关 节 点 的 位 置 和 方 向, 即 平 移 量 及 旋 转 量 ; r j R 3, j = 2,...,16 表 示 非 Root 关 节 点 的 方 向 ( 旋 转 量 ). 根 据 人 体 骨 架 中 各 关 节 点 的 相 互 关 系, 在 任 意 时 刻, 人 体 骨 架 中 任 意 非 Root 关 节 点 N j 的 位 置 可 以 通 过 三 维 变 换 公 式 得 到 : ( j) ( root ) ( root ) ( grandparent) ( grandparent ) ( parent) ( parent) ( j) p = T R... T0 R ( t) T0 R p (1) 0 ( ) 其 中, p j ( root ) ( root) 表 示 时 刻 关 节 N j 的 世 界 坐 标 ; T, R 分 别 表 示 时 刻 Root 关 节 点 的 平 移 和 旋 转 变 换 矩 阵, 分 别 (1) (1) ( k ) 由 p, r 生 成 ; T0 表 示 初 始 时 关 节 N k (N k 为 树 形 人 体 骨 架 中, 从 根 结 点 到 结 点 N j 之 间 的 任 意 结 点 ) 在 其 父 关 节 ( k ) k 点 所 在 局 部 坐 标 系 下 偏 移 量 生 成 的 平 移 变 换 矩 阵 ; R 表 示 时 刻 关 节 点 N k (N k 取 值 同 上 ) 的 旋 转 变 换 矩 阵, 由 r ( j) 生 成 ; p 表 示 初 始 时,N 0 j 在 其 父 结 点 所 在 局 部 坐 标 系 下 的 偏 移 量. [8] 在 三 维 人 体 运 动 数 据 处 理 中, 国 内 外 已 有 学 者 提 出 多 种 不 同 三 维 人 体 运 动 特 征 表 示 方 法. 如 沈 军 行 等 人 将 人 体 各 关 节 上 总 的 旋 转 变 化 作 为 原 始 运 动 数 据 的 特 征 表 示, 并 通 过 帧 间 距 离 的 比 较 来 实 现 运 动 数 据 关 键 帧 [9] 提 取. 冯 林 等 人 提 出 了 运 动 能 量 模 型 作 为 对 原 始 运 动 数 据 的 特 征 表 示, 用 于 三 维 人 体 运 动 检 索. 但 上 述 特 征 并 [10] 不 能 直 观 地 反 映 原 始 运 动 数 据 的 几 何 特 征, 因 此 限 制 了 其 在 运 动 分 割 领 域 的 应 用. 此 外, 刘 丰 等 人 采 用 层 次 化 [11] 运 动 描 述, 把 人 的 关 节 点 分 为 5 层 表 示 ;Lee 等 人 提 出 一 种 两 层 运 动 特 征 的 方 法, 底 层 用 Markov 模 型 表 达 运 动 特 征, 捕 获 运 动 细 节, 高 层 是 运 动 数 据 的 归 纳, 表 征 帧 的 分 布 和 转 换. 这 两 种 运 动 特 征 表 示 方 法 对 原 始 运 动 数 据 [12] 进 行 了 归 纳, 但 所 表 示 的 运 动 物 理 特 征 不 明 显.Mueller 等 人 根 据 人 体 关 节 之 间 的 空 间 几 何 关 系 总 结 出 31 种 人 体 运 动 几 何 特 征. 这 些 特 征 虽 然 能 够 很 好 地 表 示 出 运 动 的 几 何 特 性, 但 是 特 征 类 型 过 多 且 计 算 复 杂, 难 以 保 证 计 算 的 高 效 性. 通 过 对 大 量 人 体 运 动 数 据 的 观 测 发 现, 人 体 运 动 类 型 主 要 由 四 肢 骨 骼 及 中 心 骨 骼 的 相 对 位 置 关 系 来 决 定. 此 外, 人 体 骨 架 四 肢 部 分 在 人 体 运 动 中 变 化 最 明 显, 且 在 运 动 描 述 上 更 具 逻 辑 性, 因 此, 本 文 将 运 动 描 述 从 关 节 层 上 升 到 骨 骼 层, 将 人 体 骨 架 中 四 肢 部 分 的 8 段 骨 骼 作 为 特 征 表 示 对 象, 提 取 这 8 段 骨 骼 与 由 Root 关 节 和 Chest 关 节 组 成 的 中 心 骨 骼 之 间 的 夹 角 作 为 运 动 几 何 特 征 ( 人 体 四 肢 的 8 段 骨 骼 及 中 心 骨 骼 如 图 1(b) 所 示 ). 定 义 段 骨 ( k) ( k) ( j) ( ) 骼 B 为 由 该 段 骨 骼 中 位 于 人 体 骨 架 较 高 层 关 节 N 指 向 较 低 层 关 节 N j 的 向 量, 即 B = NN j = ( p p ), 其 中, () ( j) p, p 是 关 节 N 和 N j 在 三 维 空 间 中 的 坐 标. 因 此, 在 给 定 帧 时 刻, 任 意 一 段 四 肢 骨 骼 与 中 心 骨 骼 夹 角 的 公 式 计 算 为 ( k ) ( center) ( k ) 1 θ cos B B =, k 1,...,8 ( k ) = (2) ( center) B B 定 义 的 8 段 骨 骼 夹 角 既 能 表 示 三 维 人 体 姿 态 特 征 并 充 分 反 映 人 体 运 动 类 型 变 化, 又 极 大 地 降 低 了 原 始 三 维 人 体 运 动 数 据 维 度. 2 基 于 可 视 化 辅 助 手 段 的 交 互 式 分 割 2.1 潜 在 分 割 点 自 动 检 测 不 同 类 型 运 动 数 据 之 间 的 几 何 特 征 必 然 存 在 一 定 的 差 异. 本 文 正 是 基 于 这 样 一 个 事 实, 试 图 通 过 对 原 始 运 动 数 据 几 何 特 征 表 示 的 分 析 来 进 行 潜 在 分 割 点 的 自 动 检 测. 由 于 人 体 的 不 同 肢 体 部 分 ( 本 文 将 人 体 分 为 8 段 骨 骼 表 示 ) 对 于 不 同 类 型 运 动 的 差 异 贡 献 也 不 同, 因 此 需 要 将 提 取 到 的 八 维 几 何 特 征 作 为 整 体 加 以 考 虑. 我 们 将 提 取 到 的 八 维 几 何 特 征 的 模 作 为 对 每 一 帧 运 动 数 据 ( 姿 态 ) 的 特 征 表 示, 定 义 如 下 : Q θ (3) 其 中,θ 是 公 式 (2) 中 针 对 某 个 运 动 帧 ( 姿 态 ) 提 取 的 八 维 骨 骼 几 何 特 征, 公 式 (3) 的 几 何 意 义 可 以 解 释 为 是 当 前 运 动 姿 态 与 中 性 运 动 姿 态 ( 值 全 为 0 的 八 维 向 量 ) 之 间 的 距 离. 这 样, 一 段 长 度 维 为 n 的 三 维 人 体 运 动 序 列 M 可 以 表 示 为
1998 Journal of Software 软 件 学 报 Vol.19, No.8, August 2008 M = ( Q1, Q2, Q3,..., Q,..., Qn ) (4) 360 可 以 将 M 看 作 是 离 散 的 一 维 时 序 信 号 序 列. 图 2 340 是 一 段 包 含 多 种 不 同 类 型 运 动 数 据 序 列 的 一 维 320 300 特 征 表 示, 其 中 的 小 方 框 为 用 户 手 工 指 定 的 分 280 割 点, 可 以 看 到, 采 用 本 文 提 出 的 几 何 特 征 可 以 260 直 观 地 将 原 始 三 维 运 动 数 据 序 列 表 示 为 一 维 离 240 220 散 信 号, 且 不 同 类 型 运 动 数 据 在 其 中 表 现 出 较 200 为 明 显 的 差 异. 180 0 500 1000 1500 2000 2500 基 于 上 述 一 维 特 征 表 示, 可 以 采 用 启 发 式 Fg.2 Feature representaton of human moton sequence 方 法 自 动 地 进 行 潜 在 分 割 点 检 测, 算 法 步 骤 描 图 2 人 体 运 动 序 列 的 特 征 表 示 述 如 下 : (1) 将 原 始 运 动 序 列 根 据 公 式 (2)~ 公 式 (4) 的 计 算 表 示 为 一 维 离 散 时 序 信 号 序 列 M; (2) 对 得 到 的 离 散 时 序 信 号 M 进 行 低 通 滤 波, 去 除 局 部 高 频 噪 声, 得 到 较 为 平 滑 的 新 时 序 信 号 M ; (3) 对 时 序 信 号 M 进 行 局 部 极 值 检 测 ; (4) 将 相 邻 极 大 极 小 值 之 差 的 绝 对 值 作 为 信 号 振 幅, 如 果 信 号 振 幅 发 生 剧 烈 变 化, 则 将 该 处 的 极 值 点 作 为 潜 在 分 割 点. 上 述 算 法 可 用 如 下 伪 代 码 描 述 : 算 法. 潜 在 分 割 点 检 测 算 法. orgnalmoton=loadmotonfle(*.bvh); // 读 取 bvh 格 式 的 运 动 数 据 文 件 anglefeature=extractangle(orgnalmoton); // 提 取 八 维 骨 骼 夹 角 几 何 特 征, 采 用 公 式 (2) motonsgnal=norm(anglefeature); // 对 八 维 几 何 特 征 取 模, 得 到 一 维 特 征 信 号 序 列 motonsgnal =flter(motonsgnal); // 对 一 维 特 征 信 号 序 列 进 行 低 通 滤 波 extremumidx=cmptextremumidx(motonsgnal ); // 检 测 滤 波 后, 一 维 特 征 信 号 的 局 部 极 值 点 坐 标 ptcanddate=detectcanddatesegpt(extremumidx,param); // 检 测 潜 在 分 割 点 其 中, 函 数 detectcoarsesetpt 定 义 如 下 : Functon ptcanddate=detectcandatesegpt(extremumidx,param) // 输 入 参 数 说 明 如 下 : //extremumidx 是 motonsgnal 中 的 极 大 极 小 值 数 组,extremumIdx() 为 1 表 示 极 大 值,extremumIdx() 为 1 表 // 示 极 小 值, 否 则,extremumIdx() 为 0 //param 参 数 用 于 判 断 振 幅 变 化 是 否 达 到 预 先 定 义 的 阈 值 count=0; for from 1 to length(extremumidx) f extremumidx() s 1 peak1=the nearest local peak value at the left of extremumidx() peak2=the nearest local peak value at the rght of extremumidx() swng1=abs(peak1 extremumidx()); swng2=abs(peak2 extremumidx()); maxswng=max(swng1,swng2); mnswng=mn(swng1,swng2); f mnswng<=param*maxswng count=count+1; ptcanddate(count)=; f extremumidx() s 1
肖 俊 等 : 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 1999 valley1=the nearest local valley value at the left of extremumidx() valley2=the nearest local valley value at the rght of extremumidx() swng1=abs(valley1 extremumidx()); swng2=abs(valley2 extremumidx()); maxswng=max(swng1,swng2); mnswng=mn(swng1,swng2); f mnswng<=param*maxswng count=count+1; ptcanddate(count)=; return pt; 在 潜 在 分 割 点 检 测 函 数 中 需 要 给 定 信 号 跳 变 检 测 参 数 param(0 param 1), 以 判 断 当 前 信 号 的 振 幅 是 否 发 生 了 较 大 变 化. 通 过 对 大 量 不 同 类 型 运 动 数 据 测 试 统 计, 当 取 param=0.5 时 能 够 取 得 较 好 的 效 果. 图 3 给 出 了 如 图 2 所 示 的 一 维 特 征 信 号 经 过 低 通 滤 波 后 的 潜 在 分 割 点 检 测 结 果. 320 310 300 290 280 270 260 250 240 230 0 Canddate segmentaton ponts Local mnmal Local maxmal 500 1000 1500 2000 2500 Fg.3 Detecton result of canddate segmentaton ponts (the feature sgnal has been processed by the low-pass flter) 图 3 潜 在 分 割 点 检 测 结 果 ( 特 征 信 号 已 经 过 低 通 滤 波 ) 2.2 用 户 交 互 式 的 精 确 分 割 点 选 取 对 比 图 2 和 图 3 可 知, 通 过 骨 骼 几 何 特 征 表 示 与 潜 在 分 割 点 自 动 检 测, 系 统 得 到 的 潜 在 分 割 点 均 落 在 正 确 的 运 动 分 割 点 附 近. 因 此, 可 以 构 建 一 个 可 视 化 界 面, 让 用 户 基 于 系 统 自 动 检 出 的 潜 在 分 割 点 交 互 式 地 选 取 精 确 的 分 割 点, 从 而 可 以 避 免 用 户 通 过 浏 览 整 段 运 动 序 列 来 进 行 手 工 分 割. 具 体 实 现 将 在 实 验 结 果 中 加 以 阐 述. 3 实 验 结 果 为 了 验 证 本 文 所 提 出 方 法 的 有 效 性, 首 先 采 用 Matlab 对 核 心 算 法 进 行 实 现 并 封 装 为 C# 可 调 用 的 链 接 库, 进 而 使 用 Vsual C# 开 发 了 一 个 原 型 系 统 用 于 三 维 运 动 数 据 的 特 征 可 视 化 与 交 互 式 数 据 分 割. 此 外, 使 用 Moton Analyss 的 Hawk 光 学 运 动 捕 获 系 统 采 集 了 50 余 段 ( 共 有 93 069 帧 ) 包 含 各 种 不 同 运 动 类 型 的 真 实 感 三 维 人 体 运 动 序 列, 包 括 走 跑 跳 跃 踢 腿 拳 击 擦 窗 户 拖 地 擦 洗 地 板 等 常 见 三 维 人 体 运 动 类 型. 每 段 运 动 序 列 均 包 含 两 种 或 两 种 以 上 不 同 类 型 的 运 动, 且 相 互 之 间 自 然 过 渡. 三 维 运 动 数 据 存 储 为 常 用 的 BVH 文 件 格 式. 实 验 中 对 本 文 提 出 的 骨 骼 夹 角 几 何 特 征 的 有 效 性 潜 在 分 割 点 自 动 检 测 效 率 及 交 互 式 分 割 原 型 系 统 的 可 用 性 等 方 面 分 别 进 行 了 测 试. 3.1 骨 骼 夹 角 几 何 特 征 有 效 性 的 比 较 图 4(a) 和 图 4(b) 分 别 给 出 采 用 原 始 运 动 帧 与 骨 骼 夹 角 几 何 特 征 表 示 的 一 维 特 征 信 号. 该 段 运 动 数 据 中 包 含
2000 Journal of Software 软 件 学 报 Vol.19, No.8, August 2008 两 种 类 型 的 运 动, 分 别 是 敲 打 地 板 与 擦 洗 地 板. 虽 然 两 种 类 型 的 运 动 姿 态 非 常 接 近, 但 是 在 采 用 骨 骼 夹 角 几 何 特 征 表 示 以 后, 其 一 维 特 征 信 号 能 够 得 到 有 效 的 区 别. 这 说 明 骨 骼 夹 角 几 何 特 征 与 原 始 运 动 数 据 相 比, 能 够 更 加 有 效 地 反 映 不 同 运 动 姿 态 的 差 异 并 有 利 于 分 割 点 的 检 测. 此 外, 图 4 中 的 运 动 序 列 包 含 5 个 完 整 周 期 的 敲 击 地 板 行 为 与 4 个 完 整 周 期 的 擦 洗 地 板 行 为. 可 以 直 观 地 看 到, 采 用 骨 骼 夹 角 几 何 特 征 表 示 的 一 维 特 征 信 号 能 够 更 好 地 反 映 运 动 的 周 期 性, 与 原 始 运 动 数 据 特 征 信 号 相 比, 能 够 更 加 准 确 地 反 映 运 动 数 据 的 物 理 意 义. 图 5 给 出 部 分 运 动 序 列 的 分 割 结 果, 其 中 相 似 运 动 片 段 之 间 的 潜 在 分 割 点 均 可 准 确 地 自 动 检 出, 如 图 5(a) 中 的 普 通 走 ( 单 手 挥 手 ) 走 和 ( 双 手 挥 手 ) 走 ; 图 5(b) 中 的 ( 左 右 ) 擦 玻 璃 和 ( 上 下 ) 擦 玻 璃 ; 图 5(c) 中 的 ( 站 立 ) 拳 击 和 ( 蹲 下 ) 拳 击 等. 实 验 结 果 表 明, 骨 骼 夹 角 几 何 特 征 能 够 有 效 区 分 类 型 不 同 但 姿 态 比 较 相 似 的 各 种 运 动 片 段, 保 证 了 运 动 序 列 分 割 的 准 确 性. Segmentaton pont (a) Moton sequence represented by the bone angles (a) 采 用 骨 骼 夹 角 表 示 的 运 动 序 列 Fg.4 图 4 (b) Moton sequence represented by the orgnal moton frame (b) 采 用 原 始 运 动 帧 表 示 的 运 动 序 列 (a) Walk, walk wth wave (one arm) and walk wth wave (two arms) (a) 普 通 走 ( 单 手 ) 挥 手 走 和 ( 双 手 ) 挥 手 走 (b) Left: washng wndow left and rght, rght: washng wndow up and down (b) 左 :( 左 右 ) 擦 玻 璃, 右 :( 上 下 ) 擦 玻 璃 3.2 潜 在 分 割 点 自 动 检 测 效 率 评 估 Fg.5 图 5 (c) Left: standng and punchng, rght: squat and punchng (c) 左 :( 站 立 ) 拳 击, 右 :( 蹲 下 ) 拳 击 潜 在 分 割 点 检 测 的 准 确 性 与 用 户 交 互 效 率 有 着 直 接 关 系, 实 验 中 对 通 过 运 动 捕 获 系 统 采 集 的 50 多 段 长 序 列 三 维 人 体 运 动 数 据 进 行 测 试 以 评 估 其 效 率. 为 了 更 好 地 对 本 文 提 出 的 方 法 进 行 比 较, 用 Matlab 实 现 了 Jernej
肖 俊 等 : 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 2001 等 人 所 提 出 的 基 于 PPCA 的 运 动 分 割 算 法. 评 估 从 计 算 效 率 与 准 确 性 两 个 方 面 进 行. 表 1 给 出 了 两 种 方 法 在 查 全 率 查 准 率 及 时 间 效 率 方 面 的 比 较. 查 全 率 与 查 准 率 均 以 手 工 分 割 结 果 为 标 准 进 行 计 算, 且 将 不 同 运 动 类 型 之 间 的 过 渡 区 域 均 设 置 为 可 分 割 区 域. Table 1 Performance comparson of dfferent segmentaton methods 表 1 不 同 分 割 方 法 运 行 效 率 比 较 Methods Precson (%) Recall (%) Tme (s/clp) Our method 84.9 97.5 2.4 PPCA method 91.5 93.2 10 从 查 准 率 与 查 全 率 来 看, 本 文 所 提 出 的 方 法 能 够 获 得 较 高 的 查 全 率, 但 与 基 于 PPCA 的 方 法 相 比, 查 准 率 相 对 较 低. 这 主 要 是 因 为 :(1) 骼 夹 角 几 何 特 征 能 够 更 好 地 表 示 原 始 运 动 数 据 的 几 何 特 性, 从 而 有 利 于 类 型 不 同 但 姿 态 接 近 的 运 动 数 据 之 间 的 分 割 点 检 测 ( 如 图 4 所 示 ), 这 导 致 较 高 的 查 全 率 ;(2) 本 文 所 采 用 的 启 发 式 检 测 算 法 所 得 到 的 潜 在 分 割 点 数 量 一 般 都 多 于 正 确 分 割 点 数 量 ( 如 图 3 所 示 ), 而 有 的 潜 在 分 割 点 落 在 可 分 割 区 域 以 外, 这 导 致 较 低 的 查 准 率. 但 是, 由 于 得 到 潜 在 分 割 点 之 后, 用 户 还 可 以 通 过 交 互 界 面 进 行 精 确 分 割 点 选 取, 因 此, 较 低 的 查 准 率 并 不 影 响 最 终 分 割 结 果 的 准 确 性, 而 较 高 的 查 全 率 则 保 证 了 漏 检 率 较 低. 从 理 论 上 而 言, 基 于 系 统 自 动 检 出 的 潜 在 分 割 点 通 过 用 户 交 互 后, 分 割 准 确 率 最 高 可 达 97.5%. 表 1 最 后 一 列 给 出 两 种 方 法 进 行 分 割 的 时 间 效 率 比 较, 这 里, 每 一 个 clp 是 指 被 分 割 出 的 一 个 运 动 片 段, 即 被 判 断 为 某 个 相 同 类 型 的 连 续 运 动 帧 集 合. 平 均 耗 时 由 测 试 数 据 集 中 所 有 运 动 数 据 分 割 点 检 测 耗 时 总 和 除 以 检 出 的 运 动 片 段 数 量 计 算 得 到. 从 时 间 效 率 来 看, 由 于 本 文 所 采 取 方 法 的 计 算 复 杂 度 与 运 动 序 列 长 度 成 线 性 关 系, 而 PPCA 方 法 对 于 一 个 长 度 为 N 待 检 测 运 动 类 型 个 数 为 M 的 运 动 序 列, 需 执 行 (N-M S) 次 完 整 的 PPCA 分 割 算 法. 其 中,S 是 一 个 常 数, 用 于 确 定 构 建 初 始 PCA 子 空 间 所 需 的 运 动 片 段 长 度. 而 完 整 的 PPCA 分 割 算 法 包 括 PCA 子 空 间 构 建 高 斯 建 模 Mahalanobs 距 离 计 算 等 一 系 列 较 为 复 杂 的 算 法 流 程, 这 是 导 致 其 运 算 效 率 低 下 的 主 要 原 因. 3.3 人 体 运 动 数 据 可 视 化 与 交 互 式 分 割 原 型 系 统 为 了 方 便 用 户 基 于 系 统 自 动 检 出 的 潜 在 分 割 点 进 行 精 确 分 割 点 的 选 取, 采 用 Vsual C# 开 发 了 一 个 可 视 化 的 用 户 交 互 界 面, 如 图 6 所 示. Fg.6 The prototype system of nteractve segmentaton for 3D human moton 图 6 三 维 人 体 运 动 交 互 式 分 割 原 型 系 统
2002 Journal of Software 软 件 学 报 Vol.19, No.8, August 2008 应 用 过 程 中 用 户 首 先 载 入 待 分 割 三 维 人 体 运 动 数 据, 界 面 中 的 播 放 窗 口 及 控 制 按 钮 方 便 用 户 浏 览 整 个 三 维 人 体 运 动 序 列, 或 者 在 精 确 分 割 点 选 取 时 用 于 查 看 潜 在 分 割 点 附 近 的 人 体 姿 态. 用 户 可 以 自 己 设 定 信 号 跳 变 检 测 参 数 进 行 潜 在 分 割 点 检 测. 原 始 运 动 数 据 的 一 维 特 征 信 号 及 检 出 的 潜 在 分 割 点 在 界 面 下 方 的 窗 口 中 进 行 了 可 视 化. 用 户 可 以 交 互 式 地 对 潜 在 分 割 点 ( 以 虚 线 表 示 ) 进 行 删 除 插 入 拖 动 等 操 作. 可 以 看 到, 界 面 下 方 的 窗 口 对 整 段 三 维 运 动 数 据 的 一 维 特 征 信 号 进 行 了 可 视 化 并 提 供 交 互 式 工 具 进 行 精 确 分 割 点 选 取, 这 使 得 用 户 不 必 通 过 播 放 器 浏 览 整 段 三 维 人 体 运 动 序 列 就 可 以 方 便 快 速 精 确 地 进 行 数 据 分 割. 图 7 给 出 了 部 分 较 长 运 动 序 列 的 分 割 结 果. (a) Walk, sde-walk, sweepng floor, knockng floor, washng floor and washng wndow (a) 走 ( 侧 身 ) 走 拖 地 敲 击 地 板 擦 洗 地 板 擦 玻 璃 (b) Punchng, jumpng, walkng, punchng, walkng and kckng (b) 拳 击 跳 跃 走 拳 击 走 和 踢 腿 (c) Wavng, punchng, sde kckng and front kckng (c) 挥 手 拳 击 ( 侧 ) 踢 腿 ( 前 ) 踢 腿 Fg.7 Segmentaton results for dfferent moton sequences 图 7 不 同 运 动 序 列 分 割 结 果 4 总 结 本 文 首 先 提 出 一 种 骨 骼 夹 角 几 何 特 征 用 于 表 示 三 维 人 体 运 动 数 据 序 列, 与 原 始 运 动 数 据 相 比, 该 特 征 能 够 更 加 有 效 地 反 映 运 动 序 列 的 几 何 与 物 理 意 义 并 对 其 进 行 直 观 的 可 视 化. 其 次, 基 于 该 几 何 特 征 采 用 一 个 启 发 式 方 法 进 行 潜 在 分 割 点 检 测, 并 利 用 可 视 化 的 用 户 交 互 界 面 对 其 进 行 精 确 分 割. 实 验 结 果 表 明, 与 现 有 方 法 相 比, 采 用 本 文 所 提 出 的 特 征 表 示 及 交 互 式 分 割 方 法 能 够 更 加 准 确 高 效 地 对 包 含 多 种 类 型 的 长 序 列 三 维 人 体 运 动 数 据 进 行 分 割. 今 后 的 工 作 主 要 包 括 3 个 方 面 : 第 一, 探 索 更 好 的 潜 在 分 割 点 检 测 算 法 以 提 高 其 查 准 率, 这 将 有 助 于 减 少 用 户 的 交 互 操 作, 进 一 步 提 高 效 率 ; 第 二, 如 果 一 个 运 动 序 列 包 含 了 很 多 不 同 类 型 的 运 动 片 断, 而 用 户 又 只 想 抽 取 其 中 的 1 个 或 者 几 个 片 断 使 用, 就 没 有 必 要 对 整 个 运 动 序 列 进 行 分 割, 因 此, 在 今 后 的 工 作 中 可 以 考 虑 加 入 一 些 新 的 用 户 交 互 方 式, 即 当 用 户 对 包 含 较 多 不 同 类 型 运 动 片 断 的 运 动 序 列 进 行 浏 览 时, 能 够 对 其 中 感 兴 趣 的 1 帧 或 者 几 帧 数 据 进 行 选 取, 这 样, 分 割 算 法 就 能 将 包 含 用 户 指 定 数 据 的 运 动 片 断 自 动 抽 取 出 来 ; 第 三, 以 所 提 出 的 骨 骼 夹 角 几 何 特 征 表 示 为 基 础, 探 索 新 的 基 于 内 容 的 三 维 人 体 运 动 检 索 技 术.
肖 俊 等 : 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 2003 致 谢 在 此, 我 们 向 对 本 文 的 工 作 给 予 支 持 和 建 议 的 同 行, 特 别 是 课 题 组 的 陈 成 与 杨 易 同 学 对 本 文 的 研 究 工 作 所 给 予 的 帮 助 表 示 感 谢. References: [1] http://mocap.cs.cmu.edu/ [2] Wang TS, Shum HY, Xu YQ, Zheng NN. Unsupervsed analyss of human gestures. In: Goos G, Hartmans J, van Leeuwen J, eds. Proc. of the IEEE Pacfc-Rm Conf. on Multmeda 2001. Bejng: Sprnger-Verlag, 2001. 174 181. [3] Arkan O, Forsyth DA, O Bren J. Moton synthess from annotatons. ACM Trans. on Graphcs, 2003,33(3):402 408. [4] Kahol K, Trpath P, Panchanathan S, Rkaks T. Gesture segmentaton n complex moton sequences. In: Torres L, ed. Proc. of the Int l Conf. on Image Processng 2003, Vol.2. Barcelona: IEEE Computer Socety, 2003. 105 108. [5] Kahol K, Trpath P, Panchanathan S. Automated gesture segmentaton from dance sequences. In: Lee SW, ed. Proc. of the Int l Conf. on Face and Gesture Recognton 2004. Seoul: IEEE Computer Socety, 2004. 883 888. [6] Lu CM, Ferrer NJ. Repettve moton analyss: Segmentaton and event classfcaton. IEEE Trans. on Pattern Analyss and Meachne Intellgence, 2004,26(2):258 263. [7] Barbč J, Safonova A, Pan JY, Faloutsos C, Hodgns JK, Pollard NS. Segmentng moton capture data nto dstnct behavors. In: Hedrch W, Balakrshnan R, eds. Proc. of the Graphcs Interface 2004 Conf. London: Canadan Human-Computer Communcatons Socety, 2004. 185 194. [8] Shen JX, Sun SQ, Pan YH. Key-Frame extracton from moton capture data. Journal of Computer-Aded Desgn & Computer Graphcs, 2004,16(5):719 723 (n Chnese wth Englsh abstract). [9] Feng L, Shen X, Sun T, Xu XH, Pan XW. Retreval of human moton data based on energy model. Journal of Computer-Aded Desgn & Computer Graphcs, 2007,19(8):1015 1021 (n Chnese wth Englsh abstract). [10] Lu F, Zhuang YT, Wu F, Pan YH. 3D moton retreval based on example. Journal of Computer-Aded Desgn & Computer Graphcs, 2003,15(10):1275 1280 (n Chnese wth Englsh abstract). [11] Lee J, Cha JX, Retsma PSA, Hodgns JK, Pollard NS. Interactve control of avatars anmated wth human moton data. ACM Trans. on Graphcs, 2002,21(3):491 500. [12] Müeller M, Roeder T, Clausen M. Effcent content-based retreval of moton capture data. ACM Trans. on Graphcs, 2005,24(3): 677 685. 附 中 文 参 考 文 献 : [8] 沈 军 行, 孙 守 迁, 潘 云 鹤. 从 运 动 捕 获 数 据 中 提 取 关 键 帧. 计 算 机 辅 助 设 计 与 图 形 学 学 报,2004,16(5):719 723. [9] 冯 林, 沈 骁, 孙 焘, 于 孝 航, 潘 晓 雯. 基 于 运 动 能 量 模 型 的 人 体 运 动 捕 捉 数 据 库 的 检 索. 计 算 机 辅 助 设 计 与 图 形 学 学 报,2007,19(8): 1015 1021. [10] 刘 丰, 庄 越 挺, 吴 飞, 潘 云 鹤. 基 于 例 子 的 三 维 运 动 检 索. 计 算 机 辅 助 设 计 与 图 形 学 学 报,2003,15(10):1275 1280. 肖 俊 (1979-), 男, 贵 州 铜 仁 人, 博 士, 讲 师, 主 要 研 究 领 域 为 计 算 机 动 画, 多 媒 体 分 析. 吴 飞 (1973-), 男, 博 士, 副 教 授, 主 要 研 究 领 域 为 多 媒 体 分 析, 机 器 学 习. 庄 越 挺 (1965-), 男, 博 士, 教 授,CCF 高 级 会 员, 主 要 研 究 领 域 为 计 算 机 动 画, 多 媒 体 分 析, 数 字 图 书 馆.