中文模板

Transcription

1 ISSN , CODEN RUXUEW E-mal: Journal of Software, Vol.19, No.8, August 2008, pp DOI: /SP.J Tel/Fax: by Journal of Software. All rghts reserved. 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 + 肖 俊, 庄 越 挺, 吴 飞 ( 浙 江 大 学 计 算 机 学 院 人 工 智 能 研 究 所, 浙 江 杭 州 ) Feature Vsualzaton and Interactve Segmentaton of 3D Human Moton XIAO Jun, ZHUANG Yue-Tng, WU Fe + (Insttute of Artfcal Intellgence, College of Computer Scence and Technology, Zhejang Unversty, Hangzhou, , Chna) + Correspondng author: E-mal: [email protected] Xao J, Zhuang YT, Wu F. Feature Vsualzaton and nteractve segmentaton of 3D human moton. Journal of Software, 2008,19(8): Abstract: In order to get prmtve actons for anmaton producton, ths paper proposes a vsualzaton and nteractve segmentaton method for 3D human moton sequences. Frstly, a new feature based on bone angles of human skeleton s used to represent the orgnal moton data. Then a heurstc method s ntroduced to detect the canddate segmentaton ponts on the feature sequence. Fnally, a graphcal user nterface s created to vsualze the canddate segmentaton ponts and pck the precse segmentaton ponts nteractvely. Expermental results show that ths method can dvde moton sequence nto prmtve actons more convenently, effcently and precsely. Key words: human moton data; vsualzaton; nteractve segmentaton; bone angle 摘 要 : 为 了 从 运 动 序 列 中 提 取 不 同 类 型 的 运 动 片 段 进 行 人 体 动 画 创 作, 提 出 一 种 三 维 人 体 运 动 数 据 可 视 化 与 交 互 式 分 割 技 术. 首 先, 采 用 人 体 各 主 要 骨 骼 夹 角 作 为 对 原 始 运 动 数 据 的 几 何 特 征 表 示, 并 提 出 一 种 启 发 式 方 法 自 动 检 测 其 潜 在 分 割 点, 最 后 将 提 取 的 运 动 特 征 可 视 化 并 使 用 可 交 互 用 户 界 面 对 其 进 行 精 确 分 割. 实 验 结 果 表 明, 该 特 征 表 示 及 交 互 式 分 割 方 法 能 够 更 加 方 便 准 确 高 效 地 对 包 含 多 种 类 型 的 长 序 列 三 维 人 体 运 动 数 据 进 行 分 割. 关 键 词 : 人 体 运 动 数 据 ; 可 视 化 ; 交 互 式 分 割 ; 骨 骼 夹 角 中 图 法 分 类 号 : TP391 文 献 标 识 码 : A 近 年 来, 运 动 捕 获 设 备 的 普 及 使 得 大 量 真 实 感 3D 人 体 运 动 数 据 的 获 取 成 为 可 能. 这 些 数 据 被 大 量 应 用 于 计 算 机 游 戏 动 画 制 作 及 运 动 仿 真 等 多 个 领 域, 并 且 大 型 人 体 运 动 数 据 库 也 已 出 现 [1]. 与 传 统 多 媒 体 数 据 ( 如 图 像 视 频 音 频 ) 相 比, 成 规 模 的 三 维 人 体 运 动 数 据 是 近 年 来 随 着 运 动 捕 获 设 备 的 普 及 而 大 量 涌 现 的, 因 此, 针 对 原 始 采 集 得 到 的 长 序 列 三 维 人 体 运 动 数 据 的 自 动 / 半 自 动 分 割 元 数 据 标 注 甚 至 检 索 技 术 还 不 多 见, 但 正 逐 渐 成 为 Supported by the Natonal Natural Scence Foundaton of Chna for Dstngushed Young Scholars under Grant No ( 国 家 杰 出 青 年 科 学 基 金 ); the Natonal Key Technology R&D Program of Chna under Grant No.2007BAH11B00 ( 国 家 科 技 支 撑 计 划 项 目 ); the Natonal Hgh-Tech Research and Development Plan of Chna under Grant Nos.2006AA010107, 2006AA01Z303 ( 国 家 高 技 术 研 究 发 展 计 划 (863)), the Program for Changjang Scholars and Innovatve Research Team n Unversty of Chna under Grant No.IRT0652 ( 长 江 学 者 和 创 新 团 队 发 展 计 划 ) Receved ; Accepted

2 1996 Journal of Software 软 件 学 报 Vol.19, No.8, August 2008 近 些 年 的 研 究 热 点. 相 对 于 传 统 多 媒 体 数 据, 三 维 人 体 运 动 数 据 具 有 其 自 身 的 特 点, 主 要 存 在 于 :(1) 数 据 采 样 率 高, 最 新 的 光 学 运 动 捕 获 设 备 最 高 可 达 帧 /s, 产 生 的 数 据 量 巨 大 ;(2) 三 维 人 体 运 动 数 据 流 是 结 构 化 数 据 且 具 有 一 定 物 理 意 义 ( 即 表 示 了 人 体 各 主 要 关 节 点 位 置 信 息 ), 这 为 进 一 步 对 其 进 行 结 构 化 分 析 与 理 解 奠 定 了 基 础. 本 文 的 研 究 主 要 针 对 三 维 人 体 运 动 数 据 提 出 一 种 有 效 的 几 何 特 征 表 示 以 对 其 直 观 可 视 化 并 进 行 交 互 式 分 割, 能 够 提 高 三 维 人 体 运 动 数 据 预 处 理 与 结 构 化 分 析 的 效 率, 并 为 下 一 步 的 运 动 数 据 检 索 提 供 帮 助. [2] 到 目 前 为 止, 国 内 外 已 有 一 些 学 者 提 出 了 对 长 序 列 三 维 人 体 运 动 的 分 割 技 术.2001 年,Wang 等 人 使 用 隐 [3] 马 尔 可 夫 模 型 对 人 体 运 动 数 据 序 列 进 行 分 割 与 聚 类.2003 年,Arkan 等 人 基 于 一 组 手 工 标 注 的 训 练 样 本 构 建 支 持 向 量 机 分 类 器, 用 于 人 体 运 动 序 列 的 自 动 标 注, 该 方 法 也 可 同 样 用 于 人 体 运 动 序 列 的 自 动 分 割.2004 [4,5] 年,Kanav 等 人 提 出 了 层 次 行 为 分 割 算 法, 使 用 一 个 动 态 层 次 数 据 结 构 表 示 人 体 运 动 数 据, 进 而 采 用 简 单 贝 叶 斯 分 类 器 用 于 运 动 分 割, 但 这 种 方 法 在 很 大 程 度 上 依 赖 于 训 练 样 本 和 来 自 于 专 家 的 经 验 数 据. 同 样, 在 2004 [6] 年,Lu 等 人 提 出 一 种 双 阈 值 多 维 分 割 算 法, 用 于 将 复 杂 人 体 行 为 序 列 自 动 分 解 为 一 个 简 单 动 态 线 性 模 型 序 列, 但 这 种 算 法 仅 适 用 于 周 期 性 行 为 数 据, 并 不 是 一 种 具 有 普 适 性 的 运 动 数 据 分 割 方 法. [7] 2004 年,Jernej 等 人 认 为 不 同 类 型 的 人 体 运 动 数 据 应 该 具 有 不 同 的 内 在 维 度, 从 而 基 于 PCA 子 空 间 分 析 理 论 构 建 了 一 个 运 动 数 据 分 割 器, 当 运 动 数 据 的 子 空 间 模 型 内 在 维 度 发 生 变 化 时 进 行 分 割. 进 一 步 地, 基 于 不 同 类 型 运 动 数 据 具 有 不 同 高 斯 分 布 模 型 的 假 设, 还 提 出 了 基 于 PPCA 的 运 动 数 据 分 割 方 法. 这 两 种 算 法 效 果 良 好, 但 运 算 效 率 较 低. 除 此 之 外,Jernej 等 人 还 认 为, 不 同 类 型 的 运 动 数 据 会 形 成 独 立 的 聚 类, 且 每 个 聚 类 可 以 采 用 一 个 统 一 的 高 斯 分 布 模 型 来 表 示, 并 基 于 此 假 设 提 出 了 基 于 混 合 高 斯 模 型 运 动 数 据 分 割 算 法, 但 是 这 种 算 法 的 缺 点 在 于, 进 行 运 动 数 据 分 割 时 需 由 用 户 指 定 待 分 割 的 运 动 片 断 数 目. 通 过 分 析 可 以 看 出, 上 述 所 有 方 法 均 对 原 始 运 动 数 据 直 接 建 模 以 达 到 运 动 分 割 目 的, 这 导 致 两 个 问 题 的 出 现 :(1) 原 始 运 动 数 据 维 度 较 高, 影 响 计 算 效 率 ;(2) 原 始 运 动 帧 虽 然 能 够 精 确 表 示 三 维 人 体 运 动 姿 态, 但 在 进 行 相 似 度 判 别 时, 对 逻 辑 相 似 姿 态 不 能 进 行 良 好 的 判 别. 针 对 上 述 问 题, 本 文 首 先 定 义 一 组 人 体 主 要 骨 骼 之 间 的 几 何 特 征 以 表 示 原 始 三 维 人 体 运 动 序 列, 并 将 其 转 换 为 一 维 特 征 信 号 序 列, 进 而 采 用 启 发 式 方 法 对 其 潜 在 分 割 点 进 行 自 动 标 注, 最 后 利 用 交 互 手 段 实 现 其 精 确 分 割. 1 运 动 序 列 的 几 何 特 征 提 取 本 文 所 采 用 的 人 体 骨 架 模 型 如 图 1(a) 所 示. Head RShould RElbow RHand RHp Neck Chest LShould LElbow Root LHand LHp Rght up arm Rght low arm Rght up leg Center Left up arm Left low arm Left up leg RKnee RAnkle LKnee LAnkle (a) Human skeleton (a) 人 体 骨 架 Fg.1 图 1 Rght low leg (b) Skeleton segments (b) 骨 骼 段 Left low leg 如 果 将 捕 获 得 到 的 人 体 运 动 数 据 视 为 由 离 散 时 间 点 采 样 得 到 的 人 体 姿 势 序 列, 每 个 采 样 点 为 一 帧, 则 每 一

3 肖 俊 等 : 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 1997 (1) (1) (2) (16) (1) 3 帧 的 姿 势 由 16 个 关 节 点 共 同 决 定. 在 任 意 帧 时 刻, 人 体 姿 势 表 示 为 F = ( p, r, r,..., r ), 其 中 : p P 及 (1) 3 ( ) r R 分 别 表 示 Root 关 节 点 的 位 置 和 方 向, 即 平 移 量 及 旋 转 量 ; r j R 3, j = 2,...,16 表 示 非 Root 关 节 点 的 方 向 ( 旋 转 量 ). 根 据 人 体 骨 架 中 各 关 节 点 的 相 互 关 系, 在 任 意 时 刻, 人 体 骨 架 中 任 意 非 Root 关 节 点 N j 的 位 置 可 以 通 过 三 维 变 换 公 式 得 到 : ( j) ( root ) ( root ) ( grandparent) ( grandparent ) ( parent) ( parent) ( j) p = T R... T0 R ( t) T0 R p (1) 0 ( ) 其 中, p j ( root ) ( root) 表 示 时 刻 关 节 N j 的 世 界 坐 标 ; T, R 分 别 表 示 时 刻 Root 关 节 点 的 平 移 和 旋 转 变 换 矩 阵, 分 别 (1) (1) ( k ) 由 p, r 生 成 ; T0 表 示 初 始 时 关 节 N k (N k 为 树 形 人 体 骨 架 中, 从 根 结 点 到 结 点 N j 之 间 的 任 意 结 点 ) 在 其 父 关 节 ( k ) k 点 所 在 局 部 坐 标 系 下 偏 移 量 生 成 的 平 移 变 换 矩 阵 ; R 表 示 时 刻 关 节 点 N k (N k 取 值 同 上 ) 的 旋 转 变 换 矩 阵, 由 r ( j) 生 成 ; p 表 示 初 始 时,N 0 j 在 其 父 结 点 所 在 局 部 坐 标 系 下 的 偏 移 量. [8] 在 三 维 人 体 运 动 数 据 处 理 中, 国 内 外 已 有 学 者 提 出 多 种 不 同 三 维 人 体 运 动 特 征 表 示 方 法. 如 沈 军 行 等 人 将 人 体 各 关 节 上 总 的 旋 转 变 化 作 为 原 始 运 动 数 据 的 特 征 表 示, 并 通 过 帧 间 距 离 的 比 较 来 实 现 运 动 数 据 关 键 帧 [9] 提 取. 冯 林 等 人 提 出 了 运 动 能 量 模 型 作 为 对 原 始 运 动 数 据 的 特 征 表 示, 用 于 三 维 人 体 运 动 检 索. 但 上 述 特 征 并 [10] 不 能 直 观 地 反 映 原 始 运 动 数 据 的 几 何 特 征, 因 此 限 制 了 其 在 运 动 分 割 领 域 的 应 用. 此 外, 刘 丰 等 人 采 用 层 次 化 [11] 运 动 描 述, 把 人 的 关 节 点 分 为 5 层 表 示 ;Lee 等 人 提 出 一 种 两 层 运 动 特 征 的 方 法, 底 层 用 Markov 模 型 表 达 运 动 特 征, 捕 获 运 动 细 节, 高 层 是 运 动 数 据 的 归 纳, 表 征 帧 的 分 布 和 转 换. 这 两 种 运 动 特 征 表 示 方 法 对 原 始 运 动 数 据 [12] 进 行 了 归 纳, 但 所 表 示 的 运 动 物 理 特 征 不 明 显.Mueller 等 人 根 据 人 体 关 节 之 间 的 空 间 几 何 关 系 总 结 出 31 种 人 体 运 动 几 何 特 征. 这 些 特 征 虽 然 能 够 很 好 地 表 示 出 运 动 的 几 何 特 性, 但 是 特 征 类 型 过 多 且 计 算 复 杂, 难 以 保 证 计 算 的 高 效 性. 通 过 对 大 量 人 体 运 动 数 据 的 观 测 发 现, 人 体 运 动 类 型 主 要 由 四 肢 骨 骼 及 中 心 骨 骼 的 相 对 位 置 关 系 来 决 定. 此 外, 人 体 骨 架 四 肢 部 分 在 人 体 运 动 中 变 化 最 明 显, 且 在 运 动 描 述 上 更 具 逻 辑 性, 因 此, 本 文 将 运 动 描 述 从 关 节 层 上 升 到 骨 骼 层, 将 人 体 骨 架 中 四 肢 部 分 的 8 段 骨 骼 作 为 特 征 表 示 对 象, 提 取 这 8 段 骨 骼 与 由 Root 关 节 和 Chest 关 节 组 成 的 中 心 骨 骼 之 间 的 夹 角 作 为 运 动 几 何 特 征 ( 人 体 四 肢 的 8 段 骨 骼 及 中 心 骨 骼 如 图 1(b) 所 示 ). 定 义 段 骨 ( k) ( k) ( j) ( ) 骼 B 为 由 该 段 骨 骼 中 位 于 人 体 骨 架 较 高 层 关 节 N 指 向 较 低 层 关 节 N j 的 向 量, 即 B = NN j = ( p p ), 其 中, () ( j) p, p 是 关 节 N 和 N j 在 三 维 空 间 中 的 坐 标. 因 此, 在 给 定 帧 时 刻, 任 意 一 段 四 肢 骨 骼 与 中 心 骨 骼 夹 角 的 公 式 计 算 为 ( k ) ( center) ( k ) 1 θ cos B B =, k 1,...,8 ( k ) = (2) ( center) B B 定 义 的 8 段 骨 骼 夹 角 既 能 表 示 三 维 人 体 姿 态 特 征 并 充 分 反 映 人 体 运 动 类 型 变 化, 又 极 大 地 降 低 了 原 始 三 维 人 体 运 动 数 据 维 度. 2 基 于 可 视 化 辅 助 手 段 的 交 互 式 分 割 2.1 潜 在 分 割 点 自 动 检 测 不 同 类 型 运 动 数 据 之 间 的 几 何 特 征 必 然 存 在 一 定 的 差 异. 本 文 正 是 基 于 这 样 一 个 事 实, 试 图 通 过 对 原 始 运 动 数 据 几 何 特 征 表 示 的 分 析 来 进 行 潜 在 分 割 点 的 自 动 检 测. 由 于 人 体 的 不 同 肢 体 部 分 ( 本 文 将 人 体 分 为 8 段 骨 骼 表 示 ) 对 于 不 同 类 型 运 动 的 差 异 贡 献 也 不 同, 因 此 需 要 将 提 取 到 的 八 维 几 何 特 征 作 为 整 体 加 以 考 虑. 我 们 将 提 取 到 的 八 维 几 何 特 征 的 模 作 为 对 每 一 帧 运 动 数 据 ( 姿 态 ) 的 特 征 表 示, 定 义 如 下 : Q θ (3) 其 中,θ 是 公 式 (2) 中 针 对 某 个 运 动 帧 ( 姿 态 ) 提 取 的 八 维 骨 骼 几 何 特 征, 公 式 (3) 的 几 何 意 义 可 以 解 释 为 是 当 前 运 动 姿 态 与 中 性 运 动 姿 态 ( 值 全 为 0 的 八 维 向 量 ) 之 间 的 距 离. 这 样, 一 段 长 度 维 为 n 的 三 维 人 体 运 动 序 列 M 可 以 表 示 为

4 1998 Journal of Software 软 件 学 报 Vol.19, No.8, August 2008 M = ( Q1, Q2, Q3,..., Q,..., Qn ) (4) 360 可 以 将 M 看 作 是 离 散 的 一 维 时 序 信 号 序 列. 图 是 一 段 包 含 多 种 不 同 类 型 运 动 数 据 序 列 的 一 维 特 征 表 示, 其 中 的 小 方 框 为 用 户 手 工 指 定 的 分 280 割 点, 可 以 看 到, 采 用 本 文 提 出 的 几 何 特 征 可 以 260 直 观 地 将 原 始 三 维 运 动 数 据 序 列 表 示 为 一 维 离 散 信 号, 且 不 同 类 型 运 动 数 据 在 其 中 表 现 出 较 200 为 明 显 的 差 异 基 于 上 述 一 维 特 征 表 示, 可 以 采 用 启 发 式 Fg.2 Feature representaton of human moton sequence 方 法 自 动 地 进 行 潜 在 分 割 点 检 测, 算 法 步 骤 描 图 2 人 体 运 动 序 列 的 特 征 表 示 述 如 下 : (1) 将 原 始 运 动 序 列 根 据 公 式 (2)~ 公 式 (4) 的 计 算 表 示 为 一 维 离 散 时 序 信 号 序 列 M; (2) 对 得 到 的 离 散 时 序 信 号 M 进 行 低 通 滤 波, 去 除 局 部 高 频 噪 声, 得 到 较 为 平 滑 的 新 时 序 信 号 M ; (3) 对 时 序 信 号 M 进 行 局 部 极 值 检 测 ; (4) 将 相 邻 极 大 极 小 值 之 差 的 绝 对 值 作 为 信 号 振 幅, 如 果 信 号 振 幅 发 生 剧 烈 变 化, 则 将 该 处 的 极 值 点 作 为 潜 在 分 割 点. 上 述 算 法 可 用 如 下 伪 代 码 描 述 : 算 法. 潜 在 分 割 点 检 测 算 法. orgnalmoton=loadmotonfle(*.bvh); // 读 取 bvh 格 式 的 运 动 数 据 文 件 anglefeature=extractangle(orgnalmoton); // 提 取 八 维 骨 骼 夹 角 几 何 特 征, 采 用 公 式 (2) motonsgnal=norm(anglefeature); // 对 八 维 几 何 特 征 取 模, 得 到 一 维 特 征 信 号 序 列 motonsgnal =flter(motonsgnal); // 对 一 维 特 征 信 号 序 列 进 行 低 通 滤 波 extremumidx=cmptextremumidx(motonsgnal ); // 检 测 滤 波 后, 一 维 特 征 信 号 的 局 部 极 值 点 坐 标 ptcanddate=detectcanddatesegpt(extremumidx,param); // 检 测 潜 在 分 割 点 其 中, 函 数 detectcoarsesetpt 定 义 如 下 : Functon ptcanddate=detectcandatesegpt(extremumidx,param) // 输 入 参 数 说 明 如 下 : //extremumidx 是 motonsgnal 中 的 极 大 极 小 值 数 组,extremumIdx() 为 1 表 示 极 大 值,extremumIdx() 为 1 表 // 示 极 小 值, 否 则,extremumIdx() 为 0 //param 参 数 用 于 判 断 振 幅 变 化 是 否 达 到 预 先 定 义 的 阈 值 count=0; for from 1 to length(extremumidx) f extremumidx() s 1 peak1=the nearest local peak value at the left of extremumidx() peak2=the nearest local peak value at the rght of extremumidx() swng1=abs(peak1 extremumidx()); swng2=abs(peak2 extremumidx()); maxswng=max(swng1,swng2); mnswng=mn(swng1,swng2); f mnswng<=param*maxswng count=count+1; ptcanddate(count)=; f extremumidx() s 1

5 肖 俊 等 : 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 1999 valley1=the nearest local valley value at the left of extremumidx() valley2=the nearest local valley value at the rght of extremumidx() swng1=abs(valley1 extremumidx()); swng2=abs(valley2 extremumidx()); maxswng=max(swng1,swng2); mnswng=mn(swng1,swng2); f mnswng<=param*maxswng count=count+1; ptcanddate(count)=; return pt; 在 潜 在 分 割 点 检 测 函 数 中 需 要 给 定 信 号 跳 变 检 测 参 数 param(0 param 1), 以 判 断 当 前 信 号 的 振 幅 是 否 发 生 了 较 大 变 化. 通 过 对 大 量 不 同 类 型 运 动 数 据 测 试 统 计, 当 取 param=0.5 时 能 够 取 得 较 好 的 效 果. 图 3 给 出 了 如 图 2 所 示 的 一 维 特 征 信 号 经 过 低 通 滤 波 后 的 潜 在 分 割 点 检 测 结 果 Canddate segmentaton ponts Local mnmal Local maxmal Fg.3 Detecton result of canddate segmentaton ponts (the feature sgnal has been processed by the low-pass flter) 图 3 潜 在 分 割 点 检 测 结 果 ( 特 征 信 号 已 经 过 低 通 滤 波 ) 2.2 用 户 交 互 式 的 精 确 分 割 点 选 取 对 比 图 2 和 图 3 可 知, 通 过 骨 骼 几 何 特 征 表 示 与 潜 在 分 割 点 自 动 检 测, 系 统 得 到 的 潜 在 分 割 点 均 落 在 正 确 的 运 动 分 割 点 附 近. 因 此, 可 以 构 建 一 个 可 视 化 界 面, 让 用 户 基 于 系 统 自 动 检 出 的 潜 在 分 割 点 交 互 式 地 选 取 精 确 的 分 割 点, 从 而 可 以 避 免 用 户 通 过 浏 览 整 段 运 动 序 列 来 进 行 手 工 分 割. 具 体 实 现 将 在 实 验 结 果 中 加 以 阐 述. 3 实 验 结 果 为 了 验 证 本 文 所 提 出 方 法 的 有 效 性, 首 先 采 用 Matlab 对 核 心 算 法 进 行 实 现 并 封 装 为 C# 可 调 用 的 链 接 库, 进 而 使 用 Vsual C# 开 发 了 一 个 原 型 系 统 用 于 三 维 运 动 数 据 的 特 征 可 视 化 与 交 互 式 数 据 分 割. 此 外, 使 用 Moton Analyss 的 Hawk 光 学 运 动 捕 获 系 统 采 集 了 50 余 段 ( 共 有 帧 ) 包 含 各 种 不 同 运 动 类 型 的 真 实 感 三 维 人 体 运 动 序 列, 包 括 走 跑 跳 跃 踢 腿 拳 击 擦 窗 户 拖 地 擦 洗 地 板 等 常 见 三 维 人 体 运 动 类 型. 每 段 运 动 序 列 均 包 含 两 种 或 两 种 以 上 不 同 类 型 的 运 动, 且 相 互 之 间 自 然 过 渡. 三 维 运 动 数 据 存 储 为 常 用 的 BVH 文 件 格 式. 实 验 中 对 本 文 提 出 的 骨 骼 夹 角 几 何 特 征 的 有 效 性 潜 在 分 割 点 自 动 检 测 效 率 及 交 互 式 分 割 原 型 系 统 的 可 用 性 等 方 面 分 别 进 行 了 测 试. 3.1 骨 骼 夹 角 几 何 特 征 有 效 性 的 比 较 图 4(a) 和 图 4(b) 分 别 给 出 采 用 原 始 运 动 帧 与 骨 骼 夹 角 几 何 特 征 表 示 的 一 维 特 征 信 号. 该 段 运 动 数 据 中 包 含

6 2000 Journal of Software 软 件 学 报 Vol.19, No.8, August 2008 两 种 类 型 的 运 动, 分 别 是 敲 打 地 板 与 擦 洗 地 板. 虽 然 两 种 类 型 的 运 动 姿 态 非 常 接 近, 但 是 在 采 用 骨 骼 夹 角 几 何 特 征 表 示 以 后, 其 一 维 特 征 信 号 能 够 得 到 有 效 的 区 别. 这 说 明 骨 骼 夹 角 几 何 特 征 与 原 始 运 动 数 据 相 比, 能 够 更 加 有 效 地 反 映 不 同 运 动 姿 态 的 差 异 并 有 利 于 分 割 点 的 检 测. 此 外, 图 4 中 的 运 动 序 列 包 含 5 个 完 整 周 期 的 敲 击 地 板 行 为 与 4 个 完 整 周 期 的 擦 洗 地 板 行 为. 可 以 直 观 地 看 到, 采 用 骨 骼 夹 角 几 何 特 征 表 示 的 一 维 特 征 信 号 能 够 更 好 地 反 映 运 动 的 周 期 性, 与 原 始 运 动 数 据 特 征 信 号 相 比, 能 够 更 加 准 确 地 反 映 运 动 数 据 的 物 理 意 义. 图 5 给 出 部 分 运 动 序 列 的 分 割 结 果, 其 中 相 似 运 动 片 段 之 间 的 潜 在 分 割 点 均 可 准 确 地 自 动 检 出, 如 图 5(a) 中 的 普 通 走 ( 单 手 挥 手 ) 走 和 ( 双 手 挥 手 ) 走 ; 图 5(b) 中 的 ( 左 右 ) 擦 玻 璃 和 ( 上 下 ) 擦 玻 璃 ; 图 5(c) 中 的 ( 站 立 ) 拳 击 和 ( 蹲 下 ) 拳 击 等. 实 验 结 果 表 明, 骨 骼 夹 角 几 何 特 征 能 够 有 效 区 分 类 型 不 同 但 姿 态 比 较 相 似 的 各 种 运 动 片 段, 保 证 了 运 动 序 列 分 割 的 准 确 性. Segmentaton pont (a) Moton sequence represented by the bone angles (a) 采 用 骨 骼 夹 角 表 示 的 运 动 序 列 Fg.4 图 4 (b) Moton sequence represented by the orgnal moton frame (b) 采 用 原 始 运 动 帧 表 示 的 运 动 序 列 (a) Walk, walk wth wave (one arm) and walk wth wave (two arms) (a) 普 通 走 ( 单 手 ) 挥 手 走 和 ( 双 手 ) 挥 手 走 (b) Left: washng wndow left and rght, rght: washng wndow up and down (b) 左 :( 左 右 ) 擦 玻 璃, 右 :( 上 下 ) 擦 玻 璃 3.2 潜 在 分 割 点 自 动 检 测 效 率 评 估 Fg.5 图 5 (c) Left: standng and punchng, rght: squat and punchng (c) 左 :( 站 立 ) 拳 击, 右 :( 蹲 下 ) 拳 击 潜 在 分 割 点 检 测 的 准 确 性 与 用 户 交 互 效 率 有 着 直 接 关 系, 实 验 中 对 通 过 运 动 捕 获 系 统 采 集 的 50 多 段 长 序 列 三 维 人 体 运 动 数 据 进 行 测 试 以 评 估 其 效 率. 为 了 更 好 地 对 本 文 提 出 的 方 法 进 行 比 较, 用 Matlab 实 现 了 Jernej

7 肖 俊 等 : 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 2001 等 人 所 提 出 的 基 于 PPCA 的 运 动 分 割 算 法. 评 估 从 计 算 效 率 与 准 确 性 两 个 方 面 进 行. 表 1 给 出 了 两 种 方 法 在 查 全 率 查 准 率 及 时 间 效 率 方 面 的 比 较. 查 全 率 与 查 准 率 均 以 手 工 分 割 结 果 为 标 准 进 行 计 算, 且 将 不 同 运 动 类 型 之 间 的 过 渡 区 域 均 设 置 为 可 分 割 区 域. Table 1 Performance comparson of dfferent segmentaton methods 表 1 不 同 分 割 方 法 运 行 效 率 比 较 Methods Precson (%) Recall (%) Tme (s/clp) Our method PPCA method 从 查 准 率 与 查 全 率 来 看, 本 文 所 提 出 的 方 法 能 够 获 得 较 高 的 查 全 率, 但 与 基 于 PPCA 的 方 法 相 比, 查 准 率 相 对 较 低. 这 主 要 是 因 为 :(1) 骼 夹 角 几 何 特 征 能 够 更 好 地 表 示 原 始 运 动 数 据 的 几 何 特 性, 从 而 有 利 于 类 型 不 同 但 姿 态 接 近 的 运 动 数 据 之 间 的 分 割 点 检 测 ( 如 图 4 所 示 ), 这 导 致 较 高 的 查 全 率 ;(2) 本 文 所 采 用 的 启 发 式 检 测 算 法 所 得 到 的 潜 在 分 割 点 数 量 一 般 都 多 于 正 确 分 割 点 数 量 ( 如 图 3 所 示 ), 而 有 的 潜 在 分 割 点 落 在 可 分 割 区 域 以 外, 这 导 致 较 低 的 查 准 率. 但 是, 由 于 得 到 潜 在 分 割 点 之 后, 用 户 还 可 以 通 过 交 互 界 面 进 行 精 确 分 割 点 选 取, 因 此, 较 低 的 查 准 率 并 不 影 响 最 终 分 割 结 果 的 准 确 性, 而 较 高 的 查 全 率 则 保 证 了 漏 检 率 较 低. 从 理 论 上 而 言, 基 于 系 统 自 动 检 出 的 潜 在 分 割 点 通 过 用 户 交 互 后, 分 割 准 确 率 最 高 可 达 97.5%. 表 1 最 后 一 列 给 出 两 种 方 法 进 行 分 割 的 时 间 效 率 比 较, 这 里, 每 一 个 clp 是 指 被 分 割 出 的 一 个 运 动 片 段, 即 被 判 断 为 某 个 相 同 类 型 的 连 续 运 动 帧 集 合. 平 均 耗 时 由 测 试 数 据 集 中 所 有 运 动 数 据 分 割 点 检 测 耗 时 总 和 除 以 检 出 的 运 动 片 段 数 量 计 算 得 到. 从 时 间 效 率 来 看, 由 于 本 文 所 采 取 方 法 的 计 算 复 杂 度 与 运 动 序 列 长 度 成 线 性 关 系, 而 PPCA 方 法 对 于 一 个 长 度 为 N 待 检 测 运 动 类 型 个 数 为 M 的 运 动 序 列, 需 执 行 (N-M S) 次 完 整 的 PPCA 分 割 算 法. 其 中,S 是 一 个 常 数, 用 于 确 定 构 建 初 始 PCA 子 空 间 所 需 的 运 动 片 段 长 度. 而 完 整 的 PPCA 分 割 算 法 包 括 PCA 子 空 间 构 建 高 斯 建 模 Mahalanobs 距 离 计 算 等 一 系 列 较 为 复 杂 的 算 法 流 程, 这 是 导 致 其 运 算 效 率 低 下 的 主 要 原 因. 3.3 人 体 运 动 数 据 可 视 化 与 交 互 式 分 割 原 型 系 统 为 了 方 便 用 户 基 于 系 统 自 动 检 出 的 潜 在 分 割 点 进 行 精 确 分 割 点 的 选 取, 采 用 Vsual C# 开 发 了 一 个 可 视 化 的 用 户 交 互 界 面, 如 图 6 所 示. Fg.6 The prototype system of nteractve segmentaton for 3D human moton 图 6 三 维 人 体 运 动 交 互 式 分 割 原 型 系 统

8 2002 Journal of Software 软 件 学 报 Vol.19, No.8, August 2008 应 用 过 程 中 用 户 首 先 载 入 待 分 割 三 维 人 体 运 动 数 据, 界 面 中 的 播 放 窗 口 及 控 制 按 钮 方 便 用 户 浏 览 整 个 三 维 人 体 运 动 序 列, 或 者 在 精 确 分 割 点 选 取 时 用 于 查 看 潜 在 分 割 点 附 近 的 人 体 姿 态. 用 户 可 以 自 己 设 定 信 号 跳 变 检 测 参 数 进 行 潜 在 分 割 点 检 测. 原 始 运 动 数 据 的 一 维 特 征 信 号 及 检 出 的 潜 在 分 割 点 在 界 面 下 方 的 窗 口 中 进 行 了 可 视 化. 用 户 可 以 交 互 式 地 对 潜 在 分 割 点 ( 以 虚 线 表 示 ) 进 行 删 除 插 入 拖 动 等 操 作. 可 以 看 到, 界 面 下 方 的 窗 口 对 整 段 三 维 运 动 数 据 的 一 维 特 征 信 号 进 行 了 可 视 化 并 提 供 交 互 式 工 具 进 行 精 确 分 割 点 选 取, 这 使 得 用 户 不 必 通 过 播 放 器 浏 览 整 段 三 维 人 体 运 动 序 列 就 可 以 方 便 快 速 精 确 地 进 行 数 据 分 割. 图 7 给 出 了 部 分 较 长 运 动 序 列 的 分 割 结 果. (a) Walk, sde-walk, sweepng floor, knockng floor, washng floor and washng wndow (a) 走 ( 侧 身 ) 走 拖 地 敲 击 地 板 擦 洗 地 板 擦 玻 璃 (b) Punchng, jumpng, walkng, punchng, walkng and kckng (b) 拳 击 跳 跃 走 拳 击 走 和 踢 腿 (c) Wavng, punchng, sde kckng and front kckng (c) 挥 手 拳 击 ( 侧 ) 踢 腿 ( 前 ) 踢 腿 Fg.7 Segmentaton results for dfferent moton sequences 图 7 不 同 运 动 序 列 分 割 结 果 4 总 结 本 文 首 先 提 出 一 种 骨 骼 夹 角 几 何 特 征 用 于 表 示 三 维 人 体 运 动 数 据 序 列, 与 原 始 运 动 数 据 相 比, 该 特 征 能 够 更 加 有 效 地 反 映 运 动 序 列 的 几 何 与 物 理 意 义 并 对 其 进 行 直 观 的 可 视 化. 其 次, 基 于 该 几 何 特 征 采 用 一 个 启 发 式 方 法 进 行 潜 在 分 割 点 检 测, 并 利 用 可 视 化 的 用 户 交 互 界 面 对 其 进 行 精 确 分 割. 实 验 结 果 表 明, 与 现 有 方 法 相 比, 采 用 本 文 所 提 出 的 特 征 表 示 及 交 互 式 分 割 方 法 能 够 更 加 准 确 高 效 地 对 包 含 多 种 类 型 的 长 序 列 三 维 人 体 运 动 数 据 进 行 分 割. 今 后 的 工 作 主 要 包 括 3 个 方 面 : 第 一, 探 索 更 好 的 潜 在 分 割 点 检 测 算 法 以 提 高 其 查 准 率, 这 将 有 助 于 减 少 用 户 的 交 互 操 作, 进 一 步 提 高 效 率 ; 第 二, 如 果 一 个 运 动 序 列 包 含 了 很 多 不 同 类 型 的 运 动 片 断, 而 用 户 又 只 想 抽 取 其 中 的 1 个 或 者 几 个 片 断 使 用, 就 没 有 必 要 对 整 个 运 动 序 列 进 行 分 割, 因 此, 在 今 后 的 工 作 中 可 以 考 虑 加 入 一 些 新 的 用 户 交 互 方 式, 即 当 用 户 对 包 含 较 多 不 同 类 型 运 动 片 断 的 运 动 序 列 进 行 浏 览 时, 能 够 对 其 中 感 兴 趣 的 1 帧 或 者 几 帧 数 据 进 行 选 取, 这 样, 分 割 算 法 就 能 将 包 含 用 户 指 定 数 据 的 运 动 片 断 自 动 抽 取 出 来 ; 第 三, 以 所 提 出 的 骨 骼 夹 角 几 何 特 征 表 示 为 基 础, 探 索 新 的 基 于 内 容 的 三 维 人 体 运 动 检 索 技 术.

9 肖 俊 等 : 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 2003 致 谢 在 此, 我 们 向 对 本 文 的 工 作 给 予 支 持 和 建 议 的 同 行, 特 别 是 课 题 组 的 陈 成 与 杨 易 同 学 对 本 文 的 研 究 工 作 所 给 予 的 帮 助 表 示 感 谢. References: [1] [2] Wang TS, Shum HY, Xu YQ, Zheng NN. Unsupervsed analyss of human gestures. In: Goos G, Hartmans J, van Leeuwen J, eds. Proc. of the IEEE Pacfc-Rm Conf. on Multmeda Bejng: Sprnger-Verlag, [3] Arkan O, Forsyth DA, O Bren J. Moton synthess from annotatons. ACM Trans. on Graphcs, 2003,33(3): [4] Kahol K, Trpath P, Panchanathan S, Rkaks T. Gesture segmentaton n complex moton sequences. In: Torres L, ed. Proc. of the Int l Conf. on Image Processng 2003, Vol.2. Barcelona: IEEE Computer Socety, [5] Kahol K, Trpath P, Panchanathan S. Automated gesture segmentaton from dance sequences. In: Lee SW, ed. Proc. of the Int l Conf. on Face and Gesture Recognton Seoul: IEEE Computer Socety, [6] Lu CM, Ferrer NJ. Repettve moton analyss: Segmentaton and event classfcaton. IEEE Trans. on Pattern Analyss and Meachne Intellgence, 2004,26(2): [7] Barbč J, Safonova A, Pan JY, Faloutsos C, Hodgns JK, Pollard NS. Segmentng moton capture data nto dstnct behavors. In: Hedrch W, Balakrshnan R, eds. Proc. of the Graphcs Interface 2004 Conf. London: Canadan Human-Computer Communcatons Socety, [8] Shen JX, Sun SQ, Pan YH. Key-Frame extracton from moton capture data. Journal of Computer-Aded Desgn & Computer Graphcs, 2004,16(5): (n Chnese wth Englsh abstract). [9] Feng L, Shen X, Sun T, Xu XH, Pan XW. Retreval of human moton data based on energy model. Journal of Computer-Aded Desgn & Computer Graphcs, 2007,19(8): (n Chnese wth Englsh abstract). [10] Lu F, Zhuang YT, Wu F, Pan YH. 3D moton retreval based on example. Journal of Computer-Aded Desgn & Computer Graphcs, 2003,15(10): (n Chnese wth Englsh abstract). [11] Lee J, Cha JX, Retsma PSA, Hodgns JK, Pollard NS. Interactve control of avatars anmated wth human moton data. ACM Trans. on Graphcs, 2002,21(3): [12] Müeller M, Roeder T, Clausen M. Effcent content-based retreval of moton capture data. ACM Trans. on Graphcs, 2005,24(3): 附 中 文 参 考 文 献 : [8] 沈 军 行, 孙 守 迁, 潘 云 鹤. 从 运 动 捕 获 数 据 中 提 取 关 键 帧. 计 算 机 辅 助 设 计 与 图 形 学 学 报,2004,16(5): [9] 冯 林, 沈 骁, 孙 焘, 于 孝 航, 潘 晓 雯. 基 于 运 动 能 量 模 型 的 人 体 运 动 捕 捉 数 据 库 的 检 索. 计 算 机 辅 助 设 计 与 图 形 学 学 报,2007,19(8): [10] 刘 丰, 庄 越 挺, 吴 飞, 潘 云 鹤. 基 于 例 子 的 三 维 运 动 检 索. 计 算 机 辅 助 设 计 与 图 形 学 学 报,2003,15(10): 肖 俊 (1979-), 男, 贵 州 铜 仁 人, 博 士, 讲 师, 主 要 研 究 领 域 为 计 算 机 动 画, 多 媒 体 分 析. 吴 飞 (1973-), 男, 博 士, 副 教 授, 主 要 研 究 领 域 为 多 媒 体 分 析, 机 器 学 习. 庄 越 挺 (1965-), 男, 博 士, 教 授,CCF 高 级 会 员, 主 要 研 究 领 域 为 计 算 机 动 画, 多 媒 体 分 析, 数 字 图 书 馆.