中文模板



Similar documents
Microsoft Word - 系统建设1.doc

基于词语关联度的查询缩略*

untitled

Microsoft Word - A doc

SVM OA 1 SVM MLP Tab 1 1 Drug feature data quantization table

Microsoft Word - 专论综述1.doc

km km mm km m /s hpa 500 hpa E N 41 N 37 N 121

SVM [6] PCA+SVM 79.75% 9 FERE FERE. PCA LDA Adaboost SVM 5 1 SVM Moghaddam [6] M (x,y ) x R N y x y {0,1} M f ( x) = y α k( x, x ) + b x k f(x) = 1 x

% GIS / / Fig. 1 Characteristics of flood disaster variation in suburbs of Shang

物理学报 Acta Phys. Sin. Vol. 62, No. 14 (2013) 叠 [4]. PET 设备最重要的部件就是探测器环, 探测 备重建图像具有减少数据插值的优势. 器环的性能直接影响 PET 的成像能力. 探头与探头 之间得到的符合直线叫做投影线. 所有的投影线在

Microsoft Word - 专论综述1.doc

中文模板

Microsoft Word tb 赵宏宇s-高校教改纵横.doc

TI 3 TI TABLE 4 RANDBIN Research of Modern Basic Education

IP TCP/IP PC OS µclinux MPEG4 Blackfin DSP MPEG4 IP UDP Winsock I/O DirectShow Filter DirectShow MPEG4 µclinux TCP/IP IP COM, DirectShow I

定稿

(Pattern Recognition) 1 1. CCD

9, : Java 19., [4 ]. 3 Apla2Java Apla PAR,Apla2Java Apla Java.,Apla,,, 1. 1 Apla Apla A[J ] Get elem (set A) A J A B Intersection(set A,set B) A B A B

三维网格模型的骨架抽取

4 115,,. : p { ( x ( t), y ( t) ) x R m, y R n, t = 1,2,, p} (1),, x ( t), y ( t),,: F : R m R n.,m, n, u.,, Sigmoid. :,f Sigmoid,f ( x) = ^y k ( t) =

~ ~

F3

Thesis for the Master degree in Engineering Research on Negative Pressure Wave Simulation and Signal Processing of Fluid-Conveying Pipeline Leak Candi

中文模板

JOURNAL OF EARTHQUAKE ENGINEERING AND ENGINEERING VIBRATION Vol. 31 No. 5 Oct /35 TU3521 P315.

Microsoft Word - A _ doc

标题

第二十四屆全國學術研討會論文中文格式摘要

259 I

Shanghai International Studies University THE STUDY AND PRACTICE OF SITUATIONAL LANGUAGE TEACHING OF ADVERB AT BEGINNING AND INTERMEDIATE LEVEL A Thes

<4D F736F F D20B3C2B9FAD5D7C2DBCEC4C5C5B0E62E646F63>

Microsoft Word - 王彬_已修改_.doc

标题

具有多个输入 特别是多个输出的 部门 或 单位 ( 称为 决策单元 Decision Making Unit 简称 DMU) 间的相对有效 8 性 C2R 模型是 DEA 的个模型 也是 DEA 的基础 和重要模型 假设有 n 个决策单元 DMUj( j = n) 每个 DMU 有 m

Vol. 22 No. 4 JOURNAL OF HARBIN UNIVERSITY OF SCIENCE AND TECHNOLOGY Aug GPS,,, : km, 2. 51, , ; ; ; ; DOI: 10.

,,.,, : 1),,,,, 2),,,,, 3),,,,,,,,,, [6].,,, ( ),, [9], : 1), 2),,,,, 3),,, 2.,, [10].,,,,,,,,, [11]. 2.1,, [12],, ;, ; Fig. 1 1 Granular hier

mm ~

Microsoft PowerPoint - Aqua-Sim.pptx

* CUSUM EWMA PCA TS79 A DOI /j. issn X Incipient Fault Detection in Papermaking Wa

240 生 异 性 相 吸 的 异 性 效 应 [6] 虽 然, 心 理 学 基 础 研 [7-8] 究 已 经 证 实 存 在 异 性 相 吸 异 性 相 吸 是 否 存 在 于 名 字 认 知 识 别 尚 无 报 道 本 实 验 选 取 不 同 性 别 的 名 字 作 为 刺 激 材 料, 通

Ashdgsahgdh

如 语 言 研 究 型 数 据 库 那 样 成 熟, 但 可 为 构 建 华 文 教 材 数 据 库 提 供 借 鉴 此 类 数 据 库 中 有 代 表 性 的 有 北 京 语 言 大 学 的 对 外 汉 语 教 材 检 索 数 据 库, 中 央 民 族 大 学 的 国 际 汉 语 教 学 国 别

医学科研方法

Schumpeter Mensch Freeman Clark Schumpeter Mensch 1975 technological stalemate 2000 Van Dujin 1977 OECD 1992 Freeman 1982 Van

92

Oates U

实 践 探 讨 高 丽 : 从 少 数 民 族 大 学 生 的 阅 读 需 求 看 民 族 院 校 图 书 馆 的 资 源 建 设 有 区 域 性 和 民 族 性 很 强 的 传 统 学 科 特 色 学 科 及 优 势 学 科, 因 此 图 书 馆 的 资 源 建 设 也 要 顺 应 这 一 特 性

经 济 与 管 理 耿 庆 峰 : 我 国 创 业 板 市 场 与 中 小 板 市 场 动 态 相 关 性 实 证 研 究 基 于 方 法 比 较 视 角 87 Copula 模 型 均 能 较 好 地 刻 画 金 融 市 场 间 的 动 态 关 系, 但 Copula 模 型 效 果 要 好 于

课题调查对象:

,.,,.. :,, ,:, ( 1 ). Π,.,.,,,.,.,. 1 : Π Π,. 212,. : 1)..,. 2). :, ;,,,;,. 3

10 防 波 堤 : 石 斑 雀 鯛 方 蟹 岩 蟹 貳 海 岸 生 態 一 棲 地 生 態 1 潮 上 飛 沫 區 林 投 沙 岸 : 藍 綠 藻 海 蟑 螂 陸 蟹 沙 蟹 扁 跳 蝦 寄 居 蟹 2 礁 岩 礫 石 區 姑 婆 嶼 巨 礫 海 岸 : 螺 類 貝 類 海 膽 青 海 菜 紫 菜

cm /s c d 1 /40 1 /4 1 / / / /m /Hz /kn / kn m ~

Journal of Curriculum Studies September, 2013, Vol. 8, No. 2, pp From the Development Trend of University to Study High School Curriculum Refor

Microsoft Word - A doc

Microsoft Word - 18-p0402-c3.doc

國家圖書館典藏電子全文

,20 80,,,,, ; 80 90,, [ 4 ], [ 5 ],, ;21,,,,,,,20 80,,,,, ( ) ; ( ) ; ( ) ; ( ) [6 ], 90,,,,, [ 7 ] 21,,,,, [ 8 ],,, 30,,,,,,,,,,, ;,, ;,, ; 30,,,,,,,

Microsoft Word - 01李惠玲ok.doc

Transcription:

ISSN 1000-9825, CODEN RUXUEW E-mal: jos@scas.ac.cn Journal of Software, Vol.19, No.8, August 2008, pp.1995 2003 http://www.jos.org.cn DOI: 10.3724/SP.J.1001.2008.01995 Tel/Fax: +86-10-62562563 2008 by Journal of Software. All rghts reserved. 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 + 肖 俊, 庄 越 挺, 吴 飞 ( 浙 江 大 学 计 算 机 学 院 人 工 智 能 研 究 所, 浙 江 杭 州 310027) Feature Vsualzaton and Interactve Segmentaton of 3D Human Moton XIAO Jun, ZHUANG Yue-Tng, WU Fe + (Insttute of Artfcal Intellgence, College of Computer Scence and Technology, Zhejang Unversty, Hangzhou, 310027, Chna) + Correspondng author: E-mal: wufe@cs.zju.edu.cn Xao J, Zhuang YT, Wu F. Feature Vsualzaton and nteractve segmentaton of 3D human moton. Journal of Software, 2008,19(8):1995 2003. http://www.jos.org.cn/1000-9825/19/1995.htm Abstract: In order to get prmtve actons for anmaton producton, ths paper proposes a vsualzaton and nteractve segmentaton method for 3D human moton sequences. Frstly, a new feature based on bone angles of human skeleton s used to represent the orgnal moton data. Then a heurstc method s ntroduced to detect the canddate segmentaton ponts on the feature sequence. Fnally, a graphcal user nterface s created to vsualze the canddate segmentaton ponts and pck the precse segmentaton ponts nteractvely. Expermental results show that ths method can dvde moton sequence nto prmtve actons more convenently, effcently and precsely. Key words: human moton data; vsualzaton; nteractve segmentaton; bone angle 摘 要 : 为 了 从 运 动 序 列 中 提 取 不 同 类 型 的 运 动 片 段 进 行 人 体 动 画 创 作, 提 出 一 种 三 维 人 体 运 动 数 据 可 视 化 与 交 互 式 分 割 技 术. 首 先, 采 用 人 体 各 主 要 骨 骼 夹 角 作 为 对 原 始 运 动 数 据 的 几 何 特 征 表 示, 并 提 出 一 种 启 发 式 方 法 自 动 检 测 其 潜 在 分 割 点, 最 后 将 提 取 的 运 动 特 征 可 视 化 并 使 用 可 交 互 用 户 界 面 对 其 进 行 精 确 分 割. 实 验 结 果 表 明, 该 特 征 表 示 及 交 互 式 分 割 方 法 能 够 更 加 方 便 准 确 高 效 地 对 包 含 多 种 类 型 的 长 序 列 三 维 人 体 运 动 数 据 进 行 分 割. 关 键 词 : 人 体 运 动 数 据 ; 可 视 化 ; 交 互 式 分 割 ; 骨 骼 夹 角 中 图 法 分 类 号 : TP391 文 献 标 识 码 : A 近 年 来, 运 动 捕 获 设 备 的 普 及 使 得 大 量 真 实 感 3D 人 体 运 动 数 据 的 获 取 成 为 可 能. 这 些 数 据 被 大 量 应 用 于 计 算 机 游 戏 动 画 制 作 及 运 动 仿 真 等 多 个 领 域, 并 且 大 型 人 体 运 动 数 据 库 也 已 出 现 [1]. 与 传 统 多 媒 体 数 据 ( 如 图 像 视 频 音 频 ) 相 比, 成 规 模 的 三 维 人 体 运 动 数 据 是 近 年 来 随 着 运 动 捕 获 设 备 的 普 及 而 大 量 涌 现 的, 因 此, 针 对 原 始 采 集 得 到 的 长 序 列 三 维 人 体 运 动 数 据 的 自 动 / 半 自 动 分 割 元 数 据 标 注 甚 至 检 索 技 术 还 不 多 见, 但 正 逐 渐 成 为 Supported by the Natonal Natural Scence Foundaton of Chna for Dstngushed Young Scholars under Grant No.60525108 ( 国 家 杰 出 青 年 科 学 基 金 ); the Natonal Key Technology R&D Program of Chna under Grant No.2007BAH11B00 ( 国 家 科 技 支 撑 计 划 项 目 ); the Natonal Hgh-Tech Research and Development Plan of Chna under Grant Nos.2006AA010107, 2006AA01Z303 ( 国 家 高 技 术 研 究 发 展 计 划 (863)), the Program for Changjang Scholars and Innovatve Research Team n Unversty of Chna under Grant No.IRT0652 ( 长 江 学 者 和 创 新 团 队 发 展 计 划 ) Receved 2008-01-08; Accepted 2008-04-18

1996 Journal of Software 软 件 学 报 Vol.19, No.8, August 2008 近 些 年 的 研 究 热 点. 相 对 于 传 统 多 媒 体 数 据, 三 维 人 体 运 动 数 据 具 有 其 自 身 的 特 点, 主 要 存 在 于 :(1) 数 据 采 样 率 高, 最 新 的 光 学 运 动 捕 获 设 备 最 高 可 达 2 000 帧 /s, 产 生 的 数 据 量 巨 大 ;(2) 三 维 人 体 运 动 数 据 流 是 结 构 化 数 据 且 具 有 一 定 物 理 意 义 ( 即 表 示 了 人 体 各 主 要 关 节 点 位 置 信 息 ), 这 为 进 一 步 对 其 进 行 结 构 化 分 析 与 理 解 奠 定 了 基 础. 本 文 的 研 究 主 要 针 对 三 维 人 体 运 动 数 据 提 出 一 种 有 效 的 几 何 特 征 表 示 以 对 其 直 观 可 视 化 并 进 行 交 互 式 分 割, 能 够 提 高 三 维 人 体 运 动 数 据 预 处 理 与 结 构 化 分 析 的 效 率, 并 为 下 一 步 的 运 动 数 据 检 索 提 供 帮 助. [2] 到 目 前 为 止, 国 内 外 已 有 一 些 学 者 提 出 了 对 长 序 列 三 维 人 体 运 动 的 分 割 技 术.2001 年,Wang 等 人 使 用 隐 [3] 马 尔 可 夫 模 型 对 人 体 运 动 数 据 序 列 进 行 分 割 与 聚 类.2003 年,Arkan 等 人 基 于 一 组 手 工 标 注 的 训 练 样 本 构 建 支 持 向 量 机 分 类 器, 用 于 人 体 运 动 序 列 的 自 动 标 注, 该 方 法 也 可 同 样 用 于 人 体 运 动 序 列 的 自 动 分 割.2004 [4,5] 年,Kanav 等 人 提 出 了 层 次 行 为 分 割 算 法, 使 用 一 个 动 态 层 次 数 据 结 构 表 示 人 体 运 动 数 据, 进 而 采 用 简 单 贝 叶 斯 分 类 器 用 于 运 动 分 割, 但 这 种 方 法 在 很 大 程 度 上 依 赖 于 训 练 样 本 和 来 自 于 专 家 的 经 验 数 据. 同 样, 在 2004 [6] 年,Lu 等 人 提 出 一 种 双 阈 值 多 维 分 割 算 法, 用 于 将 复 杂 人 体 行 为 序 列 自 动 分 解 为 一 个 简 单 动 态 线 性 模 型 序 列, 但 这 种 算 法 仅 适 用 于 周 期 性 行 为 数 据, 并 不 是 一 种 具 有 普 适 性 的 运 动 数 据 分 割 方 法. [7] 2004 年,Jernej 等 人 认 为 不 同 类 型 的 人 体 运 动 数 据 应 该 具 有 不 同 的 内 在 维 度, 从 而 基 于 PCA 子 空 间 分 析 理 论 构 建 了 一 个 运 动 数 据 分 割 器, 当 运 动 数 据 的 子 空 间 模 型 内 在 维 度 发 生 变 化 时 进 行 分 割. 进 一 步 地, 基 于 不 同 类 型 运 动 数 据 具 有 不 同 高 斯 分 布 模 型 的 假 设, 还 提 出 了 基 于 PPCA 的 运 动 数 据 分 割 方 法. 这 两 种 算 法 效 果 良 好, 但 运 算 效 率 较 低. 除 此 之 外,Jernej 等 人 还 认 为, 不 同 类 型 的 运 动 数 据 会 形 成 独 立 的 聚 类, 且 每 个 聚 类 可 以 采 用 一 个 统 一 的 高 斯 分 布 模 型 来 表 示, 并 基 于 此 假 设 提 出 了 基 于 混 合 高 斯 模 型 运 动 数 据 分 割 算 法, 但 是 这 种 算 法 的 缺 点 在 于, 进 行 运 动 数 据 分 割 时 需 由 用 户 指 定 待 分 割 的 运 动 片 断 数 目. 通 过 分 析 可 以 看 出, 上 述 所 有 方 法 均 对 原 始 运 动 数 据 直 接 建 模 以 达 到 运 动 分 割 目 的, 这 导 致 两 个 问 题 的 出 现 :(1) 原 始 运 动 数 据 维 度 较 高, 影 响 计 算 效 率 ;(2) 原 始 运 动 帧 虽 然 能 够 精 确 表 示 三 维 人 体 运 动 姿 态, 但 在 进 行 相 似 度 判 别 时, 对 逻 辑 相 似 姿 态 不 能 进 行 良 好 的 判 别. 针 对 上 述 问 题, 本 文 首 先 定 义 一 组 人 体 主 要 骨 骼 之 间 的 几 何 特 征 以 表 示 原 始 三 维 人 体 运 动 序 列, 并 将 其 转 换 为 一 维 特 征 信 号 序 列, 进 而 采 用 启 发 式 方 法 对 其 潜 在 分 割 点 进 行 自 动 标 注, 最 后 利 用 交 互 手 段 实 现 其 精 确 分 割. 1 运 动 序 列 的 几 何 特 征 提 取 本 文 所 采 用 的 人 体 骨 架 模 型 如 图 1(a) 所 示. Head RShould RElbow RHand RHp Neck Chest LShould LElbow Root LHand LHp Rght up arm Rght low arm Rght up leg Center Left up arm Left low arm Left up leg RKnee RAnkle LKnee LAnkle (a) Human skeleton (a) 人 体 骨 架 Fg.1 图 1 Rght low leg (b) Skeleton segments (b) 骨 骼 段 Left low leg 如 果 将 捕 获 得 到 的 人 体 运 动 数 据 视 为 由 离 散 时 间 点 采 样 得 到 的 人 体 姿 势 序 列, 每 个 采 样 点 为 一 帧, 则 每 一

肖 俊 等 : 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 1997 (1) (1) (2) (16) (1) 3 帧 的 姿 势 由 16 个 关 节 点 共 同 决 定. 在 任 意 帧 时 刻, 人 体 姿 势 表 示 为 F = ( p, r, r,..., r ), 其 中 : p P 及 (1) 3 ( ) r R 分 别 表 示 Root 关 节 点 的 位 置 和 方 向, 即 平 移 量 及 旋 转 量 ; r j R 3, j = 2,...,16 表 示 非 Root 关 节 点 的 方 向 ( 旋 转 量 ). 根 据 人 体 骨 架 中 各 关 节 点 的 相 互 关 系, 在 任 意 时 刻, 人 体 骨 架 中 任 意 非 Root 关 节 点 N j 的 位 置 可 以 通 过 三 维 变 换 公 式 得 到 : ( j) ( root ) ( root ) ( grandparent) ( grandparent ) ( parent) ( parent) ( j) p = T R... T0 R ( t) T0 R p (1) 0 ( ) 其 中, p j ( root ) ( root) 表 示 时 刻 关 节 N j 的 世 界 坐 标 ; T, R 分 别 表 示 时 刻 Root 关 节 点 的 平 移 和 旋 转 变 换 矩 阵, 分 别 (1) (1) ( k ) 由 p, r 生 成 ; T0 表 示 初 始 时 关 节 N k (N k 为 树 形 人 体 骨 架 中, 从 根 结 点 到 结 点 N j 之 间 的 任 意 结 点 ) 在 其 父 关 节 ( k ) k 点 所 在 局 部 坐 标 系 下 偏 移 量 生 成 的 平 移 变 换 矩 阵 ; R 表 示 时 刻 关 节 点 N k (N k 取 值 同 上 ) 的 旋 转 变 换 矩 阵, 由 r ( j) 生 成 ; p 表 示 初 始 时,N 0 j 在 其 父 结 点 所 在 局 部 坐 标 系 下 的 偏 移 量. [8] 在 三 维 人 体 运 动 数 据 处 理 中, 国 内 外 已 有 学 者 提 出 多 种 不 同 三 维 人 体 运 动 特 征 表 示 方 法. 如 沈 军 行 等 人 将 人 体 各 关 节 上 总 的 旋 转 变 化 作 为 原 始 运 动 数 据 的 特 征 表 示, 并 通 过 帧 间 距 离 的 比 较 来 实 现 运 动 数 据 关 键 帧 [9] 提 取. 冯 林 等 人 提 出 了 运 动 能 量 模 型 作 为 对 原 始 运 动 数 据 的 特 征 表 示, 用 于 三 维 人 体 运 动 检 索. 但 上 述 特 征 并 [10] 不 能 直 观 地 反 映 原 始 运 动 数 据 的 几 何 特 征, 因 此 限 制 了 其 在 运 动 分 割 领 域 的 应 用. 此 外, 刘 丰 等 人 采 用 层 次 化 [11] 运 动 描 述, 把 人 的 关 节 点 分 为 5 层 表 示 ;Lee 等 人 提 出 一 种 两 层 运 动 特 征 的 方 法, 底 层 用 Markov 模 型 表 达 运 动 特 征, 捕 获 运 动 细 节, 高 层 是 运 动 数 据 的 归 纳, 表 征 帧 的 分 布 和 转 换. 这 两 种 运 动 特 征 表 示 方 法 对 原 始 运 动 数 据 [12] 进 行 了 归 纳, 但 所 表 示 的 运 动 物 理 特 征 不 明 显.Mueller 等 人 根 据 人 体 关 节 之 间 的 空 间 几 何 关 系 总 结 出 31 种 人 体 运 动 几 何 特 征. 这 些 特 征 虽 然 能 够 很 好 地 表 示 出 运 动 的 几 何 特 性, 但 是 特 征 类 型 过 多 且 计 算 复 杂, 难 以 保 证 计 算 的 高 效 性. 通 过 对 大 量 人 体 运 动 数 据 的 观 测 发 现, 人 体 运 动 类 型 主 要 由 四 肢 骨 骼 及 中 心 骨 骼 的 相 对 位 置 关 系 来 决 定. 此 外, 人 体 骨 架 四 肢 部 分 在 人 体 运 动 中 变 化 最 明 显, 且 在 运 动 描 述 上 更 具 逻 辑 性, 因 此, 本 文 将 运 动 描 述 从 关 节 层 上 升 到 骨 骼 层, 将 人 体 骨 架 中 四 肢 部 分 的 8 段 骨 骼 作 为 特 征 表 示 对 象, 提 取 这 8 段 骨 骼 与 由 Root 关 节 和 Chest 关 节 组 成 的 中 心 骨 骼 之 间 的 夹 角 作 为 运 动 几 何 特 征 ( 人 体 四 肢 的 8 段 骨 骼 及 中 心 骨 骼 如 图 1(b) 所 示 ). 定 义 段 骨 ( k) ( k) ( j) ( ) 骼 B 为 由 该 段 骨 骼 中 位 于 人 体 骨 架 较 高 层 关 节 N 指 向 较 低 层 关 节 N j 的 向 量, 即 B = NN j = ( p p ), 其 中, () ( j) p, p 是 关 节 N 和 N j 在 三 维 空 间 中 的 坐 标. 因 此, 在 给 定 帧 时 刻, 任 意 一 段 四 肢 骨 骼 与 中 心 骨 骼 夹 角 的 公 式 计 算 为 ( k ) ( center) ( k ) 1 θ cos B B =, k 1,...,8 ( k ) = (2) ( center) B B 定 义 的 8 段 骨 骼 夹 角 既 能 表 示 三 维 人 体 姿 态 特 征 并 充 分 反 映 人 体 运 动 类 型 变 化, 又 极 大 地 降 低 了 原 始 三 维 人 体 运 动 数 据 维 度. 2 基 于 可 视 化 辅 助 手 段 的 交 互 式 分 割 2.1 潜 在 分 割 点 自 动 检 测 不 同 类 型 运 动 数 据 之 间 的 几 何 特 征 必 然 存 在 一 定 的 差 异. 本 文 正 是 基 于 这 样 一 个 事 实, 试 图 通 过 对 原 始 运 动 数 据 几 何 特 征 表 示 的 分 析 来 进 行 潜 在 分 割 点 的 自 动 检 测. 由 于 人 体 的 不 同 肢 体 部 分 ( 本 文 将 人 体 分 为 8 段 骨 骼 表 示 ) 对 于 不 同 类 型 运 动 的 差 异 贡 献 也 不 同, 因 此 需 要 将 提 取 到 的 八 维 几 何 特 征 作 为 整 体 加 以 考 虑. 我 们 将 提 取 到 的 八 维 几 何 特 征 的 模 作 为 对 每 一 帧 运 动 数 据 ( 姿 态 ) 的 特 征 表 示, 定 义 如 下 : Q θ (3) 其 中,θ 是 公 式 (2) 中 针 对 某 个 运 动 帧 ( 姿 态 ) 提 取 的 八 维 骨 骼 几 何 特 征, 公 式 (3) 的 几 何 意 义 可 以 解 释 为 是 当 前 运 动 姿 态 与 中 性 运 动 姿 态 ( 值 全 为 0 的 八 维 向 量 ) 之 间 的 距 离. 这 样, 一 段 长 度 维 为 n 的 三 维 人 体 运 动 序 列 M 可 以 表 示 为

1998 Journal of Software 软 件 学 报 Vol.19, No.8, August 2008 M = ( Q1, Q2, Q3,..., Q,..., Qn ) (4) 360 可 以 将 M 看 作 是 离 散 的 一 维 时 序 信 号 序 列. 图 2 340 是 一 段 包 含 多 种 不 同 类 型 运 动 数 据 序 列 的 一 维 320 300 特 征 表 示, 其 中 的 小 方 框 为 用 户 手 工 指 定 的 分 280 割 点, 可 以 看 到, 采 用 本 文 提 出 的 几 何 特 征 可 以 260 直 观 地 将 原 始 三 维 运 动 数 据 序 列 表 示 为 一 维 离 240 220 散 信 号, 且 不 同 类 型 运 动 数 据 在 其 中 表 现 出 较 200 为 明 显 的 差 异. 180 0 500 1000 1500 2000 2500 基 于 上 述 一 维 特 征 表 示, 可 以 采 用 启 发 式 Fg.2 Feature representaton of human moton sequence 方 法 自 动 地 进 行 潜 在 分 割 点 检 测, 算 法 步 骤 描 图 2 人 体 运 动 序 列 的 特 征 表 示 述 如 下 : (1) 将 原 始 运 动 序 列 根 据 公 式 (2)~ 公 式 (4) 的 计 算 表 示 为 一 维 离 散 时 序 信 号 序 列 M; (2) 对 得 到 的 离 散 时 序 信 号 M 进 行 低 通 滤 波, 去 除 局 部 高 频 噪 声, 得 到 较 为 平 滑 的 新 时 序 信 号 M ; (3) 对 时 序 信 号 M 进 行 局 部 极 值 检 测 ; (4) 将 相 邻 极 大 极 小 值 之 差 的 绝 对 值 作 为 信 号 振 幅, 如 果 信 号 振 幅 发 生 剧 烈 变 化, 则 将 该 处 的 极 值 点 作 为 潜 在 分 割 点. 上 述 算 法 可 用 如 下 伪 代 码 描 述 : 算 法. 潜 在 分 割 点 检 测 算 法. orgnalmoton=loadmotonfle(*.bvh); // 读 取 bvh 格 式 的 运 动 数 据 文 件 anglefeature=extractangle(orgnalmoton); // 提 取 八 维 骨 骼 夹 角 几 何 特 征, 采 用 公 式 (2) motonsgnal=norm(anglefeature); // 对 八 维 几 何 特 征 取 模, 得 到 一 维 特 征 信 号 序 列 motonsgnal =flter(motonsgnal); // 对 一 维 特 征 信 号 序 列 进 行 低 通 滤 波 extremumidx=cmptextremumidx(motonsgnal ); // 检 测 滤 波 后, 一 维 特 征 信 号 的 局 部 极 值 点 坐 标 ptcanddate=detectcanddatesegpt(extremumidx,param); // 检 测 潜 在 分 割 点 其 中, 函 数 detectcoarsesetpt 定 义 如 下 : Functon ptcanddate=detectcandatesegpt(extremumidx,param) // 输 入 参 数 说 明 如 下 : //extremumidx 是 motonsgnal 中 的 极 大 极 小 值 数 组,extremumIdx() 为 1 表 示 极 大 值,extremumIdx() 为 1 表 // 示 极 小 值, 否 则,extremumIdx() 为 0 //param 参 数 用 于 判 断 振 幅 变 化 是 否 达 到 预 先 定 义 的 阈 值 count=0; for from 1 to length(extremumidx) f extremumidx() s 1 peak1=the nearest local peak value at the left of extremumidx() peak2=the nearest local peak value at the rght of extremumidx() swng1=abs(peak1 extremumidx()); swng2=abs(peak2 extremumidx()); maxswng=max(swng1,swng2); mnswng=mn(swng1,swng2); f mnswng<=param*maxswng count=count+1; ptcanddate(count)=; f extremumidx() s 1

肖 俊 等 : 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 1999 valley1=the nearest local valley value at the left of extremumidx() valley2=the nearest local valley value at the rght of extremumidx() swng1=abs(valley1 extremumidx()); swng2=abs(valley2 extremumidx()); maxswng=max(swng1,swng2); mnswng=mn(swng1,swng2); f mnswng<=param*maxswng count=count+1; ptcanddate(count)=; return pt; 在 潜 在 分 割 点 检 测 函 数 中 需 要 给 定 信 号 跳 变 检 测 参 数 param(0 param 1), 以 判 断 当 前 信 号 的 振 幅 是 否 发 生 了 较 大 变 化. 通 过 对 大 量 不 同 类 型 运 动 数 据 测 试 统 计, 当 取 param=0.5 时 能 够 取 得 较 好 的 效 果. 图 3 给 出 了 如 图 2 所 示 的 一 维 特 征 信 号 经 过 低 通 滤 波 后 的 潜 在 分 割 点 检 测 结 果. 320 310 300 290 280 270 260 250 240 230 0 Canddate segmentaton ponts Local mnmal Local maxmal 500 1000 1500 2000 2500 Fg.3 Detecton result of canddate segmentaton ponts (the feature sgnal has been processed by the low-pass flter) 图 3 潜 在 分 割 点 检 测 结 果 ( 特 征 信 号 已 经 过 低 通 滤 波 ) 2.2 用 户 交 互 式 的 精 确 分 割 点 选 取 对 比 图 2 和 图 3 可 知, 通 过 骨 骼 几 何 特 征 表 示 与 潜 在 分 割 点 自 动 检 测, 系 统 得 到 的 潜 在 分 割 点 均 落 在 正 确 的 运 动 分 割 点 附 近. 因 此, 可 以 构 建 一 个 可 视 化 界 面, 让 用 户 基 于 系 统 自 动 检 出 的 潜 在 分 割 点 交 互 式 地 选 取 精 确 的 分 割 点, 从 而 可 以 避 免 用 户 通 过 浏 览 整 段 运 动 序 列 来 进 行 手 工 分 割. 具 体 实 现 将 在 实 验 结 果 中 加 以 阐 述. 3 实 验 结 果 为 了 验 证 本 文 所 提 出 方 法 的 有 效 性, 首 先 采 用 Matlab 对 核 心 算 法 进 行 实 现 并 封 装 为 C# 可 调 用 的 链 接 库, 进 而 使 用 Vsual C# 开 发 了 一 个 原 型 系 统 用 于 三 维 运 动 数 据 的 特 征 可 视 化 与 交 互 式 数 据 分 割. 此 外, 使 用 Moton Analyss 的 Hawk 光 学 运 动 捕 获 系 统 采 集 了 50 余 段 ( 共 有 93 069 帧 ) 包 含 各 种 不 同 运 动 类 型 的 真 实 感 三 维 人 体 运 动 序 列, 包 括 走 跑 跳 跃 踢 腿 拳 击 擦 窗 户 拖 地 擦 洗 地 板 等 常 见 三 维 人 体 运 动 类 型. 每 段 运 动 序 列 均 包 含 两 种 或 两 种 以 上 不 同 类 型 的 运 动, 且 相 互 之 间 自 然 过 渡. 三 维 运 动 数 据 存 储 为 常 用 的 BVH 文 件 格 式. 实 验 中 对 本 文 提 出 的 骨 骼 夹 角 几 何 特 征 的 有 效 性 潜 在 分 割 点 自 动 检 测 效 率 及 交 互 式 分 割 原 型 系 统 的 可 用 性 等 方 面 分 别 进 行 了 测 试. 3.1 骨 骼 夹 角 几 何 特 征 有 效 性 的 比 较 图 4(a) 和 图 4(b) 分 别 给 出 采 用 原 始 运 动 帧 与 骨 骼 夹 角 几 何 特 征 表 示 的 一 维 特 征 信 号. 该 段 运 动 数 据 中 包 含

2000 Journal of Software 软 件 学 报 Vol.19, No.8, August 2008 两 种 类 型 的 运 动, 分 别 是 敲 打 地 板 与 擦 洗 地 板. 虽 然 两 种 类 型 的 运 动 姿 态 非 常 接 近, 但 是 在 采 用 骨 骼 夹 角 几 何 特 征 表 示 以 后, 其 一 维 特 征 信 号 能 够 得 到 有 效 的 区 别. 这 说 明 骨 骼 夹 角 几 何 特 征 与 原 始 运 动 数 据 相 比, 能 够 更 加 有 效 地 反 映 不 同 运 动 姿 态 的 差 异 并 有 利 于 分 割 点 的 检 测. 此 外, 图 4 中 的 运 动 序 列 包 含 5 个 完 整 周 期 的 敲 击 地 板 行 为 与 4 个 完 整 周 期 的 擦 洗 地 板 行 为. 可 以 直 观 地 看 到, 采 用 骨 骼 夹 角 几 何 特 征 表 示 的 一 维 特 征 信 号 能 够 更 好 地 反 映 运 动 的 周 期 性, 与 原 始 运 动 数 据 特 征 信 号 相 比, 能 够 更 加 准 确 地 反 映 运 动 数 据 的 物 理 意 义. 图 5 给 出 部 分 运 动 序 列 的 分 割 结 果, 其 中 相 似 运 动 片 段 之 间 的 潜 在 分 割 点 均 可 准 确 地 自 动 检 出, 如 图 5(a) 中 的 普 通 走 ( 单 手 挥 手 ) 走 和 ( 双 手 挥 手 ) 走 ; 图 5(b) 中 的 ( 左 右 ) 擦 玻 璃 和 ( 上 下 ) 擦 玻 璃 ; 图 5(c) 中 的 ( 站 立 ) 拳 击 和 ( 蹲 下 ) 拳 击 等. 实 验 结 果 表 明, 骨 骼 夹 角 几 何 特 征 能 够 有 效 区 分 类 型 不 同 但 姿 态 比 较 相 似 的 各 种 运 动 片 段, 保 证 了 运 动 序 列 分 割 的 准 确 性. Segmentaton pont (a) Moton sequence represented by the bone angles (a) 采 用 骨 骼 夹 角 表 示 的 运 动 序 列 Fg.4 图 4 (b) Moton sequence represented by the orgnal moton frame (b) 采 用 原 始 运 动 帧 表 示 的 运 动 序 列 (a) Walk, walk wth wave (one arm) and walk wth wave (two arms) (a) 普 通 走 ( 单 手 ) 挥 手 走 和 ( 双 手 ) 挥 手 走 (b) Left: washng wndow left and rght, rght: washng wndow up and down (b) 左 :( 左 右 ) 擦 玻 璃, 右 :( 上 下 ) 擦 玻 璃 3.2 潜 在 分 割 点 自 动 检 测 效 率 评 估 Fg.5 图 5 (c) Left: standng and punchng, rght: squat and punchng (c) 左 :( 站 立 ) 拳 击, 右 :( 蹲 下 ) 拳 击 潜 在 分 割 点 检 测 的 准 确 性 与 用 户 交 互 效 率 有 着 直 接 关 系, 实 验 中 对 通 过 运 动 捕 获 系 统 采 集 的 50 多 段 长 序 列 三 维 人 体 运 动 数 据 进 行 测 试 以 评 估 其 效 率. 为 了 更 好 地 对 本 文 提 出 的 方 法 进 行 比 较, 用 Matlab 实 现 了 Jernej

肖 俊 等 : 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 2001 等 人 所 提 出 的 基 于 PPCA 的 运 动 分 割 算 法. 评 估 从 计 算 效 率 与 准 确 性 两 个 方 面 进 行. 表 1 给 出 了 两 种 方 法 在 查 全 率 查 准 率 及 时 间 效 率 方 面 的 比 较. 查 全 率 与 查 准 率 均 以 手 工 分 割 结 果 为 标 准 进 行 计 算, 且 将 不 同 运 动 类 型 之 间 的 过 渡 区 域 均 设 置 为 可 分 割 区 域. Table 1 Performance comparson of dfferent segmentaton methods 表 1 不 同 分 割 方 法 运 行 效 率 比 较 Methods Precson (%) Recall (%) Tme (s/clp) Our method 84.9 97.5 2.4 PPCA method 91.5 93.2 10 从 查 准 率 与 查 全 率 来 看, 本 文 所 提 出 的 方 法 能 够 获 得 较 高 的 查 全 率, 但 与 基 于 PPCA 的 方 法 相 比, 查 准 率 相 对 较 低. 这 主 要 是 因 为 :(1) 骼 夹 角 几 何 特 征 能 够 更 好 地 表 示 原 始 运 动 数 据 的 几 何 特 性, 从 而 有 利 于 类 型 不 同 但 姿 态 接 近 的 运 动 数 据 之 间 的 分 割 点 检 测 ( 如 图 4 所 示 ), 这 导 致 较 高 的 查 全 率 ;(2) 本 文 所 采 用 的 启 发 式 检 测 算 法 所 得 到 的 潜 在 分 割 点 数 量 一 般 都 多 于 正 确 分 割 点 数 量 ( 如 图 3 所 示 ), 而 有 的 潜 在 分 割 点 落 在 可 分 割 区 域 以 外, 这 导 致 较 低 的 查 准 率. 但 是, 由 于 得 到 潜 在 分 割 点 之 后, 用 户 还 可 以 通 过 交 互 界 面 进 行 精 确 分 割 点 选 取, 因 此, 较 低 的 查 准 率 并 不 影 响 最 终 分 割 结 果 的 准 确 性, 而 较 高 的 查 全 率 则 保 证 了 漏 检 率 较 低. 从 理 论 上 而 言, 基 于 系 统 自 动 检 出 的 潜 在 分 割 点 通 过 用 户 交 互 后, 分 割 准 确 率 最 高 可 达 97.5%. 表 1 最 后 一 列 给 出 两 种 方 法 进 行 分 割 的 时 间 效 率 比 较, 这 里, 每 一 个 clp 是 指 被 分 割 出 的 一 个 运 动 片 段, 即 被 判 断 为 某 个 相 同 类 型 的 连 续 运 动 帧 集 合. 平 均 耗 时 由 测 试 数 据 集 中 所 有 运 动 数 据 分 割 点 检 测 耗 时 总 和 除 以 检 出 的 运 动 片 段 数 量 计 算 得 到. 从 时 间 效 率 来 看, 由 于 本 文 所 采 取 方 法 的 计 算 复 杂 度 与 运 动 序 列 长 度 成 线 性 关 系, 而 PPCA 方 法 对 于 一 个 长 度 为 N 待 检 测 运 动 类 型 个 数 为 M 的 运 动 序 列, 需 执 行 (N-M S) 次 完 整 的 PPCA 分 割 算 法. 其 中,S 是 一 个 常 数, 用 于 确 定 构 建 初 始 PCA 子 空 间 所 需 的 运 动 片 段 长 度. 而 完 整 的 PPCA 分 割 算 法 包 括 PCA 子 空 间 构 建 高 斯 建 模 Mahalanobs 距 离 计 算 等 一 系 列 较 为 复 杂 的 算 法 流 程, 这 是 导 致 其 运 算 效 率 低 下 的 主 要 原 因. 3.3 人 体 运 动 数 据 可 视 化 与 交 互 式 分 割 原 型 系 统 为 了 方 便 用 户 基 于 系 统 自 动 检 出 的 潜 在 分 割 点 进 行 精 确 分 割 点 的 选 取, 采 用 Vsual C# 开 发 了 一 个 可 视 化 的 用 户 交 互 界 面, 如 图 6 所 示. Fg.6 The prototype system of nteractve segmentaton for 3D human moton 图 6 三 维 人 体 运 动 交 互 式 分 割 原 型 系 统

2002 Journal of Software 软 件 学 报 Vol.19, No.8, August 2008 应 用 过 程 中 用 户 首 先 载 入 待 分 割 三 维 人 体 运 动 数 据, 界 面 中 的 播 放 窗 口 及 控 制 按 钮 方 便 用 户 浏 览 整 个 三 维 人 体 运 动 序 列, 或 者 在 精 确 分 割 点 选 取 时 用 于 查 看 潜 在 分 割 点 附 近 的 人 体 姿 态. 用 户 可 以 自 己 设 定 信 号 跳 变 检 测 参 数 进 行 潜 在 分 割 点 检 测. 原 始 运 动 数 据 的 一 维 特 征 信 号 及 检 出 的 潜 在 分 割 点 在 界 面 下 方 的 窗 口 中 进 行 了 可 视 化. 用 户 可 以 交 互 式 地 对 潜 在 分 割 点 ( 以 虚 线 表 示 ) 进 行 删 除 插 入 拖 动 等 操 作. 可 以 看 到, 界 面 下 方 的 窗 口 对 整 段 三 维 运 动 数 据 的 一 维 特 征 信 号 进 行 了 可 视 化 并 提 供 交 互 式 工 具 进 行 精 确 分 割 点 选 取, 这 使 得 用 户 不 必 通 过 播 放 器 浏 览 整 段 三 维 人 体 运 动 序 列 就 可 以 方 便 快 速 精 确 地 进 行 数 据 分 割. 图 7 给 出 了 部 分 较 长 运 动 序 列 的 分 割 结 果. (a) Walk, sde-walk, sweepng floor, knockng floor, washng floor and washng wndow (a) 走 ( 侧 身 ) 走 拖 地 敲 击 地 板 擦 洗 地 板 擦 玻 璃 (b) Punchng, jumpng, walkng, punchng, walkng and kckng (b) 拳 击 跳 跃 走 拳 击 走 和 踢 腿 (c) Wavng, punchng, sde kckng and front kckng (c) 挥 手 拳 击 ( 侧 ) 踢 腿 ( 前 ) 踢 腿 Fg.7 Segmentaton results for dfferent moton sequences 图 7 不 同 运 动 序 列 分 割 结 果 4 总 结 本 文 首 先 提 出 一 种 骨 骼 夹 角 几 何 特 征 用 于 表 示 三 维 人 体 运 动 数 据 序 列, 与 原 始 运 动 数 据 相 比, 该 特 征 能 够 更 加 有 效 地 反 映 运 动 序 列 的 几 何 与 物 理 意 义 并 对 其 进 行 直 观 的 可 视 化. 其 次, 基 于 该 几 何 特 征 采 用 一 个 启 发 式 方 法 进 行 潜 在 分 割 点 检 测, 并 利 用 可 视 化 的 用 户 交 互 界 面 对 其 进 行 精 确 分 割. 实 验 结 果 表 明, 与 现 有 方 法 相 比, 采 用 本 文 所 提 出 的 特 征 表 示 及 交 互 式 分 割 方 法 能 够 更 加 准 确 高 效 地 对 包 含 多 种 类 型 的 长 序 列 三 维 人 体 运 动 数 据 进 行 分 割. 今 后 的 工 作 主 要 包 括 3 个 方 面 : 第 一, 探 索 更 好 的 潜 在 分 割 点 检 测 算 法 以 提 高 其 查 准 率, 这 将 有 助 于 减 少 用 户 的 交 互 操 作, 进 一 步 提 高 效 率 ; 第 二, 如 果 一 个 运 动 序 列 包 含 了 很 多 不 同 类 型 的 运 动 片 断, 而 用 户 又 只 想 抽 取 其 中 的 1 个 或 者 几 个 片 断 使 用, 就 没 有 必 要 对 整 个 运 动 序 列 进 行 分 割, 因 此, 在 今 后 的 工 作 中 可 以 考 虑 加 入 一 些 新 的 用 户 交 互 方 式, 即 当 用 户 对 包 含 较 多 不 同 类 型 运 动 片 断 的 运 动 序 列 进 行 浏 览 时, 能 够 对 其 中 感 兴 趣 的 1 帧 或 者 几 帧 数 据 进 行 选 取, 这 样, 分 割 算 法 就 能 将 包 含 用 户 指 定 数 据 的 运 动 片 断 自 动 抽 取 出 来 ; 第 三, 以 所 提 出 的 骨 骼 夹 角 几 何 特 征 表 示 为 基 础, 探 索 新 的 基 于 内 容 的 三 维 人 体 运 动 检 索 技 术.

肖 俊 等 : 三 维 人 体 运 动 特 征 可 视 化 与 交 互 式 运 动 分 割 2003 致 谢 在 此, 我 们 向 对 本 文 的 工 作 给 予 支 持 和 建 议 的 同 行, 特 别 是 课 题 组 的 陈 成 与 杨 易 同 学 对 本 文 的 研 究 工 作 所 给 予 的 帮 助 表 示 感 谢. References: [1] http://mocap.cs.cmu.edu/ [2] Wang TS, Shum HY, Xu YQ, Zheng NN. Unsupervsed analyss of human gestures. In: Goos G, Hartmans J, van Leeuwen J, eds. Proc. of the IEEE Pacfc-Rm Conf. on Multmeda 2001. Bejng: Sprnger-Verlag, 2001. 174 181. [3] Arkan O, Forsyth DA, O Bren J. Moton synthess from annotatons. ACM Trans. on Graphcs, 2003,33(3):402 408. [4] Kahol K, Trpath P, Panchanathan S, Rkaks T. Gesture segmentaton n complex moton sequences. In: Torres L, ed. Proc. of the Int l Conf. on Image Processng 2003, Vol.2. Barcelona: IEEE Computer Socety, 2003. 105 108. [5] Kahol K, Trpath P, Panchanathan S. Automated gesture segmentaton from dance sequences. In: Lee SW, ed. Proc. of the Int l Conf. on Face and Gesture Recognton 2004. Seoul: IEEE Computer Socety, 2004. 883 888. [6] Lu CM, Ferrer NJ. Repettve moton analyss: Segmentaton and event classfcaton. IEEE Trans. on Pattern Analyss and Meachne Intellgence, 2004,26(2):258 263. [7] Barbč J, Safonova A, Pan JY, Faloutsos C, Hodgns JK, Pollard NS. Segmentng moton capture data nto dstnct behavors. In: Hedrch W, Balakrshnan R, eds. Proc. of the Graphcs Interface 2004 Conf. London: Canadan Human-Computer Communcatons Socety, 2004. 185 194. [8] Shen JX, Sun SQ, Pan YH. Key-Frame extracton from moton capture data. Journal of Computer-Aded Desgn & Computer Graphcs, 2004,16(5):719 723 (n Chnese wth Englsh abstract). [9] Feng L, Shen X, Sun T, Xu XH, Pan XW. Retreval of human moton data based on energy model. Journal of Computer-Aded Desgn & Computer Graphcs, 2007,19(8):1015 1021 (n Chnese wth Englsh abstract). [10] Lu F, Zhuang YT, Wu F, Pan YH. 3D moton retreval based on example. Journal of Computer-Aded Desgn & Computer Graphcs, 2003,15(10):1275 1280 (n Chnese wth Englsh abstract). [11] Lee J, Cha JX, Retsma PSA, Hodgns JK, Pollard NS. Interactve control of avatars anmated wth human moton data. ACM Trans. on Graphcs, 2002,21(3):491 500. [12] Müeller M, Roeder T, Clausen M. Effcent content-based retreval of moton capture data. ACM Trans. on Graphcs, 2005,24(3): 677 685. 附 中 文 参 考 文 献 : [8] 沈 军 行, 孙 守 迁, 潘 云 鹤. 从 运 动 捕 获 数 据 中 提 取 关 键 帧. 计 算 机 辅 助 设 计 与 图 形 学 学 报,2004,16(5):719 723. [9] 冯 林, 沈 骁, 孙 焘, 于 孝 航, 潘 晓 雯. 基 于 运 动 能 量 模 型 的 人 体 运 动 捕 捉 数 据 库 的 检 索. 计 算 机 辅 助 设 计 与 图 形 学 学 报,2007,19(8): 1015 1021. [10] 刘 丰, 庄 越 挺, 吴 飞, 潘 云 鹤. 基 于 例 子 的 三 维 运 动 检 索. 计 算 机 辅 助 设 计 与 图 形 学 学 报,2003,15(10):1275 1280. 肖 俊 (1979-), 男, 贵 州 铜 仁 人, 博 士, 讲 师, 主 要 研 究 领 域 为 计 算 机 动 画, 多 媒 体 分 析. 吴 飞 (1973-), 男, 博 士, 副 教 授, 主 要 研 究 领 域 为 多 媒 体 分 析, 机 器 学 习. 庄 越 挺 (1965-), 男, 博 士, 教 授,CCF 高 级 会 员, 主 要 研 究 领 域 为 计 算 机 动 画, 多 媒 体 分 析, 数 字 图 书 馆.