Microsoft Word - 1神奇的矩阵2.doc

题 目 : 神 奇 的 矩 阵 第 二 季 ( 修 改 版 2.1) 学 校 : 哈 尔 滨 工 程 大 学 姓 名 : 黎 文 科 联 系 方 式 : QQ 群 :53937814 联 系 方 式 : 190356321@qq.com

Contents CONTENTS... 2 前 言... 3 绪 论... 4 1 从 坐 标 系 谈 起... 8 2 内 积 与 范 数 的 深 入 理 解... 15 3 特 征 值 为 什 么 特 征... 24 4 爱 上 积 分 变 换... 28 5 水 煮 奇 异 值 分 解... 46 6 我 对 数 学 的 理 解... 60

前 言 神 奇 的 矩 阵 在 整 理 孟 岩 老 师 的 理 解 矩 阵 和 任 广 千 胡 翠 芳 老 师 的 线 性 代 数 的 几 何 意 义 的 基 础 上 加 入 了 自 己 的 一 些 感 悟 和 理 解, 分 别 对 矩 阵 的 乘 法, 等 价, 相 似 对 角 化 等 做 出 了 进 一 步 的 讨 论 当 时 的 读 者 对 象 是 我 的 一 些 准 备 考 研 的 同 学 因 此, 内 容 也 仅 仅 针 对 考 研, 面 也 比 较 窄 其 实, 矩 阵 的 神 奇 之 处 还 有 很 多 因 此, 神 奇 的 矩 阵 第 二 季 面 向 的 对 象 就 是 研 究 生 和 工 程 技 术 人 员, 对 于 矩 阵 的 概 念 挖 掘 也 更 深 入 矩 阵 的 理 论 在 工 程 中 的 应 用 也 是 相 当 广 泛 穷 其 一 生, 也 讲 不 完 矩 阵 的 故 事 这 有 点 令 人 沮 丧, 但 更 让 人 着 迷! 因 为, 它 就 像 一 首 耐 听 的 歌 曲, 每 次 聆 听 都 会 给 你 不 同 的 感 觉, 这 也 是 矩 阵 深 深 吸 引 我 的 地 方 本 文 的 大 部 分 内 容 取 材 于 David C.Lay 的 线 性 代 数 及 其 应 用 网 络 博 客 维 基 百 科 张 贤 达 老 师 的 矩 阵 分 析 与 应 用 由 于 线 性 代 数 大 家 都 学 过, 没 有 秘 密 可 言 数 学 的 好 经 验 应 该 大 家 共 享, 我 们 自 己 也 是 这 么 学 来 的 作 者 愿 意 公 开 本 文 的 电 子 文 档 文 中 重 要 的 内 容 处 采 用 楷 体 加 粗, 以 示 区 分 版 权 声 明 如 下 : (1) 读 者 可 以 任 意 拷 贝 修 改 本 书 的 内 容, 但 不 可 以 篡 改 作 者 及 所 属 单 位 (2) 未 经 作 者 许 可, 不 得 出 版 或 大 量 印 发 本 文 (3) 如 果 你 有 好 的 修 改 建 议, 或 者 也 写 了 一 些 心 得 体 会, 欢 迎 联 系 我, 与 大 家 共 享 由 于 本 人 水 平 有 限, 错 误 在 所 难 免, 欢 迎 读 者 对 本 文 提 出 批 评 建 议 相 信 每 一 次 的 思 考, 不 管 对 错, 都 能 对 你 的 理 解 做 出 贡 献 希 望 这 篇 拙 作 能 起 到 抛 砖 引 玉 的 作 用 谨 以 此 文 献 给 我 的 母 校 哈 尔 滨 工 程 大 学, 作 为 一 份 建 校 六 十 周 年 的 纪 念! 作 者 2013 年 9 月 于 哈 尔 滨 3

绪 论 线 性 代 数 有 什 么 用? 这 是 每 一 个 圈 养 在 象 牙 塔 里, 在 灌 输 式 教 学 模 式 下 的 被 学 习 的 学 生 刚 刚 开 始 思 考 时 的 第 一 个 问 题 我 稍 微 仔 细 的 整 理 了 一 下 学 习 线 代 的 理 由, 竟 然 也 罗 列 了 不 少, 不 知 道 能 不 能 说 服 你 : 1 如 果 你 想 顺 利 地 拿 到 学 位, 线 性 代 数 的 学 分 对 你 有 帮 助 ; 2 如 果 你 想 继 续 深 造, 考 研, 必 须 学 好 线 代 因 为 它 是 必 考 的 数 学 科 目, 也 是 研 究 生 科 目 矩 阵 论 泛 函 分 析 的 基 础 例 如, 泛 函 分 析 的 起 点 就 是 无 穷 多 个 未 知 量 的 无 穷 多 线 性 方 程 组 理 论 3 如 果 你 想 提 高 自 己 的 科 研 能 力, 不 被 现 代 科 技 发 展 潮 流 所 抛 弃, 也 必 须 学 好, 因 为 瑞 典 的 L. 戈 丁 说 过, 没 有 掌 握 线 代 的 人 简 直 就 是 文 盲 他 在 自 己 的 数 学 名 著 数 学 概 观 中 说 : 要 是 没 有 线 性 代 数, 任 何 数 学 和 初 等 教 程 都 讲 不 下 去 按 照 现 行 的 国 际 标 准, 线 性 代 数 是 通 过 公 理 化 来 表 述 的 它 是 第 二 代 数 学 模 型, 其 根 源 来 自 于 欧 几 里 得 几 何 解 析 几 何 以 及 线 性 方 程 组 理 论, 如 果 不 熟 悉 线 性 代 数 的 概 念, 像 线 性 性 质 向 量 线 性 空 间 矩 阵 等 等, 要 去 学 习 自 然 科 学, 现 在 看 来 就 和 文 盲 差 不 多, 甚 至 可 能 学 习 社 会 科 学 也 是 如 此 4 如 果 毕 业 后 想 找 个 好 工 作, 也 必 须 学 好 线 代 : 想 搞 数 学, 当 个 数 学 家 ( 我 去, 这 个 还 需 要 列 出 来, 谁 不 知 道 线 代 是 数 学 ) 恭 喜 你, 你 的 职 业 未 来 将 是 最 光 明 的 如 果 到 美 国 打 工 的 话 你 可 以 找 到 最 好 的 职 业 想 搞 电 子 工 程, 好, 电 路 分 析 线 性 信 号 系 统 分 析 数 字 滤 波 器 分 析 设 计 等 需 要 线 代, 因 为 线 代 就 是 研 究 线 性 网 络 的 主 要 工 具 ; 进 行 IC 集 成 电 路 设 计 时, 对 付 数 百 万 个 集 体 管 的 仿 真 软 件 就 需 要 依 赖 线 性 方 程 组 的 方 法 ; 想 搞 光 电 及 射 频 工 程, 好, 电 磁 场 光 波 导 分 析 都 是 向 量 场 的 分 析, 比 如 光 调 制 器 分 析 研 制 需 要 张 量 矩 阵, 手 机 信 号 处 理 等 等 也 离 不 开 矩 阵 运 算 想 搞 软 件 工 程, 好,3D 游 戏 的 数 学 基 础 就 是 以 图 形 的 矩 阵 运 算 为 基 础 ; 当 然, 如 果 你 只 想 玩 3D 游 戏 可 以 不 必 掌 握 线 代 ; 想 搞 图 像 处 理, 大 量 的 图 像 数 据 处 理 更 离 不 开 矩 阵 这 个 强 大 的 工 具, 阿 凡 达 中 大 量 的 后 期 电 脑 制 作 没 有 线 代 的 数 学 工 具 简 直 难 以 想 象 4

想 搞 经 济 研 究 好, 知 道 列 昂 惕 夫 (Wassily Leontief) 吗? 哈 佛 大 学 教 授, 1949 年 用 计 算 机 计 算 出 了 由 美 国 统 计 局 的 25 万 条 经 济 数 据 所 组 成 的 42 个 未 知 数 的 42 个 方 程 的 方 程 组, 他 打 开 了 研 究 经 济 数 学 模 型 的 新 时 代 的 大 门 这 些 模 型 通 常 都 是 线 性 的, 也 就 是 说, 它 们 是 用 线 性 方 程 组 来 描 述 的, 被 称 为 列 昂 惕 夫 投 入 - 产 出 模 型 列 昂 惕 夫 因 此 获 得 了 1973 年 的 诺 贝 尔 经 济 学 奖 相 当 领 导, 好, 要 会 运 筹 学, 运 筹 学 的 一 个 重 要 议 题 是 线 性 规 划 许 多 重 要 的 管 理 决 策 是 在 线 性 规 划 模 型 的 基 础 上 做 出 的 线 性 规 划 的 知 识 就 是 线 代 的 知 识 啊 比 如, 航 空 运 输 业 就 使 用 线 性 规 划 来 调 度 航 班, 监 视 飞 行 及 机 场 的 维 护 运 作 等 ; 又 如, 你 作 为 一 个 大 商 场 的 老 板, 线 性 规 划 可 以 帮 助 你 合 理 的 安 排 各 种 商 品 的 进 货, 以 达 到 最 大 利 润 对 于 其 他 工 程 领 域, 没 有 用 不 上 线 代 的 地 方 如 搞 建 筑 工 程, 那 么 奥 运 场 馆 鸟 巢 的 受 力 分 析 需 要 线 代 的 工 具 ; 石 油 勘 探, 勘 探 设 备 获 得 的 大 量 数 据 所 满 足 的 几 千 个 方 程 组 需 要 你 的 线 代 知 识 来 解 决 ; 飞 行 器 设 计, 就 要 研 究 飞 机 表 面 的 气 流 的 过 程 包 含 反 复 求 解 大 型 的 线 性 方 程 组, 在 这 个 求 解 的 过 程 中, 有 两 个 矩 阵 运 算 的 技 巧 : 对 稀 疏 矩 阵 进 行 分 块 处 理 和 进 行 LU 分 解 ; 作 餐 饮 业, 对 于 构 造 一 份 有 营 养 的 减 肥 食 谱 也 需 要 解 线 性 方 程 组 ; 知 道 有 限 元 方 法 吗? 这 个 工 程 分 析 中 十 分 有 效 的 有 限 元 方 法, 其 基 础 就 是 求 解 线 性 方 程 组 知 道 马 尔 科 夫 链 吗? 这 个 链 子 神 通 广 大, 在 许 多 学 科 如 生 物 学 商 业 化 学 工 程 学 及 物 理 学 等 领 域 中 被 用 来 做 数 学 模 型, 实 际 上 马 尔 科 夫 链 是 由 一 个 随 机 变 量 矩 阵 所 决 定 的 一 个 概 率 向 量 序 列, 看 看, 矩 阵 向 量 又 出 现 了 另 外, 矩 阵 的 特 征 值 和 特 征 向 量 可 以 用 在 研 究 物 理 化 学 领 域 的 微 分 方 程 连 续 的 或 离 散 的 动 力 系 统 中, 比 如 结 构 动 力 学 刚 体 动 力 学 振 动 力 学 等, 而 且 不 论 是 机 械 振 动 还 是 振 荡 电 路, 只 要 有 振 动 的 地 方 就 有 求 矩 阵 的 特 征 值 和 特 征 向 量 的 问 题 甚 至 数 学 生 态 学 家 用 以 在 预 测 原 始 森 林 遭 到 何 种 程 度 的 砍 伐 会 造 成 猫 头 鹰 的 种 群 灭 亡 ; 大 名 鼎 鼎 的 最 小 二 乘 算 法 广 泛 应 用 在 各 个 工 程 领 域 里 被 用 来 把 实 验 中 得 到 的 大 量 测 量 数 据 来 拟 合 到 一 个 理 想 的 直 线 或 曲 线 上, 最 小 二 乘 拟 合 算 法 实 质 就 是 超 定 线 性 方 程 组 的 求 解 ; 计 算 机 人 脸 识 别 中 也 应 用 到 矩 阵 的 特 征 值 和 特 征 向 量 5

二 次 型 常 常 出 现 在 线 性 代 数 在 工 程 ( 标 准 设 计 及 优 化 ) 和 信 号 处 理 ( 输 出 的 噪 声 功 率 ) 的 应 用 中, 他 们 也 常 常 出 现 在 物 理 学 ( 例 如 势 能 和 动 能 ) 微 分 几 何 ( 例 如 曲 面 的 法 曲 率 ) 经 济 学 ( 例 如 效 用 函 数 ) 和 统 计 学 ( 例 如 置 信 椭 圆 体 ) 中, 某 些 这 类 应 用 实 例 的 数 学 背 景 很 容 易 转 化 为 对 对 称 矩 阵 的 研 究 嘿 嘿 ( 脸 红 ), 说 实 在 的, 我 也 没 有 足 够 经 验 讲 清 楚 线 代 在 各 个 工 程 领 域 中 的 应 用, 只 能 大 概 人 云 亦 云 地 讲 述 以 上 线 代 的 一 些 基 本 应 用 因 为 你 如 果 要 真 正 的 讲 清 楚 线 代 的 一 个 应 用, 就 必 须 充 分 了 解 所 要 应 用 的 领 域 内 的 知 识, 最 好 有 实 际 的 工 程 应 用 的 经 验 在 里 面 ; 况 且 线 性 代 数 在 各 个 工 程 领 域 中 的 应 用 真 是 太 多 了, 要 知 道 当 今 成 为 一 个 工 程 通 才 只 是 一 个 传 说 总 结 一 下, 线 性 代 数 的 应 用 领 域 几 乎 可 以 涵 盖 所 有 的 工 程 技 术 领 域 如 果 想 知 道 更 详 细 的 应 用 材 料, 建 议 看 一 下 线 性 代 数 及 应 用, 这 是 美 国 David C. Lay 教 授 写 的 迄 今 最 现 代 的 流 行 教 材 或 者 国 内 的 可 以 看 一 看 张 贤 达 的 矩 阵 分 析 与 应 用 当 然, 如 果 你 是 在 校 学 生, 我 很 遗 憾 的 告 诉 你, 这 篇 文 章 并 不 能 帮 助 你 通 过 考 试 这 篇 文 章 和 之 前 的 神 奇 的 矩 阵 里 面 所 讲 的, 都 不 是 考 试 所 考 的 曾 经 和 同 学 交 流 写 这 些 东 西 有 没 有 意 义, 我 的 观 点 是 这 些 是 教 育 的 缺 失, 应 该 补 回 来 同 学 的 观 点 是 这 些 是 被 教 育 遗 弃 的 东 西 : 考 试 不 考, 怎 么 会 有 用? 我 竟 无 言 以 对 或 许, 当 下 的 教 育 环 境 和 评 价 中, 一 份 历 年 考 题 远 远 比 知 识 本 身 更 重 要 想 想 你 身 边 的 同 学, 是 不 是 平 时 不 上 课, 只 要 考 试 前 一 周 突 击 复 习 一 下 就 能 取 得 满 意 的 成 绩? 因 此, 大 学 其 实 只 要 一 年 就 够 了 : 老 师 给 划 一 下 范 围, 做 几 套 历 年 考 题, 考 试 就 能 通 过 了 甚 至 有 些 同 学 只 要 几 个 月 就 足 够 了, 我 身 边 就 有 这 样 的 例 子 说 这 些 并 没 有 别 的 意 思, 只 是 不 想 误 导 你 的 学 习 方 向 希 望 你 清 楚, 对 于 考 试, 做 一 套 历 年 考 题 比 读 本 篇 文 章 重 要 得 多 由 于 矩 阵 的 知 识 太 多, 我 怕 文 章 写 太 长 了 你 就 没 兴 趣 看 了 因 此 对 本 文 做 一 个 总 体 的 概 括 本 文 主 要 包 括 以 下 内 容 : 第 一 章 介 绍 两 部 分 内 容 : 1 重 新 认 识 一 下 基 和 坐 标, 你 会 见 到 各 种 各 样 不 同 形 式 的 基 底, 以 及 线 性 代 数 的 思 想 如 何 延 伸 到 函 数 理 论 之 中 6

2 神 奇 的 矩 阵 中 介 绍 的 矩 阵 是 对 向 量 运 动 的 描 述 第 二 季 将 简 单 回 顾 一 下, 并 介 绍 矩 阵 对 坐 标 系 运 动 的 描 述 这 在 数 字 图 像 处 理 和 计 算 机 图 形 学 中 应 用 广 泛 想 想 你 每 天 在 Word 或 者 PPT 中 拉 伸 旋 转 图 像, 其 背 后 都 是 矩 阵 运 算 第 二 章 介 绍 两 部 分 内 容 : 1 首 先 介 绍 距 离 这 个 概 念, 学 术 的 名 词 也 称 作 范 数 (norm) 距 离 这 个 概 念 是 微 积 分 的 基 石, 有 了 矩 阵 之 间 距 离, 微 积 分 中 的 所 有 东 西 都 可 以 推 广 到 矩 阵 论 里 面, 这 在 你 以 后 的 科 研 工 作 以 及 学 习 中 至 关 重 要 2 内 积 是 一 个 很 重 要 的 运 算 它 的 运 算 本 质 就 是 乘 积 求 和 我 们 会 见 到 各 种 各 样 的 内 积 形 式, 最 后 会 介 绍 一 些 内 积 的 应 用 第 三 章 介 绍 两 部 分 内 容 : 1 这 一 章 我 们 介 绍 特 征 值 的 概 念 或 许 你 对 它 再 熟 悉 不 过 了, 不 过 可 能 仅 仅 局 限 在 矩 阵 对 角 化 这 里 我 们 会 看 到 其 他 课 程 中 这 种 各 样 的 特 征, 以 及 他 们 共 通 的 思 想 2 各 种 各 样 的 方 程 及 其 求 解 无 疑 是 非 常 重 要 的 内 容, 因 为 本 文 主 要 写 矩 阵, 线 性 方 程 就 自 然 是 我 们 讨 论 的 对 象 在 这 里, 你 会 看 到 线 性 方 程 的 魅 力, 理 解 特 征 值 和 指 数 函 数 作 为 特 征 函 数 的 神 奇 第 四 章 和 第 五 章 是 线 性 代 数 思 想 的 一 个 拓 展 和 应 用 第 四 章 介 绍 积 分 变 换 从 不 同 角 度 剖 析 积 分 变 换 的 本 质 第 五 章 介 绍 奇 异 值 分 解 这 在 图 像 处 理 文 本 分 类 模 式 识 别 等 领 域 很 重 要 第 六 章 谈 谈 我 对 数 学 的 理 解 希 望 能 让 你 对 数 学 的 印 象 有 所 改 观 原 本 计 划 多 写 一 些 东 西 的, 突 然 发 现 好 像 内 容 太 多, 有 些 担 心, 就 删 减 留 下 比 较 重 要 的 几 章, 希 望 对 你 有 帮 助 7

1 从 坐 标 系 谈 起 这 一 节 介 绍 两 个 问 题 : 第 一 个 是 对 基 和 坐 标 的 更 进 一 步 理 解, 第 二 个 问 题 是 讨 论 一 下 矩 阵 与 矩 阵 乘 法 对 应 的 几 何 意 义 空 间 赋 范 线 性 空 间 满 足 完 备 性, 就 成 了 巴 那 赫 空 间 ; 赋 范 线 性 空 间 中 定 义 角 度, 就 有 了 内 首 先 我 们 回 顾 一 下 神 奇 的 矩 阵 里 面 的 一 些 重 要 内 容 : 所 谓 线 性 的 代 数 意 义 是 什 么 呢? 实 际 上, 最 基 本 的 意 义 只 有 两 条 : 可 加 性 和 比 例 性 用 数 学 的 表 达 来 说 就 是 : 对 加 法 和 数 乘 封 闭 然 后 说 说 空 间 (space), 这 个 概 念 之 前 就 说 过, 只 是 那 时 候 重 点 考 虑 的 事 数 学 意 义 上 的 空 间 对 于 空 间 的 的 理 解 需 要 更 抽 象 一 些, 简 单 的 说, 能 装 东 西 的 就 是 空 间 空 间 的 概 念 有 点 类 似 集 合, 只 是 一 些 运 算 上 会 稍 有 不 同 甚 至 你 将 二 者 等 同 也 不 会 对 你 的 理 解 有 多 少 影 响 比 如 计 算 机 内 有 存 储 单 元, 那 么 就 有 内 存 空 间 ; 我 们 上 课 有 课 表, 那 么 就 有 课 表 空 间 ; 有 一 个 能 装 载 梦 境 的 东 西, 我 们 可 以 叫 它 盗 梦 空 间 有 一 个 能 装 载 概 率 的 东 西, 我 们 可 以 叫 它 概 率 空 间 对 于 数 学 来 说, 数 学 家 定 义 的 空 间 里 装 载 的 当 然 是 能 运 算 的 东 西 从 拓 扑 空 间 开 始, 一 步 步 往 上 加 定 义, 可 以 形 成 很 多 空 间 线 形 空 间 其 实 还 是 比 较 初 级 的, 如 果 在 里 面 定 义 了 范 数, 就 成 了 赋 范 线 性 积 空 间, 内 积 空 间 再 满 足 完 备 性, 就 得 到 希 尔 伯 特 空 间, 如 果 空 间 里 装 载 所 有 类 型 的 函 数, 就 叫 泛 函 空 间 总 之, 空 间 有 很 多 种 容 纳 运 动 是 空 间 的 本 质 特 征, 而 变 换 则 规 定 了 对 应 空 间 的 运 动 线 性 空 间 中 的 任 何 一 个 对 象, 通 过 选 取 线 性 无 关 基, 就 有 坐 标, 你 就 能 建 立 一 个 坐 标 系, 来 描 述 这 个 空 间 中 的 对 象! 空 间 这 个 概 念 太 重 要 了, 所 以 我 不 得 不 再 啰 嗦 一 遍 空 间 的 概 念 如 果 你 感 到 有 些 抽 象, 我 们 举 一 个 例 子 来 说 明 : 现 在 假 设 你 有 一 个 盒 子, 盒 子 里 面 装 着 数 学 书 英 语 书 笔 记 本 还 有 碳 素 笔 按 照 上 面 空 间 的 定 义, 盒 子 里 就 是 一 个 空 间 为 了 描 述 方 便, 我 们 给 这 个 空 间 起 个 名 字, 就 叫 它 盒 子 空 间 吧 空 间 有 了, 下 面 我 们 就 来 考 虑 基 和 坐 标 的 问 题 在 线 性 代 数 中, 基 也 称 为 基 底 是 描 述 刻 画 向 量 空 间 的 基 本 工 具 换 一 个 说 法 也 就 是 建 立 坐 标 系 基 的 英 文 名 字 是 Basic, 有 基 础, 基 本 ; 基 本 原 则, 基 本 原 理, 基 本 规 律 ; 基 本 要 素 ; 基 础 训 练 的 意 思 说 明 基 是 描 述 空 间 最 根 本 的 东 西, 我 们 习 惯 将 基 放 在 大 括 号 {} 中 我 们 常 见 的 基 是 有 限 维 的 向 量, 当 然 基 也 可 以 是

任 意 基 础 的 东 西 比 如 上 面 所 说 的 盒 子 空 间 中,{ 数 学 书 英 语 书 笔 记 本 碳 素 笔 } 就 构 成 一 组 基 ; 基 也 可 以 是 有 限 维 向 量 { e1, e2 e n }; 当 然, 基 也 可 以 是 无 限 维 的 函 数 { 1( x), 2( x), 3( x) }; 基 还 可 以 是 矩 阵 { E1, E2 E n } 对 基 的 要 求 只 有 两 条 : 数 量 够, 彼 此 线 性 无 关 ( 也 就 是 基 之 间 不 能 互 相 表 示 ), 用 数 学 一 点 的 表 达 就 是 完 备 性 和 线 性 独 立 选 取 了 基 之 后 就 有 坐 标 了, 矩 阵 描 述 空 间 中 的 运 动, 就 是 通 过 操 作 坐 标 来 实 现 当 选 取 的 基 不 是 有 限 维 向 量 时, 你 的 坐 标 系 就 变 得 不 那 么 直 观 了 可 能 你 接 2 受 起 来 就 有 些 困 难, 举 一 个 你 熟 悉 的 例 子 吧 : 比 如 你 选 取 无 限 维 的 函 数 {1, xx, } 作 为 基, 那 么 就 有 f( x) c x c c x c x n 2 i 0 1 2 没 错, 这 就 是 函 数 在 零 点 的 泰 勒 展 开 我 们 也 可 以 称 泰 勒 展 开 为 将 函 数 f ( x) 变 换 到 多 项 式 空 间 为 什 么 选 择 多 项 式 作 为 基 呢? 多 项 式 的 特 点 就 是 变 化 丰 富, 在 很 小 的 区 域 内 ( 邻 域 ), 多 项 式 只 取 前 几 阶 就 能 很 好 的 描 述 函 数 曲 线 的 形 状 因 此, 一 般 看 变 化 趋 势 增 减, 我 们 只 取 一 阶, 看 极 值 问 题 我 们 只 取 到 二 阶 再 举 一 个 你 熟 悉 的 例 子 : 比 如 你 选 取 无 限 维 的 函 数 {sin( n x),cos( n x)} 作 为 基, 那 么 就 有 f ( x) a sin( n x) b cos( n x) i i 这 就 是 傅 里 叶 级 数 展 开 我 们 也 可 以 称 傅 里 叶 展 开 为 将 函 数 f ( x ) 变 换 到 傅 里 叶 空 间 为 什 么 要 选 取 三 角 函 数 作 为 基 我 们 会 在 第 六 章 详 细 讨 论 空 间 之 间 的 变 化 其 实 就 是 换 了 一 组 基 而 已 所 以 泰 勒 展 开 其 实 是 换 了 一 组 基, 所 以 傅 里 叶 级 数 是 换 了 一 组 基, 拉 普 拉 斯 变 换 是 换 了 一 组 基, 小 波 变 换 是 换 了 一 组 基 再 举 一 个 矩 阵 作 为 基 的 例 子 : c c 1 0 0 1 0 0 0 0 1 2 A c1 c2 c3 c4 ce i i c3 c 4 0 0 0 0 1 0 0 1 基 的 选 择 有 好 坏, 也 就 是 你 看 问 题 的 角 度 不 同, 问 题 的 复 杂 程 度 不 一 样 但 要 记 住 一 点, 基 的 选 取 一 定 是 为 了 你 研 究 问 题 的 方 便 9

神 奇 的 矩 阵 中 主 要 介 绍 的 是 矩 阵 是 运 动 的 描 述, 施 加 的 对 象 是 向 量, 第 二 季 介 绍 的 矩 阵 也 是 运 动 的 描 述, 但 施 加 的 对 象 变 成 了 空 间 这 是 对 矩 阵 与 矩 阵 乘 法 的 更 深 入 解 读 我 们 将 会 看 到, 一 个 矩 阵, 如 何 对 一 个 空 间 进 行 变 换 先 回 顾 一 下 上 节 的 内 容 : 我 们 先 确 立 了 一 种 叫 线 性 空 间 的 东 西, 然 后 我 们 建 立 了 坐 标 系 : 选 取 了 一 组 基, 于 是 空 间 里 的 对 象 就 有 了 坐 标 世 界 是 物 质 的, 物 质 是 运 动 的, 接 下 来 肯 定 要 研 究 一 下 线 性 空 间 里 面 的 运 动 是 怎 么 实 现 的, 也 就 是 来 回 答 第 二 个 问 题, 这 个 问 题 的 回 答 会 涉 及 到 线 性 代 数 的 一 个 最 根 本 的 问 题 线 性 空 间 中 的 运 动, 被 称 为 线 性 变 换 也 就 是 说, 你 从 线 性 空 间 中 的 一 个 点 运 动 到 任 意 的 另 外 一 个 点, 都 可 以 通 过 一 个 线 性 变 化 来 完 成 那 么, 线 性 变 换 如 何 表 示 呢? 很 有 意 思, 在 线 性 空 间 中, 当 你 选 定 一 组 基 之 后, 不 仅 可 以 用 一 个 向 量 来 描 述 空 间 中 的 任 何 一 个 对 象, 而 且 可 以 用 矩 阵 来 描 述 该 空 间 中 的 任 何 一 个 运 动 ( 变 换 ) 而 使 某 个 对 象 发 生 对 应 运 动 的 方 法, 就 是 用 代 表 那 个 运 动 的 矩 阵, 乘 以 代 表 那 个 对 象 的 向 量 简 而 言 之, 在 线 性 空 间 中 选 定 基 之 后, 向 量 刻 画 对 象, 矩 阵 刻 画 对 象 的 运 动, 用 矩 阵 与 向 量 的 乘 法 施 加 运 动 现 在 我 们 研 究 矩 阵 如 何 改 变 空 间 的 问 题, 也 就 是 说 矩 阵 如 何 对 坐 标 系 施 加 变 换 的 问 题 由 向 量 构 成 的 坐 标 系 一 定 是 非 奇 异 的 方 阵, 这 一 点 毋 庸 置 疑 为 什 么 可 逆 矩 阵 也 叫 非 奇 异 矩 阵? 因 为 人 们 都 觉 得 一 个 矩 阵 不 可 逆 是 很 奇 怪 的 事 情, 因 此 叫 奇 异 矩 阵 回 想 神 奇 的 矩 阵 中 的 我 们 讨 论 的 结 果 : 对 坐 标 系 施 加 变 换 的 方 法, 就 是 让 表 示 那 个 坐 标 系 的 矩 阵 与 表 示 那 个 变 化 的 矩 阵 相 乘 那 么 矩 阵 究 竟 怎 么 作 用 了 坐 标 系 呢? 我 们 知 道, 空 间 中 的 任 意 向 量 可 以 由 基 向 量 线 性 表 示, 矩 阵 对 向 量 的 作 用 我 们 在 神 奇 的 矩 阵 中 介 绍 了 那 么, 我 们 只 需 要 看 看 矩 阵 如 何 作 用 每 一 个 坐 标 轴 就 知 道 矩 阵 如 何 作 用 这 个 空 间 了 下 面 的 图 表 给 出 了 一 个 二 维 空 间 的 例 子, 三 维 空 间 甚 至 高 维 空 间 也 是 一 样 的 道 理, 只 是 图 形 的 变 化 更 丰 富 而 已 理 解 了 二 维 平 面 的 变 化 也 就 理 解 了 高 维 空 间 的 变 化, 就 像 我 们 学 习 二 元 函 数 之 后, 多 元 函 数 也 就 以 此 类 推 了 一 样 10

红 色 和 绿 色 的 箭 头 是 为 了 标 示 方 向 而 存 在 的 矩 阵 变 换 图 形 变 换 名 称 x2 1 0 0 1 x1 单 位 变 换 x2 x2 x1 x1 1 0 0 k x2 x2 拉 伸 变 换 x1 x1 x2 x2 x1 x1 k 0 0 1 x2 x2 拉 伸 变 换 x1 x1 11

x2 x2 0 1 1 0 x1 x1 对 称 变 换 x2 x2 0 1 1 0 x1 x1 x2 x2 1 k 0 1 x1 x1 剪 切 变 换 1 0 k 1 x2 x1 x2 x1 事 实 上, 拉 伸 对 称 剪 切 分 别 对 应 三 种 初 等 变 换 也 就 是 说, 有 了 这 三 种 变 换, 其 他 任 意 的 矩 阵 变 换 都 可 以 用 这 三 种 变 换 表 示 切 变 的 事 例 在 日 常 生 活 中 有 很 多 如 下 图, 将 一 本 厚 书 放 在 桌 面 上, 推 动 它 的 封 面, 使 书 页 发 生 滑 动, 这 时 在 书 页 的 两 头 边 缘 上 画 出 的 一 个 矩 形 变 成 了 平 行 四 边 形, 这 本 书 受 到 的 就 是 切 变 其 形 状 发 生 了 变 化, 而 体 积 不 变 ( 这 本 书 的 宽 度 和 厚 度 均 没 有 发 生 变 化 ) 12

前 面 的 图 是 解 释 了 矩 阵 对 空 间 中 的 基 如 何 作 用 的, 因 为 空 间 中 任 意 向 量 都 可 以 由 基 表 示, 我 们 就 可 以 看 看 空 间 中 的 图 像 是 怎 么 变 化 的 下 图 是 维 基 百 科 英 文 版 中 总 结 的 一 些 常 用 变 换, 我 只 是 截 取 了 一 部 分 放 在 下 面 illustration matrix eigenvalues eigenvectors scaling 1 k 2 k All non-zero vectors unequal scaling 1 k1 2 k2 rotation 2 1 i e i e hyperbolic rotation 1 e 2 e horizontal shear 1 1 2 1 从 表 中 可 以 看 出 : 矩 阵 不 能 对 角 化 的 原 因 是 因 为 有 剪 切 变 换, 所 以 才 有 Jordan 块 的 事 旋 转 变 换 可 以 由 连 续 两 次 反 射 变 换 来 实 现 旋 转 变 换 对 应 矩 阵 出 现 复 特 征 值 如 果 这 几 幅 图 依 然 不 能 让 你 感 受 到 矩 阵 变 换 究 竟 对 空 间 做 了 什 么, 我 们 看 下 下 面 的 图 13

这 就 是 你 在 做 PPT 或 者 在 Word 中 处 理 图 片 的 过 程, 而 在 计 算 机 内 部, 进 行 的 确 是 矩 阵 运 算, 这 方 面 感 兴 趣 的 读 者 可 以 参 考 MATLAB 数 字 图 像 处 理 方 面 的 书 籍 参 考 文 献 1. http://blog.csdn.net/jane617_min/article/details/7044479 2. http://en.wikipedia.org/wiki/eigenvalues_and_eigenvectors 3. 线 性 代 数 的 几 何 意 义 14

2 内 积 与 范 数 的 深 入 理 解 回 想 微 积 分, 它 的 核 心 是 极 限 这 其 实 是 一 种 全 新 的 世 界 观, 告 诉 我 们 两 个 东 西 无 限 接 近 的 时 候 就 是 同 一 个 东 西 在 我 们 人 类 的 经 验 里, 运 动 是 一 个 连 续 过 程, 从 A 点 到 B 点, 就 算 走 得 最 快 的 光, 也 是 需 要 一 个 时 间 来 逐 点 地 经 过 AB 之 间 的 路 径, 这 就 带 来 了 连 续 性 的 概 念 而 连 续 这 个 事 情, 如 果 不 定 义 极 限 的 概 念, 根 本 就 解 释 不 了 古 希 腊 人 的 数 学 非 常 强, 但 就 是 缺 乏 极 限 观 念, 所 以 解 释 不 了 运 动, 被 芝 诺 的 那 些 著 名 悖 论 ( 飞 箭 不 动 飞 毛 腿 阿 喀 琉 斯 跑 不 过 乌 龟 等 四 个 悖 论 ) 搞 得 死 去 活 来 极 限 是 整 个 微 积 分 的 的 核 心, 这 时 毋 庸 置 疑 的 但 是, 我 们 常 常 忽 略 一 个 比 它 更 基 础 的 东 西 距 离! 回 想 极 限 的 定 义, 是 引 用 了 语 言 才 说 的 明 白 的 语 言 中 引 入 一 种 叫 距 离 要 多 小 有 多 小, 才 定 义 的 极 限 可 见, 距 离 的 概 念 才 是 根 本 的 概 念 有 了 距 离, 才 有 了 极 限, 才 有 了 微 分 积 分 但 是 为 什 么 这 个 问 题 很 少 被 提 到 呢? 我 觉 得 是 考 试 造 成 的 考 试 能 考 的, 不 一 定 是 最 有 用 的 于 是 在 茫 茫 题 海 中, 距 离 这 个 重 要 的 概 念 就 被 淹 没 了 同 样 的 道 理, 我 们 也 会 定 义 向 量 之 间 的 距 离 矩 阵 之 间 的 距 离, 也 就 是 传 说 中 的 范 数 (norm) 为 什 么 叫 norm 呢? 笔 者 觉 得 是 因 为 距 离 的 定 义 太 多 了, 于 是 就 规 范 一 下, 只 要 满 足 三 条 : 非 负, 齐 次, 三 角 不 等 式 就 都 可 以 叫 做 norm 范 数, 是 具 有 长 度 概 念 的 函 数 在 线 性 代 数 泛 函 分 析 及 相 关 的 数 学 领 域 人 感 知 物 理 世 界, 哪 些 事 和 物 按 什 么 方 式 和 度 量 彼 此 相 似, 这 可 能 是 最 富 魅 力 的 科 学 问 题 之 一 相 似 这 个 概 念 既 直 观 又 抽 象 甚 至 神 秘 例 如 绘 画 家 可 以 将 一 个 人 的 形 象 用 写 实 画 印 象 画 线 描 画 甚 至 各 种 形 态 的 漫 画 表 现 出 来, 我 们 可 以 认 识 他, 并 认 为 和 照 片 上 的 他 是 同 一 个 人 问 题 是 如 何 从 数 学 上 定 义 这 些 图 画 中 人 的 相 似 性? 这 时 通 常 采 用 的 方 法 就 是 计 算 样 本 间 的 距 离 (Distance) 采 用 什 么 样 的 方 法 计 算 距 离 是 很 讲 究, 甚 至 关 系 到 分 类 辨 识 的 正 确 与 否 1. 欧 氏 距 离 (Euclidean Distance) 欧 氏 距 离 是 最 易 于 理 解 的 一 种 距 离 计 算 方 法, 源 自 欧 氏 空 间 中 两 点 间 的 距 离 公 式 也 就 是 向 量 的 2 范 数 两 个 n 维 向 量 a x x x 与 b x x x 的 欧 氏 距 离 :,,, n 11 12 1,,, n 21 22 2 间 15

distance x i x i 1 2 2 2. 曼 哈 顿 距 离 (Manhattan Distance) 从 名 字 就 可 以 猜 出 这 种 距 离 的 计 算 方 法 了 想 象 你 在 曼 哈 顿 要 从 一 个 十 字 路 口 开 车 到 另 外 一 个 十 字 路 口, 驾 驶 距 离 是 两 点 间 的 直 线 距 离 吗? 显 然 不 是, 除 非 你 能 穿 越 大 楼 实 际 驾 驶 距 离 就 是 这 个 曼 哈 顿 距 离 而 这 也 是 曼 哈 顿 距 离 名 称 的 来 源, 曼 哈 顿 距 离 也 称 为 城 市 街 区 距 离 (City Block distance) 曼 哈 顿 距 离 也 就 是 向 量 的 1 范 数 两 个 n 维 向 量 a x x x 与 b x x x,,, n 11 12 1,,, n 21 22 2 间 的 曼 哈 顿 距 离 distance x1 i x2i 曼 哈 顿 与 欧 几 里 得 距 离 : 红 蓝 与 黄 线 分 别 表 示 所 有 曼 哈 顿 距 离 都 拥 有 一 样 长 度 (12), 而 绿 线 表 示 欧 几 里 得 距 离 约 有 8.48 的 长 度 3. 切 比 雪 夫 距 离 ( Chebyshev Distance ) 国 际 象 棋 玩 过 么? 国 王 走 一 步 能 够 移 动 到 相 邻 的 8 个 方 格 中 的 任 意 一 个 那 么 国 王 从 格 子 (x1,y1) 走 到 格 子 (x2,y2) 最 少 需 要 多 少 步? 自 己 走 走 试 试 你 会 发 现 最 少 步 数 总 是 max( x2 x1, y2 y1) 步 有 一 种 类 似 的 一 种 距 离 度 量 方 法 叫 切 比 雪 夫 距 离 也 称 为 向 量 的 范 数 两 个 n 维 向 量 a x x x,,, n 11 12 1 与 16

b x21, x22,, x2n 间 的 切 比 雪 夫 距 离 distance max( x x ) i 1i 2i 上 图 是 棋 盘 上 所 有 位 置 距 f6 位 置 的 切 比 雪 夫 距 离 4. 闵 可 夫 斯 基 距 离 (Minkowski Distance) 闵 氏 距 离 不 是 一 种 距 离, 而 是 一 组 距 离 的 定 义 也 称 为 向 量 的 p 范 数 两 个 n 维 变 量 a(x11,x12,,x1n) 与 b(x21,x22,,x2n) 间 的 闵 可 夫 斯 基 距 离 定 义 为 : p p 12 1i 2i k d lim x x 其 中 p 是 一 个 变 参 数 当 p=1 时, 就 是 曼 哈 顿 距 离 ; 当 p=2 时, 就 是 欧 氏 距 离 ; 当 p 时, 就 是 切 比 雪 夫 距 离 根 据 变 参 数 的 不 同, 闵 氏 距 离 可 以 表 示 一 类 的 距 离 总 结 一 下 各 种 范 数 : 17

距 离 这 个 概 念 在 数 学 中 太 重 要 了, 它 是 定 义 度 量 空 间 的 第 一 要 素 有 了 距 离, 才 好 讨 论 度 量 空 间 中 元 和 元 之 间 的 相 互 关 系, 才 好 讨 论 按 距 离 的 收 敛 性 有 多 种 距 离 的 具 体 形 式 适 合 于 研 究 不 同 的 数 学 问 题 典 型 的 例 子 有 用 函 数 差 值 上 界 定 义 的 距 离 ( 一 致 收 敛 距 离 ) 和 按 函 数 差 值 平 方 积 分 定 义 的 距 离 ( 均 方 收 敛 距 离 ) 典 型 地, 许 多 问 题 需 要 通 过 最 优 化 一 个 泛 函 指 标 来 表 达, 这 个 指 标 就 是 距 离 工 科 研 究 者 十 分 关 注 距 离 的 一 个 直 观 含 义 : 函 数 的 相 似 性 度 量 自 然 地, 用 距 离 描 述 的 相 似 性 是 很 窄 的 一 类 相 似 性 即 使 是 这 样, 它 的 应 用 已 经 遍 及 物 理 和 工 程 的 许 多 领 域 之 前 介 绍 了 向 量 之 间 距 离 的 定 义 方 法, 也 称 为 范 数, 接 受 了 这 些 概 念 之 后 再 理 解 矩 阵 范 数 就 容 易 多 了 下 面 我 们 就 来 介 绍 矩 阵 范 数 矩 阵 的 距 离 理 解 起 来 就 比 较 丰 富 了, 如 果 你 认 为 矩 阵 里 面 装 的 是 向 量, 或 者 说 向 量 也 应 该 是 特 殊 的 矩 阵 那 么, 矩 阵 和 向 量 应 该 满 足 相 容 性, 并 且 通 过 向 量 范 数 的 定 义 可 以 诱 导 出 矩 阵 范 数 此 类 范 数 称 为 诱 导 范 数 如 果 认 为 矩 阵 里 面 装 载 的 是 纯 的 数, 那 么 此 时 矩 阵 的 距 离 就 是 A 到 0 矩 阵 的 距 离, 这 类 范 数 称 为 非 诱 导 范 数 有 了 向 量 范 数 的 基 础, 理 解 矩 阵 范 数 就 轻 松 多 了, 这 里 只 给 出 矩 阵 范 数 的 几 种 定 义, 而 不 去 详 细 讨 论 具 体 应 用 请 参 考 你 所 学 专 业 的 书 籍 诱 导 矩 阵 范 数 1- 范 数 : A 1 max{ ai 1, ai 2,, ain }, 也 称 列 和 范 数 - 范 数 : A max{ a, 1i a,, 2i ami }, 也 称 行 和 范 数 H 2- 范 数 : A 2 max{ ( A A)} max{ ( A)}, 也 称 为 谱 范 数 非 诱 导 矩 阵 范 数 M1 范 数 : A m 1 a 1 1 i m j n i ij i M2 范 数 : A m2 m n i1 j1 a ij 2 M 范 数 : A n max a m i, j ij 这 里 要 重 点 说 一 下 矩 阵 的 M2 范 数, 也 称 为 弗 罗 贝 尼 乌 斯 范 数 (Frobenius norm) F 范 数 或 希 尔 伯 特 - 施 密 特 范 数 ( Hilbert Schmidt norm), 不 过 后 面 这 个 18

术 语 通 常 只 用 于 希 尔 伯 特 空 间 这 个 范 数 可 用 不 同 的 方 式 定 义 : F m n min{ mn, } 2 H ij ( ) i1 j1 i A a trace A A 这 里 A H 表 示 A 的 共 轭 转 置,σi 是 A 的 奇 异 值, 并 使 用 了 迹 函 数 弗 罗 贝 尼 乌 斯 范 数 与 Kn 上 欧 几 里 得 范 数 非 常 类 似, 来 自 所 有 矩 阵 的 空 间 上 一 个 内 积 弗 罗 贝 尼 乌 斯 范 范 数 是 服 从 乘 法 的 且 在 数 值 线 性 代 数 中 非 常 有 用 这 个 范 数 通 常 比 诱 导 范 数 容 易 计 算 说 到 范 数, 还 有 一 条 重 要 的 结 论 : 谱 半 径 不 大 于 矩 阵 范 数, 即 ρ(a) A 这 一 点 很 重 要, 说 明 谱 半 径 是 矩 阵 距 离 的 下 限 作 为 拓 展 内 容, 再 介 绍 几 种 概 率 统 计 中 定 义 的 距 离 与 电 子 信 息 领 域 相 关 的 应 用 例 子 有 信 号 ( 图 像 ) 重 建 恢 复 估 计 等 等 两 个 随 机 变 量 的 在 统 计 上 是 否 相 关 或 独 立, 或 者 它 们 的 统 计 特 性 是 否 相 似, 为 检 验 这 些 问 题 在 统 计 学 中 引 入 了 Kullback-Leibler 型 距 离 和 Bhattacharyya 距 离 ( 或 称 为 差 离 度,divergence) 这 些 距 离 不 满 足 三 角 不 等 式, 称 为 广 义 距 离 它 们 在 统 计 模 式 分 析 目 标 识 别 和 分 类 图 像 分 割 和 配 准 等 方 面 已 经 有 重 要 应 用 在 工 程 研 究 中 你 可 以 利 用 手 头 掌 握 的 数 学 不 等 式, 定 义 新 的 距 离 或 广 义 距 离, 它 或 许 有 某 种 特 别 的 性 质 1. 标 准 化 欧 氏 距 离 (Standardized Euclidean distance ) (1) 标 准 欧 氏 距 离 的 定 义 标 准 化 欧 氏 距 离 是 针 对 简 单 欧 氏 距 离 的 缺 点 而 作 的 一 种 改 进 方 案 标 准 欧 氏 距 离 的 思 路 : 既 然 数 据 各 维 分 量 的 分 布 不 一 样, 好 吧! 那 我 先 将 各 个 分 量 都 标 准 化 到 均 值 方 差 相 等 吧 均 值 和 方 差 标 准 化 到 多 少 呢? 这 里 先 复 习 点 统 计 学 知 识 吧, 假 设 样 本 集 X 的 均 值 (mean) 为 m, 标 准 差 (standard deviation) 为 s, 那 么 X 的 标 准 化 变 量 表 示 为 : 而 且 标 准 化 变 量 的 数 学 期 望 为 0, 方 差 为 1 因 此 样 本 集 的 标 准 化 过 程 (standardization) 用 公 式 描 述 就 是 : 2 i 标 准 化 后 的 值 = ( 标 准 化 前 的 值 - 分 量 的 均 值 ) / 分 量 的 标 准 差 经 过 简 单 的 推 导 就 可 以 得 到 两 个 n 维 向 量 a(x11,x12,,x1n) 与 b(x21,x22,,x2n) 19

间 的 标 准 化 欧 氏 距 离 的 公 式 : 如 果 将 方 差 的 倒 数 看 成 是 一 个 权 重, 这 个 公 式 可 以 看 成 是 一 种 加 权 欧 氏 距 离 (Weighted Euclidean distance) 2. 马 氏 距 离 (Mahalanobis Distance) (1) 马 氏 距 离 定 义 有 M 个 样 本 向 量 X1~Xm, 协 方 差 矩 阵 记 为 S, 均 值 记 为 向 量 μ, 则 其 中 样 本 向 量 X 到 u 的 马 氏 距 离 表 示 为 : T 1 Distance( X)= ( X ) S ( X ) 而 其 中 向 量 Xi 与 Xj 之 间 的 马 氏 距 离 定 义 为 : DX X X X S X X T 1 ( i, j) ( i j) ( i j) 从 上 图 可 以 看 到 马 氏 距 离 是 椭 圆 3. 汉 明 距 离 (Hamming distance) (1) 汉 明 距 离 的 定 义 两 个 等 长 字 符 串 s1 与 s2 之 间 的 汉 明 距 离 定 义 为 将 其 中 一 个 变 为 另 外 一 个 所 需 要 作 的 最 小 替 换 次 数 例 如 字 符 串 1111 与 1001 之 间 的 汉 明 距 离 为 2 应 用 : 信 息 编 码 ( 为 了 增 强 容 错 性, 应 使 得 编 码 间 的 最 小 汉 明 距 离 尽 可 能 大 ) 20

4. 杰 卡 德 相 似 系 数 (Jaccard similarity coefficient) (1) 杰 卡 德 相 似 系 数 两 个 集 合 A 和 B 的 交 集 元 素 在 A,B 的 并 集 中 所 占 的 比 例, 称 为 两 个 集 合 的 杰 卡 德 相 似 系 数, 用 符 号 J(A,B) 表 示 杰 卡 德 相 似 系 数 是 衡 量 两 个 集 合 的 相 似 度 一 种 指 标 (2) 杰 卡 德 距 离 与 杰 卡 德 相 似 系 数 相 反 的 概 念 是 杰 卡 德 距 离 (Jaccard distance) 杰 卡 德 距 离 可 用 如 下 公 式 表 示 : 杰 卡 德 距 离 用 两 个 集 合 中 不 同 元 素 占 所 有 元 素 的 比 例 来 衡 量 两 个 集 合 的 区 分 度 (3) 杰 卡 德 相 似 系 数 与 杰 卡 德 距 离 的 应 用 可 将 杰 卡 德 相 似 系 数 用 在 衡 量 样 本 的 相 似 度 上 样 本 A 与 样 本 B 是 两 个 n 维 向 量, 而 且 所 有 维 度 的 取 值 都 是 0 或 1 例 如 : A(0111) 和 B(1011) 我 们 将 样 本 看 成 是 一 个 集 合,1 表 示 集 合 包 含 该 元 素,0 表 示 集 合 不 包 含 该 元 素 p : 样 本 A 与 B 都 是 1 的 维 度 的 个 数 q : 样 本 A 是 1, 样 本 B 是 0 的 维 度 的 个 数 r : 样 本 A 是 0, 样 本 B 是 1 的 维 度 的 个 数 s : 样 本 A 与 B 都 是 0 的 维 度 的 个 数 那 么 样 本 A 与 B 的 杰 卡 德 相 似 系 数 可 以 表 示 为 : 这 里 p+q+r 可 理 解 为 A 与 B 的 并 集 的 元 素 个 数, 而 p 是 A 与 B 的 交 集 的 元 素 个 数 而 样 本 A 与 B 的 杰 卡 德 距 离 表 示 为 : 21

内 积 的 概 念 正 交 性 这 是 布 满 了 数 学 和 物 理 书 籍 的 基 本 知 识 为 什 么 正 交 函 数 会 如 此 广 泛 地 受 到 重 视? 从 数 学 的 角 度 看 到 的 是 基, 用 它 来 描 述 函 数 空 间 中 任 何 一 个 元 具 有 唯 一 性 和 可 逆 性 ; 可 以 联 系 映 射 的 定 义 域 和 值 域, 从 而 研 究 解 乃 至 求 得 解 从 应 用 的 角 度 看 到 的 是 一 种 基 本 工 具 或 方 法, 可 以 使 得 例 如 函 数 变 换 函 数 逼 近 数 据 压 缩 数 学 物 理 问 题 的 求 解 等 问 题 变 得 容 易 处 理 和 易 于 理 解 与 正 交 性 相 联 系 的 自 然 是 非 正 交 性 非 正 交 性 也 很 有 用 例 如 用 非 正 交 基 ( 标 架 ) 表 示 信 号 可 以 灵 活 地 具 有 某 些 特 别 的 性 质 这 种 表 示 带 有 一 定 冗 余, 但 有 一 定 抗 损 能 力 我 们 的 语 言 就 有 一 定 的 冗 余 性, 也 因 此 具 有 很 强 的 抗 干 扰 能 力 有 一 种 去 除 冗 余 性 的 方 法, 就 是 施 密 特 正 交 化 方 法 可 能 你 十 分 讨 厌 斯 密 特 正 交 化 方 法 的 公 式 记 忆, 但 当 你 理 解 了 它 的 思 想 之 后, 公 式 神 马 的 就 非 常 漂 亮 了 斯 密 特 正 交 化 的 思 想 其 实 非 常 简 单 : 两 个 向 量 不 正 交 就 是 说 明 二 者 有 重 叠, 我 们 把 重 叠 去 除 就 正 交 了 比 如 图 中 的 和 1, 二 者 的 重 叠 部 分 就 是 中 含 有 的 红 色 的 那 个 向 量, 我 们 将 它 去 除 就 可 以 得 到 正 交 的 向 量 了 怎 么 去 除? 首 先 要 知 道 红 色 的 向 量 的 大 小 和 方 向 : 大 小 用 内 积 (, 1) 算, 用 1的 方 向 向 量 定 有 了 大 小 和 方 向, 做 一 次 减 法 就 行 了 呗 如 果 向 量 变 成 函 数, 那 么 也 有 斯 密 特 正 交 化, 方 法 是 一 样 的, 这 一 点 在 第 四 章 爱 上 积 分 变 换 重 点 介 绍 现 实 世 界 中 很 多 都 是 正 交 就 独 立, 比 如 服 从 正 态 分 布 的 随 机 变 量 1 X ~ f( x) e 2 2 2 ( x ) 2 2 对 于 学 概 率 论 的 同 学, 这 个 应 该 再 熟 悉 不 过 了 这 有 什 么 用 呢? 在 统 计 的 世 界 中, 根 据 中 心 极 限 定 理, 服 从 正 态 分 布 同 时, 正 态 的 独 立 和 线 性 无 关 是 等 价 22

的, 而 线 性 无 关 又 可 以 用 内 积 来 刻 画, 于 是, 内 积 的 意 义 就 不 言 而 喻 了 独 立 是 一 个 很 重 要 的 概 念, 科 研 中 我 们 总 是 希 望 找 到 一 个 现 象 是 受 那 几 个 独 立 变 量 影 响, 如 果 你 找 到 了 函 数 关 系 式, 你 就 成 功 了 独 立 的 概 念 还 有 更 广 泛 的 应 用, 推 荐 一 本 书 : 海 韦 里 恩 教 授 写 的 独 立 成 分 分 析, 对 你 理 解 独 立 有 很 大 帮 助 参 考 文 献 1 http://blog.csdn.net/shiwei408/article/details/7602324 2 张 贤 达 矩 阵 分 析 与 应 用 23

3 特 征 值 为 什 么 特 征 在 一 般 的 语 言 环 境 中, 特 征 指 的 是 一 事 物 异 于 他 事 物 的 特 点, 这 种 特 点 具 有 某 种 不 变 性, 因 而 能 很 好 地 刻 画 事 物 本 身 华 中 科 技 大 学 老 校 长, 中 科 院 院 士 杨 叔 子 先 生 在 赏 析 北 宋 诗 人 王 安 石 的 名 句 春 分 又 绿 江 南 岸, 明 月 何 时 照 我 还 时, 曾 经 提 到 诗 中 的 绿 字 用 得 非 常 巧 妙, 因 为 绿 是 描 述 春 天 的 特 征 不 变 量, 因 而 能 很 传 神 地 刻 画 春 天 的 特 点 线 性 代 数 中 的 特 征 值 为 什 么 是 矩 阵 的 特 征 呢? 回 答 这 个 问 题 之 前, 让 我 们 来 回 顾 一 些 重 要 结 论 : 对 于 同 一 个 线 性 空 间, 可 以 用 两 组 不 同 的 基 [ ] 和 基 [ ] 来 描 述, 他 们 之 间 的 过 渡 关 系 是 这 样 的 :[ ] [ ]P, 而 对 应 坐 标 之 间 的 过 渡 关 系 是 这 样 的 : x P x 其 中 P 是 可 逆 矩 阵, 可 逆 的 意 义 是 我 们 能 变 换 过 去 也 要 1 2 1 能 变 换 回 来, 这 一 点 很 重 要 我 们 知 道, 对 于 一 个 线 性 变 换, 只 要 你 选 定 一 组 基, 那 么 就 可 以 用 一 个 矩 阵 T 1 来 描 述 这 个 线 性 变 换 换 一 组 基, 就 得 到 另 一 个 不 同 的 矩 阵 T 2 ( 之 所 以 会 不 同, 是 因 为 选 定 了 不 同 的 基, 也 就 是 选 定 了 不 同 的 坐 标 系 ) 那 么 他 们 之 间 的 变 换 T 1 和 T 2 有 没 有 联 系 呢? 答 案 是 T P TP, 即 他 们 是 相 似 的 关 系, 所 谓 相 似 矩 阵, 就 是 同 一 个 线 性 1 2 1 变 换 的 不 同 基 的 描 述 矩 阵 这 就 是 相 似 变 换 的 几 何 意 义 具 体 的 请 看 下 图 : 从 另 一 个 角 度 理 解 矩 阵 就 是 : 矩 阵 主 对 角 线 上 的 元 素 表 示 自 身 和 自 身 的 关 系, 其 他 位 置 的 元 素 a ij 表 示 i 位 置 和 j 位 置 元 素 之 间 的 相 互 关 系 那 么 好, 特 征 值 问 题 其 实 就 是 选 取 了 一 组 很 好 的 基, 就 把 矩 阵 i 位 置 和 j 位 置 元 素 之 间 的 相 互 关 系 消 除 了 而 且 因 为 是 相 似 变 换, 并 没 有 改 变 矩 阵 本 身 的 特 性 因 此 矩 阵 对 角 化 才 如 此 的 重 要! 24

特 征 向 量 的 引 入 是 为 了 选 取 一 组 很 好 的 基 空 间 中 因 为 有 了 矩 阵, 才 有 了 坐 标 的 优 劣 对 角 化 的 过 程, 实 质 上 就 是 找 特 征 向 量 的 过 程 如 果 一 个 矩 阵 在 复 数 域 不 能 对 角 化, 我 们 还 有 办 法 把 它 化 成 比 较 优 美 的 形 式 Jordan 标 准 型 高 等 代 数 理 论 已 经 证 明 : 一 个 方 阵 在 复 数 域 一 定 可 以 化 成 Jordan 标 准 型 这 一 点 有 兴 趣 的 同 学 可 以 看 一 下 高 等 代 数 后 或 者 矩 阵 论 特 征 值 英 文 名 eigen value 特 征 一 词 译 自 德 语 的 eigen, 由 希 尔 伯 特 在 1904 年 首 先 在 这 个 意 义 下 使 用 ( 赫 尔 曼 冯 亥 姆 霍 兹 在 更 早 的 时 候 也 在 类 似 意 义 下 使 用 过 这 一 概 念 ) eigen 一 词 可 翻 译 为 自 身 的, 特 定 于... 的, 有 特 征 的 或 者 个 体 的 这 强 调 了 特 征 值 对 于 定 义 特 定 的 变 换 上 是 很 重 要 的 它 还 有 好 多 名 字, 比 如 谱, 本 征 值 为 什 么 会 有 这 么 多 名 字 呢? 原 因 就 在 于 他 们 应 用 的 领 域 不 同, 中 国 人 为 了 区 分, 给 特 不 同 的 名 字 你 看 英 文 文 献 就 会 发 现, 他 们 的 名 字 都 是 同 一 个 当 然, 特 征 值 的 思 想 不 仅 仅 局 限 于 线 性 代 数, 它 还 延 伸 到 其 他 领 域 在 数 学 物 理 方 程 的 研 究 领 域, 我 们 就 把 特 征 值 称 为 本 征 值 如 在 求 解 薛 定 谔 波 动 方 程 时, 在 波 函 数 满 足 单 值 有 限 连 续 性 和 归 一 化 条 件 下, 势 场 中 运 动 粒 子 的 总 能 量 ( 正 ) 所 必 须 取 的 特 定 值, 这 些 值 就 是 正 的 本 征 值 前 面 我 们 讨 论 特 征 值 问 题 面 对 的 都 是 有 限 维 度 的 特 征 向 量, 下 面 我 们 来 看 看 特 征 值 对 应 的 特 征 向 量 都 是 无 限 维 函 数 的 例 子 这 时 候 的 特 征 向 量 我 们 称 为 特 征 函 数, 或 者 本 证 函 数 这 还 要 从 你 熟 悉 的 微 分 方 程 说 起 方 程 本 质 是 一 种 约 束, 微 分 方 程 就 是 在 世 界 上 各 种 各 样 的 函 数 中, 约 束 出 一 类 函 数 对 于 一 阶 微 分 方 程 dy y dt 我 们 发 现 如 果 我 将 变 量 y 用 括 号 [] 包 围 起 来, 微 分 运 算 的 结 构 和 线 性 代 数 中 特 征 值 特 征 向 量 的 结 构 竟 是 如 此 相 似 : d y y dt T x x 这 就 是 一 个 求 解 特 征 向 量 的 问 题 啊! 只 不 过 特 征 向 量 变 成 函 数! 我 们 知 道 只 有 e t 满 足 这 个 式 子 这 里 出 现 了 神 奇 的 数 e, 一 杯 开 水 放 在 室 内, 它 温 度 的 下 降 是 指 数 形 式 的 ; 听 说 过 放 射 性 元 素 的 原 子 核 发 生 衰 变 么? 随 着 放 射 的 不 断 进 25

行, 放 射 强 度 将 按 指 数 曲 线 下 降 ; 化 学 反 应 的 进 程 也 可 以 用 指 数 函 数 描 述 类 似 的 现 象 还 有 好 多 为 什 么 选 择 指 数 函 数 而 不 选 择 其 他 函 数, 因 为 指 数 函 数 是 特 征 函 数 为 什 么 指 数 函 数 是 特 征? 我 们 从 线 性 代 数 的 特 征 向 量 的 角 度 来 解 释 t t Te [ ] [ e ] 这 已 经 很 明 显 了, e t 就 是 特 征 向 量 于 是, 很 自 然 的 将 线 性 代 数 的 理 论 应 用 到 线 性 微 分 方 程 中 那 么 指 数 函 数 就 是 微 分 方 程 ( 实 际 物 理 系 统 ) 的 特 征 向 量 用 特 征 向 量 作 为 基 表 示 的 矩 阵 最 为 简 洁 就 像 你 把 一 个 方 阵 经 过 相 似 对 角 化 变 换, 耦 合 的 矩 阵 就 变 成 不 耦 合 的 对 角 阵 一 样 在 机 械 振 动 里 面 所 说 的 模 态 空 间 也 是 同 样 的 道 理 如 果 你 恰 巧 学 过 振 动 分 析 一 类 的 课 程, 也 可 以 来 和 我 交 流 同 理, 用 特 征 函 数 解 的 方 程 也 是 最 简 洁 的, 不 信 你 用 级 数 的 方 法 解 方 程, 你 会 发 现 方 程 的 解 有 无 穷 多 项 解 一 些 其 他 方 程 的 时 候 ( 比 如 贝 塞 尔 方 程 ) 我 们 目 前 没 有 找 到 特 征 函 数, 于 是 退 而 求 其 次 才 选 择 级 数 求 解, 至 少 级 数 具 有 完 备 性 实 数 的 特 征 值 代 表 能 量 的 耗 散 或 者 扩 散, 比 如 空 间 中 热 量 的 传 导 化 学 反 应 的 扩 散 放 射 性 元 素 的 衰 变 等 虚 数 的 特 征 值 ( 对 应 三 角 函 数 ) 代 表 能 量 的 无 损 耗 交 换, 比 如 空 间 中 的 电 磁 波 传 递 振 动 信 号 的 动 能 势 能 等 复 数 的 特 征 值 代 表 既 有 交 换 又 有 耗 散 的 过 程, 实 际 过 程 一 般 都 是 这 样 的 复 特 征 值 在 电 路 领 域 以 及 振 动 领 域 将 发 挥 重 要 的 作 用, 可 以 说, 没 有 复 数, 就 没 有 现 代 的 电 气 化 时 代! 对 于 二 阶 微 分 方 程 方 程, 它 的 解 都 是 指 数 形 式 或 者 复 指 数 形 式 可 以 通 过 欧 拉 公 式 将 其 写 成 三 角 函 数 的 形 式, 解 的 图 像 如 下 : 2 d y dy a by 0 2 dt dt 26

复 特 征 值 体 现 最 多 的 地 方 是 在 二 阶 系 统, 别 小 看 这 个 方 程, 整 本 自 动 控 制 原 理 都 在 讲 它, 整 个 振 动 分 析 课 程 也 在 讲 它 还 有 好 多 课 程 的 基 础 都 是 以 这 个 微 分 方 程 为 基 础, 这 里 我 就 不 详 细 说 了, 有 兴 趣 可 以 学 习 先 关 课 程 说 了 这 么 多 只 是 想 向 你 传 达 一 个 思 想, 就 是 复 指 数 函 数 式 系 统 的 特 征 向 量! 如 果 令 x x y 1 2 y ' 则 一 个 二 阶 线 性 微 分 方 程 就 变 成 一 个 微 分 方 程 组 的 形 式 x Ax 这 时 就 出 现 了 矩 阵 A, 矩 阵 可 以 用 来 描 述 一 个 系 统 : 如 果 是 振 动 问 题, 矩 阵 A 的 特 征 值 是 虚 数, 对 应 系 统 的 固 有 频 率 ; 如 果 含 有 耗 散 过 程, 特 征 值 是 负 实 数, 对 应 指 数 衰 减 ; 特 征 值 是 正 实 数, 对 应 指 数 发 散 过 程, 这 时 是 不 稳 定 的, 说 明 系 统 极 容 易 崩 溃, 如 何 抑 制 这 种 发 散 就 是 控 制 科 学 研 究 的 内 容 对 于 一 个 线 性 系 统, 总 可 以 把 高 阶 的 方 程 转 化 成 一 个 方 程 组 描 述, 这 被 称 为 状 态 空 间 描 述 因 此, 他 们 之 间 是 等 价 的 特 征 值 还 有 好 多 用 处, 原 因 不 在 特 征 值 本 身, 而 在 于 特 征 值 问 题 和 你 的 物 理 现 象 有 着 某 种 一 致 的 对 应 关 系 学 习 特 征 值 问 题 告 诉 你 一 种 解 决 问 题 的 方 法 : 寻 找 事 物 的 特 征, 然 后 特 征 分 解 特 征 值 的 应 用 远 不 止 如 此, 欢 迎 加 入 QQ 群, 里 面 有 一 本 书 就 是 讲 解 特 征 值 的 应 用, 欢 迎 下 载 这 里 举 一 个 简 单 的 例 子 : 多 项 式 方 程 的 根 可 以 用 矩 阵 的 特 征 值 来 求,MATLAB 内 部 求 多 项 式 的 根 就 是 用 这 种 方 法 至 此, 对 于 矩 阵 的 理 解 部 分 就 结 束 了, 我 们 总 结 一 下 : 首 先 要 有 空 间, 空 间 里 面 装 着 你 要 研 究 的 东 西, 可 以 是 向 量 函 数 实 际 物 体 以 及 各 种 你 研 究 的 东 西 然 后 建 立 坐 标 系, 就 有 了 基 和 坐 标 坐 标 选 择 有 好 坏, 就 有 特 征 的 问 题 线 性 运 算 的 本 质 就 是 算 加 法 和 数 乘 空 间 中 的 运 动 无 论 是 向 量 还 是 坐 标 系, 可 以 用 矩 阵 乘 法 描 述 因 为 空 间 变 复 杂 了, 因 此 距 离 的 定 义 也 多 种 多 样, 为 了 规 范 一 下, 引 入 了 范 数 的 概 念 参 考 文 献 1. http://en.wikipedia.org/wiki/eigenvalues_and_eigenvectors 27

4 爱 上 积 分 变 换 傅 里 叶 分 析 不 仅 仅 是 一 个 数 学 工 具, 更 是 一 种 可 以 彻 底 颠 覆 一 个 人 以 前 世 界 观 的 思 维 模 式 但 不 幸 的 是, 傅 里 叶 分 析 的 公 式 看 起 来 太 复 杂 了, 所 以 很 多 大 一 新 生 上 来 就 懵 圈 并 从 此 对 它 深 恶 痛 绝 老 实 说, 这 么 有 意 思 的 东 西 居 然 成 了 大 学 里 的 杀 手 课 程, 不 得 不 归 咎 于 编 教 材 的 人 实 在 是 太 严 肃 了 所 以 我 一 直 想 写 一 个 有 意 思 的 文 章 来 解 释 傅 里 叶 分 析, 有 可 能 的 话 高 中 生 都 能 看 懂 的 那 种 所 以, 不 管 读 到 这 里 的 您 从 事 何 种 工 作, 我 保 证 您 都 能 看 懂, 并 且 一 定 将 体 会 到 通 过 傅 里 叶 分 析 看 到 世 界 另 一 个 样 子 时 的 快 感 至 于 对 于 已 经 有 一 定 基 础 的 朋 友, 也 希 望 不 要 看 到 会 的 地 方 就 急 忙 往 后 翻, 仔 细 读 一 定 会 有 新 的 发 现 傅 里 叶 是 一 位 法 国 数 学 家 和 物 理 学 家 的 名 字, 英 语 原 名 是 Jean Baptiste Joseph Fourier(1768-1830), Fourier 对 热 传 递 很 感 兴 趣, 于 1807 年 在 法 国 科 学 学 会 上 发 表 了 一 篇 论 文, 运 用 正 弦 曲 线 来 描 述 温 度 分 布, 论 文 里 有 个 在 当 时 具 有 争 议 性 的 决 断 : 任 何 连 续 周 期 信 号 可 以 由 一 组 适 当 的 正 弦 曲 线 组 合 而 成 当 时 审 查 这 个 论 文 的 人, 其 中 有 两 位 是 历 史 上 著 名 的 数 学 家 拉 格 朗 日 (Joseph Louis Lagrange, 1736-1813) 和 拉 普 拉 斯 (Pierre Simon de Laplace, 1749-1827), 当 拉 普 拉 斯 和 其 它 审 查 者 投 票 通 过 并 要 发 表 这 个 论 文 时, 拉 格 朗 日 坚 决 反 对, 在 他 此 后 生 命 的 六 年 中, 拉 格 朗 日 坚 持 认 为 傅 里 叶 的 方 法 无 法 表 示 带 有 棱 角 的 信 号, 如 在 方 波 中 出 现 非 连 续 变 化 斜 率 法 国 科 学 学 会 屈 服 于 拉 格 朗 日 的 威 望, 拒 绝 了 傅 里 叶 的 工 作, 幸 运 的 是, 傅 里 叶 还 有 其 它 事 情 可 忙, 他 参 加 了 政 治 运 动, 随 拿 破 仑 远 征 埃 及, 法 国 大 革 命 后 因 会 被 推 上 断 头 台 而 一 直 在 逃 避 直 到 拉 格 朗 日 死 后 15 年 这 个 论 文 才 被 发 表 出 来 拉 格 朗 日 是 对 的 : 正 弦 曲 线 无 法 组 合 成 一 个 带 有 棱 角 的 信 号 但 是, 我 们 可 以 用 正 弦 曲 线 来 非 常 逼 近 地 表 示 它, 逼 近 到 两 种 表 示 方 法 不 存 在 能 量 差 别, 基 于 此, 傅 里 叶 是 对 的 傅 里 叶 级 数 逼 近 效 果 28

请 注 意 这 里 我 们 用 的 逼 近 这 个 词, 因 为 二 者 总 要 存 在 差 异, 甚 至 在 跳 变 沿 处, 傅 里 叶 逼 近 会 产 生 严 重 的 Gibbs 现 象, 我 们 为 什 么 还 要 进 行 傅 里 叶 展 开 或 傅 里 叶 变 换 呢? 原 本 看 似 简 单 的 函 数, 为 什 么 我 们 要 复 杂 化 将 它 展 成 傅 里 叶 级 数 呢? 这 样 分 析 问 题 真 的 有 必 要 么? 这 个 问 题 也 曾 经 困 扰 我 很 久, 随 着 学 习 的 逐 步 深 入, 我 对 傅 里 叶 级 数 和 傅 里 叶 变 换 开 始 有 了 自 己 的 理 解 本 节 将 从 以 下 几 个 角 度 来 理 解 傅 里 叶 变 换 : 首 先 从 最 直 观 的 信 号 分 解 角 度, 看 看 用 正 弦 信 号 逼 近 的 效 果 ; 然 后 给 出 线 性 代 数 中 最 重 要 的 特 征 向 量 的 概 念, 引 出 本 节 的 核 心 : 为 什 么 要 用 正 弦 信 号 而 不 用 其 他 信 号 分 解 ; 在 理 解 这 二 者 的 基 础 上 介 绍 数 学 中 空 间 的 概 念, 这 也 是 线 性 代 数 的 一 个 重 要 思 想 ; 理 解 了 数 学 中 空 间 的 概 念 就 很 容 易 理 解 物 理 中 时 域 频 域 的 概 念 ; 然 后 我 们 从 投 影 的 角 度 再 来 理 解 一 下 傅 里 叶 变 换, 这 在 数 学 上 就 更 加 抽 象 了 ; 最 后 在 数 学 上 对 傅 里 叶 变 换 进 行 一 个 推 广, 引 入 其 他 形 式 的 变 换 分 解 的 角 度 可 能 你 不 相 信 一 个 信 号 可 以 用 正 弦 信 号 的 线 性 组 合 重 现 接 下 来, 我 们 深 入 的 讨 论 一 下 这 个 问 题 什 么 是 分 解 呢? 分 解 的 意 思 就 像 我 们 用 不 同 的 涂 料 来 调 色, 一 个 色 调 可 以 分 解 成 不 同 基 色 调 的 组 合 一 束 白 光 可 以 分 解 成 不 同 颜 色 的 光 的 叠 加 如 果 我 说 我 能 用 前 面 说 的 正 弦 曲 线 波 叠 加 出 一 个 带 90 度 角 的 矩 形 波 来, 你 会 相 信 吗? 你 不 会, 就 像 当 年 的 我 一 样 但 是 看 看 下 图 : 29

随 着 叠 加 的 递 增, 所 有 正 弦 波 中 上 升 的 部 分 逐 渐 让 原 本 缓 慢 增 加 的 曲 线 不 断 变 陡, 而 所 有 正 弦 波 中 下 降 的 部 分 又 抵 消 了 上 升 到 最 高 处 时 继 续 上 升 的 部 分 使 其 变 为 水 平 线 一 个 矩 形 就 这 么 叠 加 而 成 了 但 是 要 多 少 个 正 弦 波 叠 加 起 来 才 能 形 成 一 个 标 准 90 度 角 的 矩 形 波 呢? 不 幸 的 告 诉 大 家, 答 案 是 无 穷 多 个 用 线 性 代 数 的 角 度 来 说 明 这 个 问 题, 就 是 基 的 数 量 要 足 够, 数 学 一 点 的 用 语 是 完 备 性 如 果 你 接 触 过 小 波 变 换, 你 就 更 能 体 会 到 这 点 不 仅 仅 是 矩 形, 你 能 想 到 的 任 何 波 形 都 是 可 以 如 此 方 法 用 正 弦 波 叠 加 起 来 的 这 是 没 有 接 触 过 傅 里 叶 分 析 的 人 在 直 觉 上 的 第 一 个 难 点, 但 是 一 旦 接 受 了 这 样 的 设 定, 游 戏 就 开 始 有 意 思 起 来 了 30

(2012 年 1 月, 四 位 来 自 麻 省 理 工 学 院 的 研 究 人 员 提 出 了 一 种 更 快 执 行 傅 里 叶 变 换 的 新 算 法 这 四 位 研 究 者 ( 从 左 至 右 ) 分 别 是 Piotr Indyk Dina Katabi Eric Price Haitham Hassanieh 傅 里 叶 变 换 是 数 字 医 学 成 像 Wi-Fi 路 由 器 和 4G 无 线 通 信 网 络 等 众 多 技 术 的 运 算 基 础 ) 经 过 上 面 各 种 图 形 的 狂 轰 滥 炸, 相 信 你 对 于 傅 里 叶 级 数 是 展 开 ( 分 解 ) 的 概 念 已 经 在 你 的 脑 海 中 留 下 一 些 痕 迹 了 吧 前 面 的 叠 加 过 程 我 们 发 现 随 着 频 率 越 来 越 高, 幅 值 却 越 来 越 小 这 是 为 什 么 呢? 很 多 书 上 只 是 给 出 数 学 上 的 解 释 下 面, 给 出 一 个 几 何 上 的 解 释 : 31

对 于 一 个 函 数, 将 其 分 解 成 傅 里 叶 级 数 的 时 候, 对 于 高 频 分 量, 可 以 看 出 函 数 近 似 成 一 条 直 线 于 是, 积 分 求 和 就 变 成 很 小 的 值 了 这 也 是 为 什 么 工 程 中 只 取 前 几 阶 信 号 而 不 考 虑 无 穷 项 的 原 因 这 些 和 实 际 生 活 中 的 事 物 怎 么 联 系 起 来 呢? 我 们 来 看 一 个 例 子 : 击 弦 乐 器 钢 琴 琴 键 被 小 锤 敲 击 后, 产 生 声 音, 见 下 图 你 可 以 认 为 声 音 是 琴 键 随 时 间 变 化 的, 也 可 以 看 成 是 各 种 波 的 叠 加 用 数 学 的 表 达 式 就 是 这 个 样 子 的 : 凡 有 变 化 的 波 ( 交 流 频 率 ) 才 能 传 递 信 号, 一 个 一 直 不 变 的 直 流 信 号 是 无 法 传 递 信 息 的 这 种 交 流 是 指 广 义 的, 普 遍 的, 无 论 是 自 然 界 里 蝙 蝠 探 路, 人 们 互 相 交 谈, 还 是 卫 星 接 收 信 号, 都 属 于 交 流 的 范 畴 为 了 传 递 信 号, 产 生 交 流, 我 们 需 要 以 波 作 为 信 号 的 载 体 最 简 单 的 波, 就 以 一 定 频 率 传 播 蝙 蝠 发 出 了 超 声 波, 人 们 说 话, 声 带 振 动 带 动 了 空 气 疏 密 波 ( 声 波 ), 卫 星 识 别 电 磁 波 这 样, 我 们 就 有 了 频 率 的 概 念 更 进 一 步, 除 了 手 机 GHz 的 波 这 些 经 典 电 磁 波, 32

在 量 子 世 界 里, 原 子 的 跃 迁 也 是 以 一 定 的 频 率 发 生 的 我 们 甚 至 可 以 说, 自 然 选 择 了 以 这 些 单 频 的 模 式 为 基 础 特 征 信 号 角 度 如 果 你 接 受 了 分 解 的 思 想, 你 可 能 会 有 这 样 的 疑 问 : 为 什 么 偏 偏 选 择 三 角 函 数 而 不 用 其 他 函 数 进 行 分 解? 我 们 从 物 理 系 统 的 特 征 信 号 角 度 来 解 释 我 们 知 道 : 大 自 然 中 很 多 现 象 可 以 抽 象 成 一 个 线 性 时 不 变 系 统 来 研 究, 无 论 你 用 微 分 方 程 还 是 传 递 函 数 或 者 状 态 空 间 描 述 线 性 时 不 变 系 统 可 以 这 样 理 解 : 输 入 输 出 信 号 满 足 线 性 关 系, 而 且 系 统 参 数 不 随 时 间 变 换 对 于 大 自 然 界 的 很 多 系 统, 一 个 正 弦 曲 线 信 号 输 入 后, 输 出 的 仍 是 正 弦 曲 线, 只 有 幅 度 和 相 位 可 能 发 生 变 化, 但 是 频 率 和 波 的 形 状 仍 是 一 样 的 也 就 是 说 正 弦 信 号 是 系 统 的 特 征 向 量! 当 然, 指 数 信 号 也 是 系 统 的 特 征 向 量, 表 示 能 量 的 衰 减 或 积 聚 自 然 界 的 衰 减 或 者 扩 散 现 象 大 多 是 指 数 形 式 的, 或 者 既 有 波 动 又 有 指 数 衰 减 ( 复 指 数 i e 形 式 ), 因 此 具 有 特 征 的 基 函 数 就 由 三 角 函 数 变 成 复 指 数 函 数 但 是, 如 果 输 入 是 方 波 三 角 波 或 者 其 他 什 么 波 形, 那 输 出 就 不 一 定 是 什 么 样 子 了 所 以, 除 了 指 数 信 号 和 正 弦 信 号 以 外 的 其 他 波 形 都 不 是 线 性 系 统 的 特 征 信 号 用 正 弦 曲 线 来 代 替 原 来 的 曲 线 而 不 用 方 波 或 三 角 波 或 者 其 他 什 么 函 数 来 表 示 的 原 因 在 于 : 正 弦 信 号 恰 好 是 很 多 线 性 时 不 变 系 统 的 特 征 向 量 于 是 就 有 了 傅 里 叶 变 换 对 于 更 一 般 的 线 性 时 不 变 系 统, 复 指 数 信 号 ( 表 示 耗 散 或 衰 减 ) 是 系 n 统 的 特 征 向 量 于 是 就 有 了 拉 普 拉 斯 变 换 z 变 换 也 是 同 样 的 道 理, 这 时 z 是 离 散 系 统 的 特 征 向 量 这 里 没 有 区 分 特 征 函 数 和 特 征 向 量 的 概 念, 主 要 想 表 达 二 者 的 思 想 是 相 同 的, 只 不 过 一 个 是 有 限 维 向 量, 一 个 是 无 限 维 函 数 傅 里 叶 级 数 和 傅 里 叶 变 换 其 实 就 是 我 们 之 前 讨 论 的 特 征 值 与 特 征 向 量 的 问 题 分 解 信 号 的 方 法 是 无 穷 的, 但 分 解 信 号 的 目 的 是 为 了 更 加 简 单 地 处 理 原 来 的 信 号 这 样, 用 正 余 弦 来 表 示 原 信 号 会 更 加 简 单, 因 为 正 余 弦 拥 有 原 信 号 所 不 具 有 的 性 质 : 正 弦 曲 线 保 真 度 且 只 有 正 弦 曲 线 才 拥 有 这 样 的 性 质 33

这 也 解 释 了 为 什 么 我 们 一 碰 到 信 号 就 想 方 设 法 的 把 它 表 示 成 正 弦 量 或 者 复 指 数 量 的 形 式 ; 为 什 么 方 波 或 者 三 角 波 如 此 简 单, 我 们 非 要 展 开 的 如 此 麻 烦 ; 为 什 么 对 于 一 个 没 有 什 么 规 律 的 非 周 期 信 号, 我 们 都 绞 尽 脑 汁 的 用 正 弦 量 展 开 就 因 为 正 弦 量 ( 或 复 指 数 ) 是 特 征 向 量 怎 么 理 解 我 所 说 的 特 征 向 量 和 特 征 信 号 这 个 名 字 呢? 其 实 这 来 源 于 线 性 代 数 : 我 们 知 道 矩 阵 A 作 用 一 个 特 征 向 量 x 可 以 用 数 学 语 言 这 样 描 述 Ax x 那 么 系 统 T 作 用 一 个 特 征 信 号 x 用 数 学 语 言 描 述 就 是 Tx [ ] x 形 式 结 构 相 同, 只 是 一 个 是 有 限 长 度 的 向 量, 另 一 个 是 无 限 长 度 的 信 号 而 已 既 然 是 特 征 向 量, 我 们 就 想 能 不 能 用 特 征 向 量 来 表 示 自 然 界 的 信 号 和 一 个 物 理 系 统 呢? 这 样 做 的 好 处 就 是 知 道 输 入, 我 们 就 能 很 简 单 乘 一 个 系 数 写 出 输 出 考 虑 到 实 际 过 程 都 只 关 心 t>0 时 刻 的 现 象, 所 以 一 般 用 的 拉 氏 变 换 都 是 单 边 d 的, 也 就 是 教 材 中 讲 的 拉 普 拉 斯 变 换 微 分 运 算 f ( x ) 的 变 换, 除 了 sf() s 以 外 dt 还 有 其 它 项, 就 是 因 为 所 做 的 是 单 边 的 变 换, 需 要 考 虑 初 值 时 域 频 域 的 概 念 这 里 引 入 了 时 域 频 域 的 概 念 我 们 就 有 必 要 解 释 一 下 为 什 么 时 间 和 频 率 来 描 述 这 个 世 界 是 等 价 的? 什 么 是 时 域? 从 我 们 出 生, 我 们 看 到 的 世 界 都 以 时 间 贯 穿, 股 票 的 走 势 人 的 身 高 汽 车 的 轨 迹 都 会 随 着 时 间 发 生 改 变 这 种 以 时 间 作 为 参 照 来 观 察 动 态 世 界 的 方 法 我 们 称 其 为 时 域 分 析 而 我 们 也 想 当 然 的 认 为, 世 间 万 物 都 在 随 着 时 间 不 停 的 改 变, 并 且 永 远 不 会 静 止 下 来 什 么 是 频 域? 频 域 (frequency domain) 是 描 述 信 号 在 频 率 方 面 特 性 时 用 到 的 一 种 坐 标 系 用 线 性 代 数 的 语 言 就 是 装 着 正 弦 函 数 的 空 间 频 域 最 重 要 的 性 质 是 : 它 不 是 真 实 的, 而 是 一 个 数 学 构 造 频 域 是 一 个 遵 循 特 定 规 则 的 数 学 范 畴 正 弦 波 是 频 域 中 唯 一 存 在 的 波 形, 这 是 频 域 中 最 重 要 的 规 则, 即 正 弦 波 是 对 频 域 的 描 述, 因 为 时 域 中 的 任 何 波 形 都 可 用 正 弦 波 合 成 对 于 一 个 信 号 来 说, 信 号 强 度 随 时 间 的 变 化 规 律 就 是 时 域 特 性, 信 号 是 由 哪 些 单 一 频 率 的 信 号 合 成 的 就 是 频 域 特 性 34

好 抽 象, 不 懂 那 让 我 们 从 一 个 简 单 的 例 子 开 始 吧 在 你 的 理 解 中, 一 段 音 乐 是 什 么 呢? 这 是 我 们 对 音 乐 最 普 遍 的 理 解, 一 个 随 着 时 间 变 化 的 震 动 但 我 相 信 对 于 乐 器 小 能 手 们 来 说, 音 乐 更 直 观 的 理 解 是 这 样 的 : 最 上 面 的 图 是 音 乐 在 时 域 的 样 子, 而 下 面 的 图 则 是 音 乐 在 频 域 的 样 子 所 以 频 域 这 一 概 念 对 大 家 都 从 不 陌 生, 只 是 从 来 没 意 识 到 而 已 时 域 频 域 其 实, 在 生 活 中, 我 们 无 时 无 刻 不 在 进 行 着 傅 立 叶 变 换 ( 什 么? 我 没 有 听 错 吧?!) 对 的, 请 相 信 你 的 耳 朵, 你 完 全 没 有 听 错 我 们 来 看 人 类 听 觉 系 统 的 处 理 过 程 : 当 我 们 听 到 一 个 声 音, 大 脑 的 实 际 反 应 是 什 么? 事 实 上 耳 朵 感 觉 到 一 个 时 变 的 空 气 压 力, 这 种 变 化 也 许 是 一 个 类 似 于 口 哨 声 的 单 音 当 我 们 听 到 一 个 口 哨 声 时, 我 们 所 关 心 的 并 不 是 气 压 随 时 间 的 振 动 ( 它 非 常 非 常 快!), 而 是 声 音 的 三 个 特 征 : 基 音 声 强 以 及 音 长 基 音 可 以 理 解 为 频 率 的 同 义 词, 声 强 不 是 别 的, 它 就 是 幅 度 我 们 的 耳 朵 大 脑 系 统 能 有 效 地 将 信 号 表 示 成 三 个 简 单 的 特 征 参 数 : 基 音 声 强 以 及 音 长, 并 不 理 会 气 压 的 快 速 变 化 过 程 ( 一 个 重 复 的 变 化 过 程 ) 这 样 耳 朵 大 脑 系 统 就 提 取 了 信 号 的 本 质 信 息 傅 立 叶 变 换 的 分 析 过 程 与 此 类 似, 只 不 过 我 们 从 数 学 意 义 把 它 更 加 精 确 化 和 专 业 话 罢 了 35

数 学 上 的 时 域 频 域 从 数 学 上 理 解, 频 域 的 概 念 就 是 由 正 弦 信 号 构 成 的 空 间 或 者 说 这 个 空 间 里 装 着 正 弦 信 号 听 起 来 好 抽 象, 让 我 们 回 忆 一 个 例 子 : 对 于 一 个 向 量, 我 们 将 它 分 解 成 下 面 的 形 式 : c1 1 0 0 c c 0 c 1 c 0 = ce c e c e c 0 0 1 2 1 2 3 1 1 2 2 3 3 3 线 性 代 数 里 面 是 这 样 理 解 它 的 : e 1 e 2 e 3 是 三 维 空 间 的 一 组 基, c 1 c 2 c 3 是 在 这 组 基 下 的 坐 标 那 么 将 这 个 想 法 推 广 : 基 不 再 是 向 量 而 是 函 数, 你 能 接 受 么? 我 们 知 道 对 已 一 个 函 数, 我 们 可 以 将 它 分 解 成 下 面 的 形 式 : 分 解 的 方 法 有 很 多, 如 下 图 所 示 : f( x) c c c 0 0 1 1 2 2 多 项 式 空 间 泰 勒 展 开 频 率 空 间 ( 频 域 ) 傅 里 叶 展 开 f(x) 其 它 变 换 复 数 域 空 间 小 波 空 间 我 们 这 样 理 解 上 面 的 函 数 分 解 : 0 1 2 是 函 数 空 间 中 的 一 组 基, c1 c2 c3 是 在 这 组 基 下 的 坐 标 对 于 泰 勒 展 开, 我 们 选 取 了 多 项 式 作 为 基, 于 是 由 多 项 式 构 成 的 空 间 就 叫 多 项 式 空 间 对 于 傅 里 叶 变 换, 我 们 只 是 选 取 了 三 角 函 数 作 为 基, 于 是 由 三 角 函 数 构 成 的 空 间 就 叫 频 率 空 间 或 者 叫 频 域 以 此 类 推 时 域 分 析 与 频 域 分 析 是 对 信 号 的 两 个 观 察 面 时 域 分 析 是 以 时 间 轴 为 坐 标 表 示 动 态 信 号 的 关 系 ; 频 域 分 析 是 把 信 号 变 为 以 频 率 轴 为 坐 标 表 示 出 来 一 般 来 说, 时 域 的 表 示 较 为 形 象 与 直 观, 频 域 分 析 则 更 为 简 练, 剖 析 问 题 更 为 深 刻 和 方 便 目 前, 信 号 分 析 的 趋 势 是 从 时 域 向 频 域 发 展 然 而, 它 们 是 互 相 联 系, 缺 一 不 可, 36

相 辅 相 成 的 贯 穿 时 域 与 频 域 的 方 法 之 一, 就 是 传 中 说 的 傅 里 叶 分 析 傅 里 叶 分 析 可 分 为 傅 里 叶 级 数 (Fourier Serie) 和 傅 里 叶 变 换 (Fourier Transformation) 前 面 花 了 大 量 的 时 间 来 说 明 一 个 方 波 信 号 可 以 由 正 弦 信 号 组 成, 也 就 是 一 个 时 域 信 号 可 以 用 频 域 信 号 表 示 如 果 你 接 受 了 这 件 事, 就 好 办 了, 我 们 将 他 推 广 : 任 意 连 续 周 期 信 号 可 以 由 一 组 适 当 的 正 弦 曲 线 组 合 而 成 这 就 是 傅 里 叶 当 年 的 结 论 尽 管 最 初 傅 里 叶 分 析 是 作 为 热 过 程 的 解 析 分 析 的 工 具, 但 是 其 思 想 方 法 仍 然 具 有 典 型 的 还 原 论 和 分 析 主 义 的 特 征 " 任 意 " 的 函 数 通 过 一 定 的 分 解, 都 能 够 表 示 为 正 弦 函 数 的 线 性 组 合 的 形 式, 而 正 弦 函 数 在 物 理 上 是 被 充 分 研 究 而 相 对 简 单 的 函 数 类, 这 一 想 法 跟 化 学 上 的 原 子 论 想 法 何 其 相 似! 本 节 的 核 心 就 是 一 种 信 号 可 以 用 另 一 种 信 号 作 为 基 函 数 线 性 表 示 而 由 于 现 实 世 界 中 正 弦 信 号 是 系 统 的 特 征 向 量, 所 以 我 们 就 用 傅 里 叶 变 换, 将 研 究 的 信 号 在 频 域 展 开 总 而 言 之, 不 管 是 傅 里 叶 级 数, 还 是 傅 里 叶 变 换 拉 普 拉 斯 变 换 z 变 换, 本 质 上 都 是 线 性 代 数 里 面 讲 的 求 特 征 值 和 特 征 向 量 然 后 将 一 个 复 杂 问 题 用 特 征 值 和 特 征 向 量 表 示 以 后 如 果 有 人 问 你 为 什 么 要 进 行 傅 里 叶 变 换, 你 就 可 以 半 炫 耀 半 学 术 的 告 诉 他 : 因 为 复 指 数 信 号 是 线 性 时 不 变 系 统 的 特 征 向 量, 因 此 傅 里 叶 变 换 就 是 进 行 特 征 分 解 当 然 还 有 其 他 展 开, 比 如 小 波, 道 理 是 一 样 的 如 果 感 兴 趣, 强 烈 推 荐 小 波 与 傅 里 叶 分 析 基 础 这 本 书 投 影 的 角 度 看 待 公 式 接 受 了 傅 里 叶 变 换 的 思 想, 剩 下 的 就 是 记 忆 公 式 了, 最 开 始 记 忆 这 些 公 式 的 时 候 确 实 很 烦 人, 下 面 让 我 们 从 另 一 个 角 度 理 解 一 下 这 些 公 式, 你 会 发 现 公 式 其 实 没 有 那 么 恶 心 开 始 之 前 我 们 来 复 习 什 么 是 投 影 吧 考 虑 一 个 简 单 的 二 维 平 面 的 例 子 如 下 图 所 示, 给 定 两 个 向 量 u 和 v, 我 们 从 u 的 末 端 出 发 作 到 v 所 在 直 线 的 垂 线, 得 到 一 个 跟 v 同 向 的 新 向 量 p 这 个 过 程 就 称 作 u 到 v 所 在 直 线 的 投 影, 得 到 的 新 向 量 p 就 是 u 沿 v 方 向 的 分 量 图 中 的 系 数 c 是 p 跟 v 的 比 例, 也 就 是 u 在 v 轴 上 的 坐 标 我 们 可 以 用 尺 规 作 图 来 完 成 投 影 这 个 动 作, 问 题 37

是 : 如 果 给 定 的 向 量 u 和 v 都 是 代 数 形 式 的, 我 们 怎 么 用 代 数 的 方 法 求 c? 我 相 信 只 要 有 基 本 线 性 代 数 知 识 的 同 学 都 可 以 轻 松 解 决 这 个 问 题 我 们 知 道 u-cv 这 个 向 量 是 正 交 于 v 的, 用 数 学 语 言 表 达 就 是 (u-cv) T v = 0 我 们 马 上 就 可 以 得 到 c 的 表 达 式 如 下 在 讲 傅 里 叶 级 数 之 前, 我 们 还 需 引 进 线 性 代 数 中 正 交 基 的 概 念 如 果 这 个 概 念 你 觉 得 陌 生, 就 把 它 想 成 是 互 相 垂 直 的 坐 标 轴 回 到 刚 才 这 个 例 子, 如 下 图 所 示, 现 在 我 们 引 进 一 组 正 交 基 {v1,v2}, 那 么 u 可 以 展 开 成 以 下 形 式 从 图 上 来 看, 上 式 其 实 说 的 是 我 们 可 以 把 u 投 影 到 v1 和 v2 这 两 个 坐 标 轴 上,c1 和 c2 就 是 u 的 新 坐 标 问 题 是 : 我 们 怎 么 求 c1 和 c2 呢? 你 会 说, 我 们 可 以 上 式 两 边 同 时 乘 以 v1 或 v2, 然 后 利 用 它 们 正 交 的 性 质 来 求 c1, c2 没 错, 数 学 上 是 这 么 做 的 但 是 利 用 之 前 关 于 投 影 的 讨 论, 我 们 可 以 直 接 得 出 答 案 : 38

现 在 我 们 已 经 明 白 一 件 事 情 了 : 如 果 想 把 一 个 向 量 在 一 组 正 交 基 上 展 开, 也 就 是 找 到 这 个 向 量 沿 每 条 新 坐 标 轴 的 坐 标, 那 么 我 们 只 要 把 它 分 别 投 影 到 每 条 坐 标 轴 上 就 好 了, 也 就 是 把 v 换 成 新 坐 标 轴 就 好 了 说 了 半 天, 这 些 东 西 跟 傅 里 叶 级 数 有 什 么 关 系? 我 们 先 回 忆 一 下 傅 里 叶 级 数 的 表 达 式 给 定 一 个 周 期 是 2L 的 周 期 函 数 f(x), 它 的 傅 里 叶 级 数 为 : 其 中 系 数 表 达 式 如 下 : 我 不 喜 欢 记 忆 这 些 公 式, 有 办 法 可 以 更 好 的 理 解 他 们 来 帮 助 记 忆 吗? 答 案 是 有 的, 那 就 是 从 几 何 的 角 度 来 看 傅 里 叶 告 诉 我 们,f(x) 可 以 用 下 面 这 组 由 无 限 多 个 三 角 函 数 ( 包 括 常 数 ) 组 成 的 正 交 基 来 展 开, 这 里 我 们 需 要 在 广 义 上 来 理 解 正 交 我 们 说 两 个 向 量, 或 两 个 函 数 之 间 是 正 交 的, 意 思 是 它 们 的 内 积 (inner product) 为 零 内 积 在 有 限 维 的 向 量 空 间 中 的 形 式 为 点 积 (dot product) 在 无 限 维 的 函 数 空 间 中, 对 于 定 义 在 区 间 [a,b] 上 的 两 个 实 函 数 u(x),v(x) 来 说, 它 们 的 内 积 定 义 为 正 交 基 中 的 每 个 函 数 都 可 以 看 做 是 一 条 独 立 的 坐 标 轴, 从 几 何 角 度 来 看, 傅 里 叶 级 数 展 开 其 实 只 是 在 做 一 个 动 作, 那 就 是 把 函 数 投 影 到 一 系 列 由 三 角 函 数 构 成 的 坐 标 轴 上 上 面 的 系 数 则 是 函 数 在 每 条 坐 标 轴 上 的 坐 标 现 在 的 问 题 是 我 们 不 能 直 接 用 向 量 的 公 式 来 求 这 些 坐 标 了, 因 为 它 只 适 用 于 39

有 限 维 的 向 量 空 间 在 无 限 维 的 函 数 空 间, 我 们 需 要 把 分 子 分 母 的 点 积 分 别 替 换 成 积 分 的 形 式 那 么 所 有 系 数 马 上 可 以 轻 松 的 写 出 : 这 些 当 然 是 对 的, 而 且 我 们 应 该 学 会 这 种 推 导 来 加 深 对 正 交 性 的 理 解 但 是 在 应 用 上, 我 更 喜 欢 用 几 何 的 角 度 来 看 傅 里 叶 级 数, 把 函 数 看 成 是 无 限 维 的 向 量, 把 傅 里 叶 级 数 跟 几 何 中 极 其 简 单 的 投 影 的 概 念 联 系 起 来, 这 样 学 习 新 知 识 就 变 得 简 单 了, 而 且 可 以 毫 无 障 碍 的 把 公 式 记 住, 甚 至 一 辈 子 都 难 忘 熟 悉 傅 里 叶 级 数 的 同 学 会 问, 那 么 对 于 复 数 形 式 的 傅 里 叶 级 数, 我 们 是 否 也 能 用 几 何 投 影 的 观 点 来 看, 然 后 写 出 级 数 中 的 所 有 系 数 呢? 答 案 是 肯 定 的 给 定 一 个 周 期 是 2L 的 周 期 函 数 f(x), 它 的 傅 里 叶 级 数 的 复 数 形 式 为 : 其 中 系 数 表 达 式 如 下 : 这 意 味 着 我 们 用 了 下 面 这 组 正 交 基 来 展 开 原 函 数, 我 们 之 前 提 到 了 两 个 函 数 正 交, 意 思 是 它 们 的 内 积 为 零 对 于 定 义 在 区 间 [a,b] 上 的 两 个 复 函 数 u(x),v(x) 来 说, 它 们 的 内 积 定 义 为 其 中 v 加 上 划 线 意 思 是 它 的 共 轭 (10) 中 指 数 函 数 里 的 负 号 就 是 因 为 取 了 共 轭 的 关 系 40

现 在 我 们 同 样 可 以 把 原 函 数 分 别 投 影 到 (-1,1) 中 的 每 个 函 数 所 在 的 坐 标 轴 来 求 出 对 应 的 坐 标, 也 就 是 系 数 cn: 这 里 我 想 强 调 一 下 这 个 正 交 基 的 重 要 性 在 一 个 有 限 维 的 向 量 空 间, 给 定 任 何 向 量 都 可 以 被 一 组 基 展 开, 它 可 以 不 必 是 正 交 的, 这 个 时 候 展 开 项 中 的 系 数 ( 也 就 是 沿 这 组 基 中 任 一 坐 标 轴 的 坐 标 ) 需 要 求 解 一 个 线 性 方 程 组 来 得 到 只 有 当 这 组 基 是 正 交 的 时 候, 这 些 系 数 才 能 从 给 定 向 量 往 各 坐 标 轴 上 投 影 得 出 同 样 的, 在 无 限 维 的 函 数 空 间, 我 们 可 以 把 一 个 函 数 在 某 个 基 中 展 开, 但 是 只 有 在 正 交 基 中, 展 开 项 中 的 系 数 才 能 看 成 是 函 数 投 影 的 结 果 最 后 做 一 个 总 结, 不 管 是 向 量 u 还 是 函 数 u, 他 们 都 可 以 被 一 组 正 交 基 {vn: n=1,...,n}( 有 限 个 向 量 ) 或 {vn:n=1,..., }( 无 限 个 函 数 ) 展 开 如 下 : 上 式 中 的 cn 代 表 u 在 vn 所 在 的 坐 标 轴 上 投 影 产 生 的 坐 标 而 式 中 内 积 的 定 义 视 情 况 而 定, 在 有 限 维 的 向 量 空 间 ( 实 数 域 ), 向 量 u 和 v 的 内 积 是 点 积 u T v; 在 无 限 维 的 函 数 空 间, 函 数 u(x) 和 v(x) 的 内 积 的 积 分 形 式 我 们 可 以 看 到, 用 几 何 投 影 的 观 点 来 看 待 傅 里 叶 级 数, 理 解 变 得 更 加 容 易, 因 为 我 相 信 所 有 人 都 能 理 解 投 影 的 概 念 ; 同 时, 傅 里 叶 级 数 所 有 的 公 式 都 可 以 轻 松 的 记 住, 想 要 遗 忘 都 难 了 我 们 在 学 习 不 同 学 科 的 时 候 可 以 经 常 的 去 做 联 系, 尝 试 着 用 不 同 的 角 度 去 看 待 同 一 个 问 题, 我 相 信 这 么 做 是 很 有 好 处 的 傅 里 叶 变 换 思 想 的 推 广 其 实 写 到 这 里 本 来 就 可 以 了 但 是 数 学 家 觉 得, 这 种 向 特 征 基 函 数 投 影 的 思 想 太 奇 妙 了, 于 是 就 将 其 发 展 延 伸, 构 造 出 了 其 他 形 式 的 积 分 变 换 下 面 就 从 数 学 的 角 度 解 释 一 下 积 分 变 换 的 意 义 41

原 问 题 求 解 困 难 问 题 的 解 变 换 逆 变 换 变 换 域 的 问 题 求 解 容 易 变 换 域 的 求 解 这 种 解 决 问 题 的 思 路 和 我 们 介 绍 的 对 角 化 时 的 思 路 是 一 致 的 类 似 的 还 有 对 数 变 换 解 析 几 何 的 坐 标 变 换 高 等 代 数 中 的 线 性 变 换 ; 在 积 分 中 的 变 量 代 换 和 积 分 运 算 化 简 ; 在 微 分 方 程 中 所 作 的 自 变 量 或 未 知 函 数 的 变 换 ; 复 变 函 数 的 保 角 变 换 当 然 变 换 要 可 以 逆 也 就 是 下 面 介 绍 的 核 函 数 要 可 逆 从 数 学 的 角 度 理 解 积 分 变 换 就 是 通 过 积 分 运 算, 把 一 个 函 数 变 成 另 一 个 函 数 也 可 以 理 解 成 是 算 内 积, 然 后 就 变 成 一 个 函 数 向 另 一 个 函 数 的 投 影 : b Fs () ftktsdt () (,) a K (, ts ) 积 分 变 换 的 核 (Kernel) 当 选 取 不 同 的 积 分 域 和 变 换 核 时, 就 得 到 不 同 名 称 的 积 分 变 换 学 术 一 点 的 说 法 是 : 向 核 空 间 投 影, 将 原 问 题 转 化 到 核 空 间 所 谓 核 空 间, 就 是 这 个 空 间 里 面 装 的 是 核 函 数 下 表 列 出 常 见 的 变 换 及 其 核 函 数 : 变 换 名 称 核 傅 里 叶 (Fourier) 变 换 K(, t ) 1 2 i t e 拉 普 拉 斯 (Laplace) 变 换 Kts (, ) e st 梅 林 (Mellin) 变 换 Kts (, ) s 1 t 汉 科 尔 (Hankel) 变 换 Kts (, ) t J( st) 魏 尔 斯 特 拉 斯 (Weierstrass) 变 换 Kts (, ) v 1 e 4 2t 阿 贝 尔 (Abel) 变 换 Kts (, ) 2 2 t s 希 尔 伯 特 (Hilbert) 变 换 Kts (, ) 1 1 s t 2 ( st ) 4 42

当 然, 选 取 什 么 样 的 核 主 要 看 你 面 对 的 问 题 有 什 么 特 征 不 同 问 题 的 特 征 不 同, 就 会 对 应 特 定 的 核 函 数 把 核 函 数 作 为 基 函 数 将 现 在 的 坐 标 投 影 到 核 空 间 里 面 去, 问 题 就 会 得 到 简 化 之 所 以 叫 核, 是 因 为 这 是 最 核 心 的 地 方 为 什 么 其 他 变 换 你 都 没 怎 么 听 说 过 而 只 熟 悉 傅 里 叶 变 换 和 拉 普 拉 斯 变 换 呢? 因 为 复 指 数 信 号 i e 才 是 描 述 这 个 世 界 的 特 征 函 数! 写 到 这 里, 我 觉 得 早 晚 会 有 人 指 出 我 的 一 个 问 题 : 没 有 区 分 傅 里 叶 级 数 和 傅 里 叶 变 换 笔 者 觉 得 这 两 个 概 念 根 本 没 必 要 区 分, 我 的 理 由 如 下 : 傅 里 叶 级 数 和 傅 里 叶 变 换 的 根 本 区 别 是 被 操 作 的 函 数 是 否 为 周 期 函 数 : 当 被 操 作 函 数 的 周 期 趋 向 于 无 穷 大, 傅 里 叶 级 数 密 集 成 傅 里 叶 变 换 ; 当 被 操 作 函 数 的 周 期 从 无 穷 大 变 成 有 限 值 时, 傅 里 叶 变 换 退 化 成 傅 里 叶 级 数 所 以, 其 实 傅 里 叶 级 数 只 是 傅 里 叶 变 换 的 一 种 特 殊 情 况, 或 者 说 傅 里 叶 变 换 是 傅 里 叶 级 数 的 推 广 因 此, 笔 者 不 希 望 用 高 深 繁 多 的 概 念 来 把 你 搞 晕, 就 没 有 强 调 二 者 的 区 别 这 个 图 在 讨 论 滤 波 器 的 时 候 很 有 用, 学 习 通 讯 或 者 电 子 专 业 的 学 生 对 这 个 图 再 熟 悉 不 过 了, 网 络 中 还 有 一 个 卡 通 版 本 的 : 海 绵 宝 宝 的 傅 里 叶 变 换 就 是 派 大 星 43

当 然, 这 个 问 题 还 体 现 了 时 频 域 之 间 的 对 称 ( 对 偶 ) 关 系, 而 且 对 拉 普 拉 斯 变 换 也 适 用, 请 看 下 表 : 变 换 的 对 偶 关 系 周 期 离 散 ( 线 谱 采 样 ) 非 周 期 矩 形 窗 函 数 微 分 d f () t dt 连 续 sinc 函 数 乘 法 sf() s t 积 分 f () tdt 除 法 1 F() s s 卷 积 f1() t f2() t 相 乘 F1() s F2() s st 0 调 制 e f() t 频 移 Fs ( s0 ) 拉 伸 f ( at ) 1 s 压 缩 F( ) a a 举 个 例 子 : 比 如 你 在 时 域 周 期 延 拓, 那 么 频 域 就 是 离 散 的 线 谱 ; 你 在 时 域 离 散 ( 采 样 ), 那 么 频 域 就 是 周 期 的 还 记 得 海 绵 宝 宝 和 派 大 星 那 个 图 么? 时 域 的 窗 函 数 在 频 域 就 是 sinc 函 数 ; 频 域 的 窗 函 数 ( 理 想 低 通 滤 波 器 ) 在 时 域 就 是 sinc 函 数 因 此, 由 于 非 因 果 性, 理 想 低 通 滤 波 器 是 不 存 在 的 当 然, 有 些 公 式 并 不 严 谨, 只 是 为 了 形 式 上 的 好 看, 希 望 你 谅 解 详 细 而 准 确 的 推 导 请 参 考 积 分 变 换 或 者 信 号 与 系 统 类 的 书 籍 现 代 数 学 发 现 傅 里 叶 变 换 具 有 非 常 好 的 性 质, 使 得 它 如 此 的 好 用 和 有 用, 让 人 不 得 不 感 叹 造 物 的 神 奇 : 1. 傅 里 叶 变 换 是 线 性 算 子, 若 赋 予 适 当 的 范 数, 它 还 是 酉 算 子 ; 2. 傅 里 叶 变 换 的 逆 变 换 容 易 求 出, 而 且 形 式 与 正 变 换 非 常 类 似 ; 3. 正 弦 基 函 数 是 微 分 运 算 的 本 征 函 数, 从 而 使 得 线 性 微 分 方 程 的 求 解 可 以 转 化 为 常 系 数 的 代 数 方 程 的 求 解 在 线 性 时 不 变 的 物 理 系 统 内, 频 率 是 个 不 变 的 性 质, 从 而 系 统 对 于 复 杂 激 励 的 响 应 可 以 通 过 组 合 其 对 不 同 频 率 正 弦 信 号 的 响 应 来 获 取 ; 4. 著 名 的 卷 积 定 理 指 出 : 傅 里 叶 变 换 可 以 化 复 杂 的 卷 积 运 算 为 简 单 的 乘 积 运 算, 从 而 提 供 了 计 算 卷 积 的 一 种 简 单 手 段 ; 44

5. 离 散 形 式 的 傅 里 叶 变 换 可 以 利 用 数 字 计 算 机 快 速 的 算 出 ( 其 算 法 称 为 快 速 傅 里 叶 变 换 算 法 (FFT)). 正 是 由 于 上 述 的 良 好 性 质, 傅 里 叶 变 换 在 物 理 学 数 论 组 合 数 学 信 号 处 理 概 率 统 计 密 码 学 声 学 光 学 等 领 域 都 有 着 广 泛 的 应 用 本 节 还 有 好 多 动 态 图, 因 为 没 办 法 弄 到 Word 里 面 所 以 做 成 ppt, 在 群 里 共 享, 欢 迎 下 载 也 可 以 到 下 面 的 参 考 文 献 中 观 看 参 考 文 献 1. http://zhuanlan.zhihu.com/wille/19763358 2. http://en.wikipedia.org/wiki/fourier_series 3. http://en.wikipedia.org/wiki/fourier_transform 4. http://baike.baidu.com/subview/191871/191871.htm 5. Alan V.Oppenheim, 信 号 与 系 统, 西 安 交 通 大 学 出 版 社 6. 张 元 林, 工 程 数 学 -- 积 分 变 换 ( 第 四 版 ) 高 等 教 育 出 版 社 7. http://blog.renren.com/share/513750120/17839184555 45

5 水 煮 奇 异 值 分 解 我 们 总 结 一 下 分 解, 最 开 始 接 触 分 解 貌 似 是 从 泰 勒 级 数 开 始 的 他 将 一 个 函 数 分 解 成 幂 级 数, 这 样 做 最 直 接 的 用 处 就 是 我 们 用 的 科 学 计 算 器 : 因 为 计 算 机 只 会 算 加 法 和 乘 法 ( 其 实 除 法 也 可 以 用 乘 法 算, 有 兴 趣 可 以 交 流 ), 为 了 算 一 些 函 数, 比 如 sin cos e ln 等 就 必 须 用 到 泰 勒 展 开 当 然, 泰 勒 展 开 的 意 义 却 远 远 比 这 个 大 分 解 和 抓 主 要 矛 盾 的 思 想 支 撑 着 微 积 分 的 半 壁 江 山 : 微 分 是 分 解 留 下 线 性 主 部, 积 分 是 分 解 忽 略 高 阶 小 量 那 么 分 解 就 有 好 有 坏, 什 么 是 好 的 分 解 呢? 微 积 分 中 喜 欢 线 性 分 解, 用 多 项 式 作 为 基 函 数, 然 后 忽 略 高 阶 量, 这 就 是 问 题 的 主 要 矛 盾, 还 容 易 计 算 后 来, 傅 里 叶 也 喜 欢 线 性 分 解, 但 是 基 函 数 变 成 三 角 函 数 原 因 是 三 角 函 数 是 线 性 时 不 变 系 统 的 特 征 函 数 我 们 之 前 也 接 触 过 矩 阵 的 分 解 : 就 是 对 角 化, 也 成 为 谱 分 解 和 Jordan 标 准 型 分 解 但 是, 谱 分 解 和 Jordan 标 准 型 分 解 对 应 的 是 方 阵, 一 般 矩 阵 有 没 有 类 似 的 分 解 呢? 这 就 是 我 们 这 节 介 绍 的 奇 异 值 分 解 特 征 值 和 奇 异 值 在 大 部 分 人 的 印 象 中, 往 往 是 停 留 在 纯 粹 的 数 学 计 算 中 而 且 线 性 代 数 或 者 矩 阵 论 里 面, 也 很 少 讲 任 何 跟 特 征 值 与 奇 异 值 有 关 的 应 用 背 景 奇 异 值 分 解 是 一 个 有 着 很 明 显 的 物 理 意 义 的 一 种 方 法, 它 可 以 将 一 个 比 较 复 杂 的 矩 阵 用 更 小 更 简 单 的 几 个 子 矩 阵 的 相 乘 来 表 示, 这 些 小 矩 阵 描 述 的 是 矩 阵 的 重 要 的 特 性 就 像 是 描 述 一 个 人 一 样, 给 别 人 描 述 说 这 个 人 长 得 浓 眉 大 眼, 方 脸, 络 腮 胡, 而 且 带 个 黑 框 的 眼 镜, 这 样 寥 寥 的 几 个 特 征, 就 让 别 人 脑 海 里 面 就 有 一 个 较 为 清 楚 的 认 识, 实 际 上, 人 脸 上 的 特 征 是 有 着 无 数 种 的, 之 所 以 能 这 么 描 述, 是 因 为 人 天 生 就 有 着 非 常 好 的 抽 取 重 要 特 征 的 能 力, 让 机 器 学 会 抽 取 重 要 的 特 征,SVD 是 一 个 重 要 的 方 法 在 机 器 学 习 领 域, 有 相 当 多 的 应 用 与 奇 异 值 都 可 以 扯 上 关 系, 比 如 做 feature reduction 的 PCA, 做 数 据 压 缩 ( 以 图 像 压 缩 为 代 表 ) 的 算 法, 还 有 做 搜 索 引 擎 语 义 层 次 检 索 的 LSI(Latent Semantic Indexing) SVD 的 过 程 不 是 很 好 理 解, 因 为 它 不 够 直 观, 但 它 对 矩 阵 分 解 的 效 果 却 非 常 好 比 如,Netflix( 一 个 提 供 在 线 电 影 租 赁 的 公 司 ) 曾 经 就 悬 赏 100 万 美 金, 如 果 谁 能 提 高 它 的 电 影 推 荐 系 统 评 分 预 测 准 确 率 提 高 10% 的 话 令 人 惊 讶 的 是, 这 个 目 标 充 满 了 挑 战, 来 自 世 界 各 地 的 团 队 运 用 了 各 种 不 同 的 技 术 最 终 的 获 胜 46

队 伍 "BellKor's Pragmatic Chaos" 采 用 的 核 心 算 法 就 是 基 于 SVD SVD 提 供 了 一 种 非 常 便 捷 的 矩 阵 分 解 方 式, 能 够 发 现 数 据 中 十 分 有 意 思 的 潜 在 模 式 在 这 篇 文 章 中, 我 们 将 会 提 供 对 SVD 几 何 上 的 理 解 和 一 些 简 单 的 应 用 实 例 首 先 从 几 何 层 面 上 去 理 解 二 维 的 SVD: 对 于 任 意 的 2 x 2 矩 阵, 通 过 SVD 可 以 将 一 个 相 互 垂 直 的 网 格 (orthogonal grid) 变 换 到 另 外 一 个 相 互 垂 直 的 网 格 我 们 可 以 通 过 向 量 的 方 式 来 描 述 这 个 事 实 : 首 先, 选 择 两 个 相 互 正 交 的 单 位 向 量 v 1 和 v 2, 向 量 Mv 1 和 Mv 2 正 交 u 1 和 u 2 分 别 表 示 Mv 1 和 Mv 2 的 单 位 向 量, 1 u 1? Mv 1 和 2u2 Mv2 σ1 和 σ2 分 别 表 示 这 不 同 方 向 向 量 上 的 模, 也 称 作 为 矩 阵 M 的 奇 异 值 这 样 我 们 就 有 了 如 下 关 系 式 Mv Mv u 1 1 1 u 2 2 2 47

我 们 现 在 可 以 简 单 描 述 下 经 过 M 线 性 变 换 后 的 向 量 x 的 表 达 形 式 由 于 向 量 v 1 和 v 2 是 正 交 的 单 位 向 量, 我 们 可 以 得 到 如 下 式 子 : 这 就 意 味 着 : x ( vxv ) ( vxv ) 1 1 2 2 Mx ( vxmv ) ( vxmv )? 1 1 2 2 Mx( v x) u ( v x) u 1 1 1 2 2 2 向 量 内 积 可 以 用 向 量 的 转 置 来 表 示, 如 下 所 示 最 终 的 式 子 为 上 述 的 式 子 经 常 表 示 成 vx T v x M u v u v T T 1 1 1 2 2 2 Mxu v xu v x T T 1 1 1 2 2 2 M =UΣV T u 矩 阵 的 列 向 量 分 别 是 u 1,u 2,Σ 是 一 个 对 角 矩 阵, 对 角 元 素 分 别 是 对 应 的 σ1 和 σ2,v 矩 阵 的 列 向 量 分 别 是 v 1,v 2 上 角 标 T 表 示 矩 阵 V 的 转 置 这 就 表 明 任 意 的 矩 阵 M 是 可 以 分 解 成 三 个 矩 阵 V 表 示 了 原 始 域 的 标 准 正 交 基,u 表 示 经 过 M 变 换 后 的 co-domain 的 标 准 正 交 基,Σ 表 示 了 V 中 的 向 量 与 u 中 相 对 应 向 量 之 间 的 关 系 48

事 实 上 我 们 可 以 找 到 任 何 矩 阵 的 奇 异 值 分 解, 那 么 我 们 是 如 何 做 到 的 呢? 假 设 在 原 始 域 中 有 一 个 单 位 圆, 如 下 图 所 示 经 过 M 矩 阵 变 换 以 后 在 co-domain 中 单 位 圆 会 变 成 一 个 椭 圆, 它 的 长 轴 (Mv 1 ) 和 短 轴 (Mv 2 ) 分 别 对 应 转 换 后 的 两 个 标 准 正 交 向 量, 也 是 在 椭 圆 范 围 内 最 长 和 最 短 的 两 个 向 量 换 句 话 说, 定 义 在 单 位 圆 上 的 函 数 Mx 分 别 在 v 1 和 v 2 方 向 上 取 得 最 大 和 最 小 值 这 样 我 们 就 把 寻 找 矩 阵 的 奇 异 值 分 解 过 程 缩 小 到 了 优 化 函 数 Mx 上 了 结 果 发 现 ( 具 体 的 推 到 过 程 这 里 就 不 详 细 介 绍 了 ) 这 个 函 数 取 得 最 优 值 的 向 量 分 别 是 矩 阵 M T M 的 特 征 向 量 由 于 M T M 是 对 称 矩 阵, 因 此 不 同 特 征 值 对 应 的 特 征 向 量 都 是 互 相 正 交 的, 我 们 用 vi 表 示 M T M 的 所 有 特 征 向 量 接 下 来 我 们 从 分 解 的 角 度 重 新 理 解 前 面 的 表 达 式 M 阵 U 用 它 的 列 向 量 表 示 出 来, 可 以 写 成 U u1 u2 u n (,,, ) UDV 其 中 每 一 个 ui 被 称 为 M 的 左 奇 异 向 量 类 似 地, 对 于 V, 有 V v1 v2 v n (,,, ) T 如 果 我 们 把 矩 它 们 被 称 为 右 奇 异 向 量 再 然 后, 假 设 矩 阵 D 的 对 角 线 元 素 为 ( 它 们 被 称 为 M 的 奇 异 值 ) 并 按 降 序 排 列, 那 么 M 就 可 以 表 达 为 其 中 A uv T i i i i 了 n 个 矩 阵 的 和 n n T T T T 1 1 1 2 2 2 n n n i i i i i1 i1 M uv uv uv uv A 是 一 个 m n 的 矩 阵 换 句 话 说, 我 们 把 原 来 的 矩 阵 M 表 达 成 i 49

这 个 式 子 有 什 么 用 呢? 注 意 到, 我 们 假 定 是 按 降 序 排 列 的, 它 在 某 种 程 度 上 反 映 了 对 应 项 Ai 在 M 中 的 贡 献 i 越 大, 说 明 对 应 的 Ai 在 M 的 分 解 中 占 据 的 比 重 也 越 大 所 以 一 个 很 自 然 的 想 法 是, 我 们 是 不 是 可 以 提 取 出 Ai 中 那 些 对 M 贡 献 最 大 的 项, 把 它 们 的 和 作 为 对 M 的 近 似? 也 就 是 说, 如 果 令 M k k Ai i1 那 么 我 们 是 否 可 以 用 Mk 来 对 Mn M 进 行 近 似? 答 案 是 肯 定 的, 不 过 等 一 下, 这 个 想 法 好 像 似 曾 相 识? 对 了, 多 元 统 计 分 析 中 经 典 的 主 成 分 分 析 就 是 这 样 做 的 在 主 成 分 分 析 中, 我 们 把 数 据 整 体 的 变 异 分 解 成 若 干 个 主 成 分 之 和, 然 后 保 留 方 差 最 大 的 若 干 个 主 成 分, 而 舍 弃 那 些 方 差 较 小 的 事 实 上, 主 成 分 分 析 就 是 对 数 据 的 协 方 差 矩 阵 进 行 了 类 似 的 分 解 ( 特 征 值 分 解 ), 但 这 种 分 解 只 适 用 于 对 称 的 矩 阵, 而 SVD 则 是 对 任 意 大 小 和 形 状 的 矩 阵 都 成 立 (SVD 和 特 征 值 分 解 有 着 非 常 紧 密 的 联 系, 此 为 后 话 ) 我 们 再 回 顾 一 下, 主 成 分 分 析 有 什 么 作 用? 答 曰, 降 维 换 言 之, 就 是 用 几 组 低 维 的 主 成 分 来 记 录 原 始 数 据 的 大 部 分 信 息, 这 也 可 以 认 为 是 一 种 信 息 的 ( 有 损 ) 压 缩 在 SVD 中, 我 们 也 可 以 做 类 似 的 事 情, 也 就 是 用 更 少 项 的 求 和 Mk 来 近 似 完 整 的 n 项 求 和 为 什 么 要 这 么 做 呢? 我 们 用 一 个 图 像 压 缩 的 例 子 来 说 明 我 们 的 动 机 奇 异 值 与 图 像 压 缩 我 们 知 道, 电 脑 上 的 图 像 ( 特 指 位 图 ) 都 是 由 像 素 点 组 成 的, 所 以 存 储 一 张 1000 622 大 小 的 图 片, 实 际 上 就 是 存 储 一 个 1000 622 的 矩 阵, 共 622000 个 元 素 这 个 矩 阵 用 SVD 可 以 分 解 为 622 个 矩 阵 之 和, 如 果 我 们 选 取 其 中 的 前 100 个 之 和 作 为 对 图 像 数 据 的 近 似, 那 么 只 需 要 存 储 100 个 奇 异 值 i,100 个 u i 向 量 和 100 个 v i 向 量, 共 计 100 (1+1000+622)=162300 个 元 素, 大 约 只 有 原 始 的 26% 大 小 i 50