云架构下虚拟基站的高能效资源分配

Transcription

1 云架构下虚拟基站的 高能效资源分配 ( 申请清华大学工学硕士学位论文 ) 培养单位 : 电子工程系 学 科 : 信息与通信工程 研 究 生 : 赵涛 指导教师 : 牛志升教授 二〇一五年五月

2

3 Energy Efficient Resource Allocation of Virtual Base Stations Under Cloud-Based Architecture Thesis Submitted to Tsinghua University in partial fulfillment of the requirement for the degree of Master of Science in Information and Communication Engineering by Zhao Tao Thesis Supervisor : Professor Niu Zhisheng May, 2015

4

5 关于学位论文使用授权的说明 本人完全了解清华大学有关保留 使用学位论文的规定, 即 : 清华大学拥有在著作权法规定范围内学位论文的使用权, 其中包括 :(1) 已获学位的研究生必须按学校规定提交学位论文, 学校可以采用影印 缩印或其他复制手段保存研究生上交的学位论文 ;(2) 为教学和科研目的, 学校可以将公开的学位论文作为资料在图书馆 资料室等场所供校内师生阅读, 或在校园网上供校内师生浏览部分内容 本人保证遵守上述规定 ( 保密的论文在解密后应遵守此规定 ) 作者签名 : 导师签名 : 日期 : 日期 :

6

7 摘 要 摘 要 为支持移动互联网时代的海量数据与连接, 下一代移动通信系统 (5G) 面临着效率 灵活性等方面的挑战 为了有效应对上述挑战, 已有研究提出新型的云化蜂窝网络架构, 通过云计算虚拟化平台提供软件定义的网络功能, 进一步结合超蜂窝网络控制与业务分离概念, 使网络能够动态高能效地运行 在云架构下的蜂窝网络中, 基带单元池中虚拟化的软件应用和射频前端的通用硬件外设构成虚拟基站, 其能耗组成与传统基站显著不同 另外, 虚拟基站的基带计算资源与射频无线资源均可按需灵活分配, 这在提供更高节能潜力的同时也增加了资源分配的维度和优化设计的复杂度 因此, 如何联合地对虚拟基站的计算资源和无线资源在满足用户服务质量需求的前提下进行高能效的动态分配, 成为云架构下蜂窝网络中的一个重要研究课题 针对这一问题, 本文对云架构下虚拟基站的能耗进行了建模, 基于此模型对虚拟基站的高能效资源分配进行了理论分析, 并进一步搭建了云化超蜂窝网络演示平台 具体研究成果包括 : 1. 针对虚拟基站的高能效资源分配问题, 提出了一个计算资源感知的虚拟基站能耗模型 该模型能够有效反映云架构下虚拟基站的整体能耗, 体现基带计算资源与射频无线资源的动态特性 基于该能耗模型, 采用 M/G/1 处理器共享排队模型对系统建模, 以最小化基站能耗与业务延时的加权和为目标, 通过求解得到了最优射频传输速率的解析表达式, 并提出了一个高效的联合优化算法, 得到了最优 CPU 核数和射频传输速率 2. 针对云化超蜂窝网络演示平台, 利用开源软件无线电工具与容器虚拟化技术, 设计并搭建了云架构下超蜂窝网络演示平台, 实现了软件定义超蜂窝架构下的空中接口分离机制 动态确定并选择最优基站的基站指派协议 和基站休眠协议 该平台验证了容器中虚拟基站和虚拟核心网的概念, 证明了空中接口分离概念和具体分离机制的可行性, 演示了空中接口分离后以负载均衡为目标的动态基站指派, 并评估了动态基站休眠和唤醒的能耗节省增益 关键词 : 虚拟基站 ; 能耗模型 ; 资源分配 ; 软件无线电 ; 容器虚拟化 I

8 Abstract Abstract The next-generation (5G) mobile communication system faces the challenges of efficiency and flexibility to support massive data and connections in the mobile Internet era. To tackle with these challenges, cloud-based cellular network architectures have been proposed in the literature to enable software-defined network functions via virtualization in cloud computing platforms, converged with decoupled control and traffic coverages in hyper-cellular networks. Network operations can thus be dynamic and energy-efficient while maintaining mobile users quality of service (QoS). In cloud-based cellular networks, the virtualized software applications in baseband unit (BBU) pool and the universal frontend hardware in remote radio heads (RRHs) altogether form the virtual base station (VBS), which has a dinstinct energy consumption profile compared with conventional base stations (BSs). Besides, the compute resources in baseband and wireless resouces in radio frequency of VBSs can both be dynamically allocated on-demand, which brings more energy saving potential. However, it also increases the dimension and complexity of resource allocation. Therefore, how to jointly allocate the compute resources and wireless resources of VBSs for energy-efficient base station operations while guaranteeing mobile users QoS becomes an import research issue in cloud-based cellular networks. To address this problem, this thesis proposes an energy consumption model for VBSs in cloud-based cellular networks, analyzes energy-efficient resource allocation of VBSs based on the new model, and further presents the design and implementation of a cloudbased hyper-cellular network testbed. The main contributions of this work includes: 1. Regarding energy-efficient resource allocation of VBSs, we first propose a compute-resource-aware energy consumption model for VBSs which can capture the total energy consumption of both BBUs and RRHs and take into accounts dynamic allocation of both compute resources and wireless resources. Based on the model, we use an M/G/1 Processor Sharing (PS) queue to model the system, and aim to minimize the weighted sum of power consumption of the VBS and average delay of the traffic. We derive the explicit form of the optimal data transmission rate, and further propose an efficient algorithm to jointly optimize the data rate and the number of CPU cores. II

9 Abstract 2. Regarding the cloud-based hyper-cellular network testbed, we design and prototype the testbed based on open source software-defined radio tools and container virtualization technologies. We propose a separation scheme of the air interface, a BS dispatching protocol to determine and assign the optimal BS to serve mobile users, and a BS sleeping protocol to improve the energy efficiency of the network. Our testbed implementation proves the concept of VBSs and virtual core network in containers, validates the feasibility of decoupled air interface and our proposed separation scheme, demonstrates the effectiveness of load balancing BS dispatching, and shows great energy saving potential of BS sleeping control. Key words: virtual base station; energy consumption model; resource allocation; software-defined radio; container virtualization III

10 目 录 目 录 第 1 章 绪论 蜂窝移动通信系统面临的挑战 新型无线接入网架构 论文主要内容及结构安排... 6 第 2 章 虚拟基站的高能效资源分配 引言 能耗模型 传统能耗模型 计算资源感知的能耗模型 应用示例 系统模型 最优速率分析 联合优化算法 数值结果 小结 第 3 章 云化超蜂窝网络演示平台 引言 系统架构 协议设计 分离机制设计 基站指派协议 基站休眠协议 平台组成 USRP OpenBTS 平台功能 虚拟基站概念演示 分离可行性验证 负载均衡验证 基站休眠性能评估 IV

11 目 录 3.6 小结 第 4 章总结与展望 研究总结 未来工作展望 参考文献 致谢 声明 个人简历 在学期间发表的学术论文与研究成果 V

12 主要符号对照表 主要符号对照表 3GPP 4G 5G ACM API ARFCN BBU BS C-RAN CBS CDF CM CONCERT CPU EARTH FPGA GPP GPRS GSM ICT IEEE IT KVM LTE M/G/1 第三代合作伙伴计划 (The 3rd Generation Partnership Project) 第四代移动通信系统 (The 4th Generation Mobile Communication System) 第五代移动通信系统 (The 5th Generation Mobile Communication System) 美国计算机协会 (Association for Computing Machinery) 应用程序编程接口 (Application Programming Interface) 绝对无线频道编号 (Absolute Radio-Frequency Channel Number) 基带单元 (Baseband Unit) 基站 (Base Station) 云化无线接入网 (Cloud Radio Access Network) 控制基站 (Control Base Station) 累积分布函数 (Cumulative Distribution Function) 容器管理程序 (Container Manager, CM) 云计算与蜂窝系统融合 (CONvergence of Cloud and cellular sys- Tems) 中央处理器 (Central Processing Unit) 能量感知无线与网络技术 (Energy Aware Radio and network technologies) 现场可编程门阵列 (Field Programmable Gate Array) 通用处理器 (General Purpose Processor) 通用分组无线服务 (General Packet Radio Service) 全球移动通信系统 (Global System for Mobile communications) 信息通信技术 (Information and Communication Technology) 美国电气电子工程师协会 (Institute of Electrical and Electronic Engineers) 信息技术 (Information Technology) 基于内核的虚拟机 (Kernel-based Virtual Machine) 长期演讲计划 (Long Term Evolution) 无记忆 (Memoryless 或 Markovian) 到达 任意概率分布 (General) 服务 单一服务台排队模型 VI

13 主要符号对照表 PS 处理器共享 (Processor Sharing) QoS 服务质量 (Quality of Service) RAN 无线接入网 (Radio Access Network) RRH 远端无线射频单元 (Remote Radio Head) SDHCA 软件定义超蜂窝架构 (Software-Defined Hyper-Cellular Architecture) SDN 软件定义网络 (Software-Defined Networking) SDR 软件定义无线电 (Software-Defined Radio) SDRAN 软件定义无线接入网 (Software-Defined Radio Access Network) SINR 信干噪比 (Signal-to-Interference-plus-Noise Ratio) TBS 业务基站 (Traffic Base Station) UE 用户终端 (User Equipment) VBS 虚拟基站 (Virtual Base Station) VCN 虚拟核心网 (Virtual Core Network) VM 虚拟机 (Virtual Machine) WiMAX 全球互通微波接入 (Worldwide Interoperability for Microwave Access) E{ } 数学期望 L 平均文件大小 λ 业务到达率 N c n Ω( ) P r CPU 核数队列长度 Lambert W 函数主分支功率数据传输速率 ρ 服务者利用率 ( 或称业务负载 ) MS/s 单位 : 兆采样每秒 VII

14 第 1 章绪论 第 1 章 绪论 1.1 蜂窝移动通信系统面临的挑战移动通信已经成为现代生活中不可或缺的部分 伴随着技术的进步, 蜂窝移动通信系统也在不断地演进 第一代移动通信系统以 AMPS 为代表, 初步满足了人们低速率语音通话的需求 第二代移动通信系统以 GSM 为典型代表, 完成了从模拟系统到数字系统的转换, 并初步提供了数据业务支持 进入新世纪后, 第三代移动通信系统实现了电路交换到分组交换的转变, 以码分多址 (Code Division Multiple Access, CDMA) 接入技术, 显著提供了网络容量 如今, 以 LTE (Long Term Evolution) 为代表的第四代移动通信系统 (4G) 正在被广泛部署, 可以为移动用户提供超过 100 Mbps 的数据速率支持 学术界与工业界已经开始开展对下一代移动通信系统 (5G) 的研究 与此同时, 移动通信系统需要满足的业务需求也在不断地高速增长 5G 面临的业务需求与挑战可以归纳为以下三点 其一是海量数据 如图 1.1 所示,IMT-2020(5G) 推进组预计全球移动数据流量从 2010 年到 2020 年将增长 100 倍以上, 在热点区域增长可达 1000 倍 [1] 在频谱和能量等资源受限的条件下, 这对通信系统的频谱效率以及能量效率 ( 简称能效 ) 带来了极大的挑战 IMT-2020(5G) 推进组预计相比 4G,5G 的频谱效率需要提升 5 15 倍, 能量效率和成本效率需要提升百倍以上 其二,5G 需要支持海量连接 如图 1.2 所示, 思科预计到 2019 年时, 全球移动设备和连接数将达到 115 亿, 其中包括 82 亿手持或移动设备和 32 亿机器到机器 (Machine-to-Machine, M2M) 连接, 平均每人 1.5 个 [2] 海量连接中既有高速率大容量需求的连接, 又有数据率要求不高但对实时性可靠性要求苛刻的连接 这些不同特性要求的连接需要高度灵活的网络进行适配 其三, 来自互联网厂商的创新应用层出不穷, 对运营商的传统服务造成了冲击 运营商的每用户平均收入 (ARPU) 出现了缓慢增长甚至下降的趋势 [3], 这对网络的可持续性发展带来了严峻挑战 面对这些挑战, 传统的移动通信系统无线接入网络 (Radio Access Network, RAN) 架构难以支持 5G 的发展 自从诞生之日起, 无线接入网络架构本身并没有经历许多改变 传统架构下, 无线接入网中为移动用户提供服务的基站 (Base Station, BS) 通常都是分布式的部署, 同时也在分布式的运行, 各自负责各自的覆盖范围, 称为小区 (cell) 一般而言, 每个基站根据业务的峰值需求预留资源, 以保证用户服务质量 (Quality of Service, QoS) 但在高动态性实际业务需求的实际 1

15 第 1 章绪论网络中, 这一静态资源预留会带来资源的大量浪费 [4] 另外, 传统蜂窝基站的分布式决策使得基站之间缺乏协作, 难以通过协作多点传输 (Coordinated Multi-Point Transmission, CoMP) 提升网络容量 [5] 分布式决策还使得减少能量浪费, 提供网络能量效率的基站休眠操作难以实现, 因为基站的休眠会形成网络覆盖的空洞, 需要借助业务转移 (offloading) 或小区调焦等技术保证基站休眠时小区内用户的服务质量 此外, 传统基站的软硬件是一个紧密耦合的复杂系统, 运营商难以对其进行升级与部署增值服务 综上所述, 传统无线接入网架构难以提供 5G 网络对效率 灵活性 以及可持续性等方面的需求, 因而难以应对 5G 时代业务的挑战 图 年全球和中国移动数据流量增长趋势 ( 单位 : 倍 ) [1] 图 1.2 全球移动设备和连接增长趋势 ( 横轴为年份 ; 纵轴为设备数, 单位 : 十亿 ) [2] 2

16 第 1 章绪论 表 1.1 新型无线接入网架构归纳 趋势文献特点优势 云化无线接入网 WNC [6] C-RAN [3] 基带单元 (BBU) 与远端无线射频单元 (RRH) 分离 基带单元聚合 虚拟基站 成本节省 灵活性提高 空中接口解耦 超蜂窝 [7] 幽灵小区 [8] 控制覆盖与业务覆盖分离 控制基站收集网络控制信息 能耗节省 网络资源全局优化 软件定义 SoftRAN [9] 控制数据分离 全局效用优化 无线接入网 CROWD [10] 逻辑集中控制 网络管理简化 控制 API 融合架构 OpenRAN [11] CONCERT [12] SDF [13] 文献 [14] 软件定义无线接入网与云化无线接入网融合 软件定义无线接入网与空中接口解耦融合 优势合并 加速架构实现 1.2 新型无线接入网架构 在此基础上, 很有必要研究新型无线接入网架构以满足 5G 的需求 已有研究可以归纳为三个趋势以及这些趋势的融合, 如表 1.1 所示 在这些趋势中, 一大趋势为利用云计算技术改造蜂窝网络架构 以 IBM 研究人员提出的 WNC [6] 以及中国移动研究院提出的 C-RAN [3] 为这一趋势的主要代表 如图 1.3 所示, 这些工作都包含了将基站的基带单元 (BBU) 利用云计算平台集中池化, 前端天线侧只留下远端无线射频单元 (RRH) 的想法 进一步, 基带单元功能可以采用通用处理器 (General Purpose Processor, GPP) 平台上运行在虚拟机 (Virtual Machine, VM) 内的软件应用实现, 形成虚拟基站 (Virtual Base Station, VBS) 事实上, 虚拟基站的概念在更早的分布式无线通信系统架构 (Distributed Wireless Communication System, DWCS) [15] 中已有体现 此外,C-RAN 还建议采用高带宽光传输网络连接基带单元与远端无线射频单元, 形成前传网络 (Fronthaul Network) 通过采用开放的 IT 3

17 第 1 章绪论平台取代专有硬件系统, 蜂窝系统的灵活性将会得到提升, 基带单元集中池化后节省站址降低部署成本, 还可以实现资源的统计复用降低运营成本 这些优势已经在 C-RAN 的现网部署测试中得到了验证 图 1.3 C-RAN 架构示意图 [3] 另外一大趋势是将无线接入网中空中接口的信令与数据进行解耦, 这一趋 [7] 势以超蜂窝网络 (Hyper-Cellular Network, HCN) 架构和 幽灵小区 (Phantom Cell) [8] 为代表 在该架构下, 网络覆盖被分为控制覆盖与业务覆盖两类 相应地, 基站也被分为控制基站 (Control Base Station, CBS) 与业务基站 (Traffic Base Station) 两类 具体说来, 控制基站负责控制覆盖, 包括提供网络接入 系统信息广播等功能 ; 业务基站专门负责为移动用户提供数据业务服务 通过将空中接口解耦, 业务基站可以灵活地进行开关, 从而可以在不引入覆盖空洞的前提下显著节省能量消耗, 此即柔性覆盖的概念 此外, 控制基站可以收集一个地理区域内的全网控制信息, 进而全局优化无线接入网的各种资源 在这一架构下, 移动用 4

18 第 1 章绪论户在不同业务基站之间移动时, 只要接入同一控制基站, 就无需进行传统的越区切换, 如此可以减小网络的信令开销 事实上, 这一空中接口解耦的概念在标准化组织中也得到了讨论, 并已经进入了 3GPP LTE Release 12 之中, 称为 双连接 (dual connectivity) [16] 另外有一大类研究将有线网中提出的软件定义网络 (Software-Defined Networking, SDN) 概念应用到无线接入网当中 软件定义网络对互联网的分组交换和路由进行了重新思考, 提出了控制数据分离 集中化控制 软件应用程序编程接口 (Application Programming Interface, API) 等新的设计理念 SoftRAN [9] 将这些理念引入无线接入网, 提出了软件定义无线接入网 (Software-Defined Radio Access Network, SDRAN) 的架构 SoftRAN 提出了 大基站 (big base station) 的概念, 它包含一个逻辑上集中的控制器以及分布式的射频单元 通过集中化的控制器, SDRAN 使得一个地理区域的全局效用优化成为可能 它还可以通过软件编程的方式简化网络管理 更具体地,CROWD [10] 提出用两层 SDN 架构支持密集部署网络, 而 OpenRadio [17] 给出了可编程的无线数据平面的概念和实现, 可以灵活地支持多种无线协议 值得一提的还有 CellSDN [18], 它提出了软件定义蜂窝核心网的概念 最近的文献开始探讨上述趋势的融合对未来无线接入网带来的改变 Open- RAN [11] 提出利用云计算资源池和虚拟化技术实现 SDRAN 架构 我们此前提出的 CONCERT (CONvergence of Cloud and cellular systems) 架构 [12], 基于 SDN 的控制数据平面分离的概念构建云技术与蜂窝深度融合的新型系统 如图 1.4 所示, CONCERT 架构下, 计算资源是异构分布的, 既有基站远端无线射频单元附近的计算资源, 又有较远的数据中心中的大规模池化资源 异构的计算资源可以灵活性地支持不同需求的业务 CONCERT 拥有一个逻辑集中的控制平面称为 网络指挥 (Conductor), 即异构资源协调器 它将物理资源虚拟化, 并加以全局控制, 同时为上层应用提供编程 API 通过网络指挥提供的 API, 网络的各种服务在上层用软件实现, 其中既包括通信本身的服务, 也包括提升用户体验的实时云应用服务 结合 SDN 与 C-RAN 中的前传网络, 软件定义前传网络 (Software-Defined Fronthaul, SDF) 的概念也被提出 [13], 它可以使得基带单元与远端无线射频单元的映射更加灵活, 还便于基站功能在基带单元与远端无线射频单元之间进行灵活划分 [19] 除了 SDRAN 与云化无线接入网的融合外, 有文献提出了 SDRAN 与空中接口分离的融合 [14] 融合之后的架构拥有多种架构的特点和优势, 同时多种技术之间可以形成很好地互补, 从而相互促进彼此的实现 基于此, 我们进一步探索以上三个趋势的深度融合, 提出了软件定义超蜂窝架构 (Software-Defined Hyper-Cellular Architecture, SDHCA) [20] 如图 1.5 所示, 5

19 第 1 章绪论 虚拟机 3G vbs 3G vbs 3G 虚拟基站 虚拟机 LTE vbs LTE vbs LTE 虚拟基站 虚拟机 3G vbs 3G vbs 网络管理 虚拟机 3G vbs 3G vbs 实时云应用 射频设备 本地服务器 网络指挥 控制链路 区域服务器 软件定义交换设备 中央服务器 数据平面控制平面 图 1.4 CONCERT 架构示意图 [12] SDHCA 的主要特点有 : 1. 控制数据分离 分离体现在三个层面 : 其一, 在空中接口, 控制基站与业务基站分别负责控制覆盖与业务覆盖 ; 其二, 物理设施层面, 实现网络功能的软件与进行数据传输与转发的硬件分离 ; 其三, 软件定义前传网络的控制平面与数据平面也被分离 2. 控制基站作为无线接入网控制器 控制基站管理其覆盖范围内的移动用户 业务基站以及前传网络 控制基站拥有在一定地理区域内的无线接入网的全局视角, 包括频谱资源 能量资源 基站资源等在内的网络资源被全局优化, 以弹性匹配动态变化的业务需求 3. 虚拟化的软件定义网络功能 包括空口控制 服务分析与聚合 基带采样生成 前传网控制平面等网络功能都利用虚拟机中运行的软件应用实现 网络功能可以相对容易地编程与更新, 使得网络灵活高效地运行, 特别地使得网络能耗得到节省 1.3 论文主要内容及结构安排综上所述, 云化成为新型无线接入网架构的显著特点, 虚拟基站成为云架构下蜂窝网络的突出标志和关键要素 虚拟基站的基带单元即基带处理池中的虚拟 6

20 第 1 章 绪论 前传网络交换设备 远端无线射频单元网络 虚拟基站 云平台 前传网络 多播与广播业务 3G vbs 控制 3G vbs 基站 LTE LTE 业务 vbs vbs 基站 虚拟机 虚拟机 多播与广播覆盖 物理呈现 3G vbs 3G vbs 空中接口 控制 3G vbs 3G vbs 服务分析 与汇聚 3G vbs 3G vbs 前传网 控制 虚拟机 虚拟机 虚拟机 高速率业务 业务覆盖层 II 低速率业务 前传网数据平面 业务覆盖层Ⅰ 软件定义 前传网络 控制信令 逻辑呈现 控制覆盖 图 1.5 软件定义超蜂窝网络架构 (SDHCA) 示意图 [20] 化软件基站 远端无线射频单元则可以由通用硬件外设搭建 相比于传统基站 虚拟基站的能耗组成显著不同 此外 虚拟基站的基带计算资源和射频无线资源 均可通过虚拟化技术实现按需灵活分配 而且同一虚拟基站池中的多个基站可以 相对容易地联合调度 实现资源的统计复用 提高网络的效率和灵活性 然而 这 也增加了资源分配的维度和优化设计的复杂度 在此背景下 虚拟基站的高能效资源分配成为一个很有意义的重要课题 我 们将考虑基站包括基带单元和远端无线射频单元在内的总体能耗 分配的资源既 有基带的计算资源 又有射频的带宽 发射功率等无线资源 要服务的业务有着 不同的实时性要求 分布具有时空不均匀性 面对这一研究课题 我们的总体思 路是首先给出其能耗模型 然后研究虚拟基站的资源分配机制 最后给出虚拟基 站的软件无线电平台实现 下面将介绍本文的结构安排 第 2 章对虚拟基站的高能效资源分配进行理论分析 针对虚拟基站的能耗建 模 我们提出了一个新的虚拟基站能耗模型 它能够描述虚拟基站包括基带单元 与远端无线射频单元在内的整体能耗 特别地 能够刻画基带单元计算资源的动 态特性 这一模型可以直接应用于云架构下虚拟基站的能耗分析 还能应用于软 件定义超蜂窝网络架构的能耗分析 进一步 我们分析虚拟基站服务非实时业务 7

21 第 1 章绪论的场景, 考虑联合优化基带计算资源与射频无线资源, 最小化基站能耗与业务平均延时的系统总开销 理论分析得到了最优数据速率的解析表达式, 揭示了虚拟基站的能耗与业务延时不总是折中关系, 而是存在着同时降低基站能耗并减少业务延时的机会 进一步, 我们得到了一个高效的计算优化问题最优解的联合优化算法 这部分工作成果已经整理成论文, 并发表于 2014 年 IEEE 国际通信系统大会 (International Conference on Communication Systems) 第 3 章介绍云化超蜂窝网络演示平台的设计与实现 这一软硬件结合的演示平台利用了开源软件无线电工具与容器虚拟化技术 我们设计了虚拟基站演示平台的系统架构, 通过实现演示了容器内虚拟基站和虚拟核心网的概念 我们还设计并实现了软件定义超蜂窝网络架构下的空中接口分离机制 确定并选择最优业务基站的基站指派协议 以及基站休眠与唤醒协议 这部分内容也已经整理成论文, 并发表于 2013 年 ACM 数据通信特别兴趣小组国际大会软件无线电实现论坛研讨会 (ACM SIGCOMM Workshop on Software Radio Implemtation Forum, SRIF) 与 2015 年 IEEE 国际通信大会下一代绿色信息通信技术研讨会 (IEEE ICC Workshop on Next-Generation Green ICT) 第 4 章总结我们的工作, 并对未来研究方向进行展望 8

22 第 2 章虚拟基站的高能效资源分配 第 2 章 虚拟基站的高能效资源分配 2.1 引言文献中已有大量针对基站高能效资源分配问题的研究 对于传统基站,EARTH 能耗模型被广泛采用 [21,22], 然而虚拟基站能耗组成与传统基站大不相同 特别地, 虚拟基站的计算资源与无线资源同样可以动态分配, 将基带计算能耗视为固定值的传统基站能耗模型不再适用 对于云架构下的虚拟基站,CloudIQ [23] 研究了基站组的划分与多核处理器的实时调度,SDR Cloud [24] 则分析了 CPU 核数对呼叫建立延时与阻塞率的折中关系的影响 针对无线网络的虚拟化, 有研究给出了无线时频资源块的划分算法 [25] 可以看到, 这些研究仅仅考虑了计算资源的分配或者无线资源的分配, 缺乏联合考虑 此外, 在实际系统中, 基站资源分配的时间尺度需要考虑 SDR Cloud [24] 中, CPU 核数的分配是在会话建立阶段进行的, 大约为 10 ms 量级 不过, 在一个更稀疏的时间尺度 ( 例如每十分钟 ) 上对基站进行资源分配更为实际 这样资源分配算法既可以利用统计数据做离线操作, 也可以通过每个基站实时测量到的业务到达做在线操作 我们考虑的资源分配算法只需要基站一级的信息, 而不需要每个用户的信息, 这使得该算法更便于在实际系统中实现 我们将考虑的总体场景是一个集中式的基带处理池, 其中有多个虚拟基站负责多个小区的业务, 这意味着系统总能耗由多个基带单元与相应的远端无线射频单元的能耗构成 作为基站资源分配的一种特殊情况, 基站可以进入休眠模式以节省更多能量 针对这样一个复杂的场景, 我们的研究思路是从单小区扩展到多小区, 分别考虑实时 非实时业务, 研究中分别考虑基带资源与射频资源的影响, 并进行联合优化 针对非实时业务, 已有研究指出存在着能量与延时的折中关系 [26] 在考虑基站总能耗 基站休眠的情况下, 这一折中关系可能不再是单调的曲线 [21,22,27] 本章将给出适用于虚拟基站的计算资源感知的能耗模型, 并基于此分析虚拟基站服务非实时业务时的最优资源分配, 其中着重研究计算资源动态性的影响 我们还将比较传统基站与虚拟基站的能耗, 研究虚拟基站的节能潜力 本章主要贡献如下 : 1. 提出了一个计算资源感知的虚拟基站能耗模型, 能够刻画基带单元与远端无线射频单元的总体能耗, 反映基带计算资源和射频无线资源的动态特性 9

23 第 2 章虚拟基站的高能效资源分配 2. 以虚拟基站功耗与非实时业务平均延时的加权和为系统总开销, 推导了最小化系统总开销的最优数据传输速率的解析表达式, 给出了能量最优速率存在的条件, 观察到了存在同时降低能耗并减小业务延时的机会 3. 研究了计算资源动态性对最优资源分配问题的影响, 提出了一个高效的算法联合优化数据传输速率与 CPU 核数, 可以使得系统总开销最小 数值结果显示相比于 EARTH 模型下的传统基站, 采用上述联合优化算法的虚拟基站在典型场景下可以节省超过 60% 的能耗 2.2 能耗模型 传统能耗模型绿色蜂窝网络的研究中分析基站能耗时广泛采用了 EARTH 模型 [28] 在 EARTH 模型中, 基站总功率与射频的发射功率是简单的线性关系, 具体公式如下 : N TRX P 0 + p P out, 0 < P out P max P in = (2-1) N TRX P sleep, P out = 0 其中 P in 是基站的总功率,P out 是天线输入端测量到的每个天线的发射功率,N TRX 是基站的天线数 1,P 0 是基站在最小的非零负载时的功耗, p 是随负载变化的功耗的斜率,P sleep 则是基站在休眠状态的功耗 这一线性模型无法直接用于云架构下虚拟基站, 原因有如下两点 一方面, 多个基带单元共享一套云计算基础设施, 存在聚合增益, 平均每个基站的基带单元能耗应该降低 [3] 另一方面, 虚拟化技术还使得基站的基带计算资源可以动态分配, 基带能耗也会随之发生变化 特别地, 在休眠状态基带软件可以完全关闭从而基带能耗可以忽略不计 综上, 云架构下虚拟基站需要一个改进的能耗模型 文献 [29] 给出了一个修改的 EARTH 能耗模型, 用于 C-RAN 基站 : P coeff P 0 + p P out, 0 < P out P max P in = (2-2) P coeff P sleep, P out = 0 其中 P coeff 反映基带单元集中化带来的能耗节省 : P coeff (M) = 1 + (M 1) tan θ, 0 θ π 4 (2-3) 1 EARTH 模型中天线数是给定的系统参数, 而非可以调节的变量 10

24 第 2 章虚拟基站的高能效资源分配这里 M 为活跃的发射天线数,θ 度量集中化带来的能量节省, 对于特定实现是一个常数 θ = π 4 时即为原始的 EARTH 模型,θ = 0 则代表基带单元集中后不增加能耗的理想情况, 中间值可以反映特定的实际实现 这一模型的一个问题在于 P sleep 前面的 P coeff 没有意义 ( 基站休眠时 M = 0), 这里应该取 1 更大的问题在于它与 EARTH 模型一样, 不能反映基带能耗随着计算资源变化产生的改变 计算资源感知的能耗模型 基于对已有能耗模型的分析, 我们提出如下的计算资源感知的虚拟基站能耗 模型 首先, 借鉴 EARTH 能耗模型基于构成组件的分析方法, 分别计算基带单元 和远端无线射频单元的功耗, 将二者之和作为基站的总功耗 : P = P R + P B (2-4) 其中 P R 与 P B 分别为远端无线射频单元与基带单元的功耗 对于远端无线射频单元, 这里直接利用 EARTH 能耗建模时的中间结果 [28] : P R = P out η + P RF (2-5) 其中 η 代表功率放大器 (Power Amplifier, PA) 的效率,P RF 代表射频电路的功耗 其中 对于基带单元, 可以用下面的公式计算基带能耗 : P B = N c (P Bm + PB ρ c s β ) (2-6) PB = (P BM P Bm )/s β 0, (2-7) N c 为活跃的 CPU 核数,P Bm 与 P BM 分别为每个 CPU 核的最小与最大功耗,ρ c 代 表基带单元软件进程的 CPU 利用率 ( 通常用百分比表示 ),s 代表 CPU 速度 ( 或 称 CPU 频率, 单位为 Hz),s 0 是基准 CPU 速度,β 为能耗与速度关系的幂次 在这一模型中, 基带单元能耗与 CPU 核数 CPU 利用率分别是线性关系 [30,31] 进一步,CPU 速度可以动态调整, 基带单元能耗的动态部分与 CPU 速度是多项式 关系 [32] 进一步考虑动态利用的计算资源与利用该资源的无线通信软件任务的关系 CPU 利用率可以用下式具体表出 : ρ c = f (r) sn c = c 0 + κr sn c (2-8) 11

25 第 2 章虚拟基站的高能效资源分配其中 f (r) 为单位时间内实际执行的指令数,sN c 为单位时间内 N c 个 CPU 核可以支持的最大指令数 我们假定 f (r) 与射频的数据传输速率 r 存在线性关系,c 0 和 κ 是相应参数 这一假定基于 CloudIQ [23] 中对软件基站的性能评测结果 这一评测显示 CPU 处理 LTE 子帧时间与所用的调制编码等级 (MCS) 物理资源块 (PRB) 数目为线性关系 由于固定 CPU 速度条件下处理时间与指令数成正比, 射频的传输速率与 MCS PRB 数成正比, 因此我们推论单位时间内的指令数与所需的数据速率存在线性关系 将 (2-8) 式代入 (2-6) 式可得 P B = N c P Bm + PB c 0 s β 1 + PB κrs β 1 (2-9) 可以看出基站单元功耗与数据传输速率也是线性关系 综上所述, 完整的计算资源感知的虚拟基站能耗模型如下所示 : P B + P R, 0 < P out P max P = P sleep, P out = 0 (2-10) 应用示例上述模型可以直接应用于 C-RAN 基站和 CONCERT 虚拟基站的能耗分析, 还可以应用到 SDHCA 在这种空中接口分离架构下, 控制基站与业务基站的具体参数取值不同 表 2.1 给出了具体参数选取的一个示例, 其中我们假定业务基站的休眠能耗大约为射频电路工作模式下的能耗的一半 表 2.1 超蜂窝中控制基站与业务基站的能耗模型参数 基站类型 P max [W] η[%] P RF [W] P sleep [W] 控制基站 业务基站 系统模型考虑一个服务器上的一个虚拟基站, 服务器有 N c 个活跃 CPU 核,CPU 速度为 s 我们把系统建模为一个 M/G/1 处理器共享 (Processor Sharing, PS) 队列 : 基站端会话级的业务到达率为 λ, 每个会话的文件大小平均为 L 当队列中有顾客时, 射频传输速度为 r bps, 无顾客时则为零 因此队列的服务者利用率 ( 或称业务负载 ) 为 ρ = λl/r 由排队论可知, 在泊松 (Poisson) 到达的前提下, 处理器共 12

26 第 2 章虚拟基站的高能效资源分配 享队列的稳态队长分布为简单的几何分布 [33,34] 队长分布只取决于服务需求的均 值, 而与服务需求具体分布无关 1 平均队列长度由下式给出 : E{n} = ρ 1 ρ = λl r λl 利用 Little 公式, 可知平均延时为 E{D} = E{n}/λ (2-11) 考虑一个完整的基站活跃休眠周期, 用 T a 代表忙时时长,T s 代表闲时时长, T c = T a + T s 则为一个周期的总时长 进一步考虑基站状态转换的开销, 假定每次 状态转换都会消耗能量 E sw 由此一个周期内基站的平均能耗可以表达为 : E{P} = p active (P B + P R ) + p sleep P sleep + 2E sw E{T c } (2-12) 其中 p active = ρ 与 p sleep = 1 ρ 分别是一个完整周期中忙时与闲时所占的比例 至于小区的射频覆盖, 我们采用标准的 3GPP 传播模型 [35] 小区半径记为 R 这里只考虑大尺度的路径损耗 L(d), 忽略阴影衰落 于是下行链路的信干噪比 (SINR) 为 : SINR(d) = gp out = P out L(d)FN 0 W (2-13) 其中 L(d) 为路径损耗,F 为用户终端 (UE) 的噪声系数,N 0 为噪声谱密度,W 为 系统带宽 为了便于进行理论分析, 我们假定所有用户均位于小区边缘, 所以信 道增益 g 对于每个用户都相同 因此基站侧的和速率可以写作 : 最优化问题如下 : r = W log 2 (1 + gp out ) (2-14) min r,n c z = E{P} + αe{n} (2-15) 优化目标是最小化系统总开销, 它包括平均功耗与平均队长两个部分,α 是用来 平衡两部分的因数 决策变量是数据速率 r 和 CPU 核数 N c, 其中数据速率 r 根据 (2-14) 式可知与 P out 一一对应 2.4 最优速率分析 z 我们首先固定 N c, 寻找最优速率 令 r = 0, 可知最优速率满足 : Ω αgη ( r ) 2 e r + gηp s 1 λl e = r ln 2 W 1 (2-16) 1 然而顾客在系统中的滞留时间 (sojourn time) 的分布与服务需求的具体分布有关 [34] 13

27 第 2 章虚拟基站的高能效资源分配 其中 P s = P o P sleep 2λE sw, (2-17) P o = N c P Bm + PB c 0 s β 1 + P RF, (2-18) Ω( ) 为 Lambert W 函数的主分支, 如图 2.1 中带圈红线所示, 它是 y = xe x, x [ 1, + ) 的反函数 [36] 3 2 y=xe x y=ω(x) y=x y x 图 2.1 Lambert W 函数主分支与 y = xe x, x [ 1, + ) 函数 如下定理给出当数据速率 r 变化时平均功耗与平均延时之间的单调性关系以 及能量最优速率的解析表达式 : 定理 2.1: 平均功耗与平均延时的关系有如下性质 : 1. 当下列条件满足时, 存在唯一的能量最优速率 r e: λ < P o P sleep, (2-19) 2E sw L < W [ ( ) ] gηps 1 Ω + 1 (2-20) λ ln 2 e 14

28 第 2 章虚拟基站的高能效资源分配 相应的能量最优速率由下式给出 : re = W [ ( ) gηps 1 Ω ln 2 e ] + 1. (2-21) 2. 当上述条件不满足时, 平均功耗 E{P} 会随着平均延时的增大而单调下降 3. 在以上两种情形下, 当平均延时趋于无穷大时, 平均功耗将趋于 P o + κ PB s β 1 λl + 2 λl W 1 gη 证明求导可得 : E{P} r = λle [ ( ) e r ln 2 r ln 2 gηr 2 W 1 W gηp ] s e (2-22) 注意到 xe x 1 e, x R, 其中等号仅当 x = 1 时成立 而 (2-22) 式中数据速率 r > 0 所以总有 e ( r ln 2 W 1 r ln 2 W 1) > 1 e 当 P s 0, 即 λ P o P sleep 2E sw 时, 我们有 E{P} r 所以平均功耗 E{P} 会随着平均延时的增大而单调下降 E{P} > 0 又因为, E{n} r 当 P s > 0, 即 (2-19) 式成立时, 令 r = 0, 可得 : ( ) e r ln 2 r ln 2 W 1 W 1 = gηp s 1 e < 0, E{D} r < 0, (2-23) 等式左边当 r 趋于零时趋于 1 e, 随 r 增大而单调递增趋于 +, 等式右边为一个 大于 1 e 的常数 因此存在唯一的 r 使等式成立 r 的取值为 : r e = W [ ( ) ] gηps 1 Ω + 1. (2-24) ln 2 e 注意到要使排队系统稳定, 还需要 ρ = λl r 时, 即 (2-20) 式成立时, 我们有在 r (λl, r e ) 区间上 减, 在 r (r e, + ) 区间上 E{P} r < 1, 即 r > λl 所以, 当 r e > λl E{P} r < 0, 平均功率单调递 > 0, 平均功率单调递增 因而 r e = r e 为唯一的能 量最优速率 反之, 平均功率在 r (λl, + ) 区间上总是单调递增, 故平均功率随 平均延时的增大单调下降 定理第 3 点是因为当平均延时趋势无穷大时,r λl,ρ 1, 因此 P B N c P Bm + PB c 0 s β 1 + PB κs β 1 λl,p R 2 λl W 1 gη + P RF 根据 (2-12) 式可知, 平均功率 E{P} 趋于 P o + κ PB s β 1 λl + 2 λl W 1 gη 注释 2.1: 在能量最优速率存在的条件下, 能量与延时不总是折中关系 : 当 r > re 时, 能耗节省需要牺牲平均延时 ; 而当 r < re 时, 我们可以同时节省能耗并减小平均延时 值得一提的是, 这一定理中的性质与文献 [21,22] 在 EARTH 模型下的 15

29 第 2 章虚拟基站的高能效资源分配能量延时折中研究结果有着同样的数学结构 这体现为, 尽管虚拟基站的基带单元功耗存在随数据速率线性变化的部分, 虚拟基站的能量最优速率却不受这部分功耗的影响 其原因在于该部分功耗的贡献和业务负载影响下的 ( 与数据速率成反比的 ) 时间比例因子的作用恰好互相抵消 2.5 联合优化算法 进一步我们研究计算资源中 CPU 核数 N c 的影响 一方面, 如果固定 CPU 核 数, 它会设定这一核数所能支持的最大速率 : r M (N c ) = sn c c 0 κ (2-25) z 另一方面, 求导可得 N c = P Bm > 0, r N c > 0, 这意味着保持其他参数恒定时增大 CPU 核数会增大系统开销, 也会使得最优速率变大 基于此, 我们给出联合优化数据速率和 CPU 核数的算法 ( 算法 2.1) 该算法 递增地搜索 CPU 核数, 最初只考虑一个 CPU 核 当当前的 CPU 核数无法支持这 一核数下最优的数据速率时, 我们将当前 CPU 核数以及其所能支持的最大数据速 率作为最优解的一个候选 当找到某个 CPU 核数可以使该核数下最优数据速率达 到时, 则将这一 CPU 核数以及这一局部最优数据速率标记为最后一个候选 最终, 我们比较所有标记的 CPU 核数和数据速率下的系统开销, 其中使得系统总开销最 小的即为全局的最优解 本算法的高效性来源于利用该算法, 无需穷尽所有可能 的 CPU 核数进行比较, 当有局部最优速率达到时, 便无需搜索更多的 CPU 核数 其原因在于系统总开销和局部最优速率随 CPU 核数变化的单调性保证了系统总开 销在更多的 CPU 核数下只会更大 因此, 本算法可以高效地联合优化数据速率与 CPU 核数, 得到问题的最优解 2.6 数值结果本节介绍我们得到的数值结果 仿真参数如表 2.2 表 2.3 所示 基带参数选取参考商用服务器的典型参数, 蜂窝小区相关参数取自 3GPP LTE R11 标准文档 [35] 对于 EARTH 模型下的传统基站, 我们设置参数为 :P 0 = 84 W, p = 2.8, P sleep = 56 W, N TRX = 1 图 2.2 显示了虚拟基站与 EARTH 模型下的传统基站相比的节能性能, 其中虚拟基站对基带计算资源和射频无线资源进行联合优化 可以看到当业务到达率 λ = 1 s 1 时, 平均延时 E{D} = 0.26 s 时传统基站的能耗最低, 此时虚拟基站有大约 64% 的能耗节省 这是由业务感知的计算资源分配带来的 : 虚拟基站基带单元 16

30 第 2 章虚拟基站的高能效资源分配 算法 2.1 寻找最优数据速率与 CPU 核数的联合优化算法 输入 : λ, L, N cm { 业务到达率 平均文件大小 系统总 CPU 核数 } 输出 : (r, N c) { 最优数据速率与 CPU 核数 } 1: 初始化 S { 最优解候选集合 } Φ { 空集 } 2: 初始化 N c 1 3: while N c N cm do 4: ˆr(N c ) argmin r z(r, N c ){ 求解 (2-16) 式 } 5: r M (N c ) sn c c 0 κ {(2-25) 式 } 6: if ˆr(N c ) r M (N c ) then 7: S S {(ˆr(N c ), N c )} 8: 提前跳出循环 9: else 10: S S {(r M (N c ), N c )} 11: N c N c : end if 13: end while 14: return (r, N c) = argmin (r,nc ) S z(r, N c) 表 2.2 基带单元参数 参数 取值 CPU 速度 (s) 2 GHz 基准 CPU 速度 (s 0 ) 2 GHz 单核最大功耗 (P BM ) 20 W 单核最小功耗 (P Bm ) 5 W CPU 速度幂次 (β) 2 单位时间内基础指令数 (c 0 ) 随速率变化的单位时间内指令数的斜率 (κ) 35 17

31 第 2 章虚拟基站的高能效资源分配 表 2.3 远端无线射频单元参数 参数 取值 载波频率 ( f ) 2 GHz 小区半径 (R) 0.5 km 终端噪声系数 9 db 系统带宽 (W) 20 MHz 射频电路功耗 (P RF ) 12.9 W 功放效率 (η) 31.1% 休眠功耗 (P sleep ) 6.45 W 状态转换开销 (E sw ) 5 J 的功耗会随着实际数据速率发生变化, 而非像 EARTH 模型下传统基站中基带功 耗那样保持恒定 图 2.2 虚拟基站 (VBS) 与传统基站 (CBS) 的功耗对比 (L = 2 MB) 图 2.3 显示了给定不同 CPU 核数下的能量延时关系 当 N c = 4 时, 存在唯一的最小化系统能耗的最优点 在最优点右侧区域, 存在同时减小平均延时与降低基站能耗的机会 此外, 图中还显示了 CPU 核数对能量延时折中关系的影响 较小 CPU 核数时的曲线的左端点指示最大可支持速率与相应的最小平均延时 可以看到, 固定平均延时时, 增大核数会使得平均功耗增大 此外,CPU 核数增大时, 18

32 第 2 章虚拟基站的高能效资源分配 能量最优的平均延时会变小, 能量最优速率会变大 这些结果与前文的理论分析 一致 图 2.3 不同 CPU 核数下的能量延时关系 (λ = 1 s 1, L = 2 MB) 当数据速率和 CPU 核数同时可以调整时, 不同到达率下平均功耗与平均延时的关系如图 2.4 所示 图中每条曲线上的不连续点标志着 CPU 核数的改变 联合优化 (r, Nc) 的算法也可以在该图中得以阐释 以红色带叉曲线为例, 我们需要比较最右侧的不连续点 (E{D} = 0.89 s) 和 N c = 2 时的局部最优点 (E{D} = 0.34 s) 下的系统开销, 以确定全局最优解 此外, 图 2.4 还显示了业务到达对能量延时折中关系的影响, 给定平均延时时更大的到达率或更大的平均文件大小都会增大平均功耗 平均延时趋于无穷时平均功耗的值取决于 λl, 相等的 λl 值 ( 如图中带 蓝线和带叉红线 ) 会有相等的渐近值 2.7 小结本章首先调研了现有的基站能耗模型, 指出了它们无法刻画虚拟基站中基带计算资源动态特性的问题 继而提出了一个新的计算资源感知的虚拟基站能耗模型, 它能反映云架构下虚拟基站的整体能耗, 特别地能反映基带计算资源的动态分配 这一模型可以直接应用于云架构下虚拟基站的能耗分析, 还可以应用于软件定义超蜂窝架构下的控制基站和业务基站 进一步, 我们研究了虚拟基站服务 19

33 第 2 章虚拟基站的高能效资源分配 图 2.4 不同到达率下的能量延时关系 非实时业务时的资源分配问题, 给出了最优数据速率的解析表达式, 证明了虚拟基站能量与延时关系的性质, 观察到了同时实现能量节省和延时减小的机会 我们还特别研究了计算资源对虚拟基站能量延时关系的影响, 进而提出了一个高效的算法来联合优化计算资源和无线资源 数值结果与理论分析相符, 并显示使用虚拟基站时相比于 EARTH 模型下的传统基站可以节省超过 60% 的能量 本章主要内容已经整理成会议论文, 发表在 2014 年国际通信系统大会 (IEEE International Conference on Communication Systems, ICCS) 上 20

34 第 3 章云化超蜂窝网络演示平台 第 3 章 云化超蜂窝网络演示平台 3.1 引言前面章节我们对虚拟基站的能耗进行了建模, 并通过理论分析给出了虚拟基站的高能效动态资源分配算法 本章将给出云化超蜂窝网络演示平台, 介绍虚拟基站及其协议在软件无线电平台上的实现 虚拟基站在实现过程中面临如下两大挑战 : 1. 实时性保证 为了给移动用户提供高效且可靠的服务, 现代的蜂窝网络标准有着严格的实时性要求, 例如 LTE 标准中, 物理层混合自动重传请求 (Hybrid Automatic Repeat Request, HARQ) 要求对收到的子帧在三个子帧 ( 即 3 ms) 后即给出反馈确认 已有的虚拟基站原型实现通常利用 基于内核的虚拟机 (Kernel-based Virtual Machine, KVM) 1 或 VMWare ESXi 2 等技术 它们都属于基于全虚拟化管理程序 (Hypervisor) 的虚拟化技术, 需要对整个软件栈的实时性优化, 以及利用硬件加速器, 方可满足 LTE 协议栈的实时性需求 [3] 这使得虚拟基站的实现成为一项困难的任务 2. 动态资源适配 第 1.2 节中已经提出, 通过动态地将基站资源与所需服务的业务进行适配, 可以获得显著的统计复用增益以及资源节省 这里的基站资源既包括基带的计算资源 ( 如 CPU 内存等), 也包括射频的无线资源 ( 如发射功率等 ) 但是, 文献中的虚拟基站实现没有实现动态的资源分配 [37] WiMAX 虚拟基站利用 KVM 进行虚拟化, 但是它关注的是测试平台的虚 [38] 拟化, 而且各个切片的资源阈值是固定的 IBM 虚拟基站池的实现并没有虚拟化技术支持, 不同基站的资源分配也是静态专享的 C-RAN 的虚拟 [3] 基站原型机也尚无动态资源分配实现 前文提及了云计算中的全虚拟化技术 事实上, 云计算中存在不同层次的虚拟化技术, 包括全虚拟化 半虚拟化 以及容器虚拟化 ( 又称操作系统级虚拟化 ) 等 [39] 全虚拟化具有高度的灵活性, 可以支持异构的客户机操作系统 例如, 全虚拟化技术可以让 Linux Windows 等多种操作系统运行在同一个宿主操作系统之上的虚拟机中 与全虚拟化不同的是, 容器虚拟化允许虚拟化的应用程序直接共享宿主操作系统的内核, 同时基于宿主内核的功能满足不同虚拟应用之间的隔

35 第 3 章云化超蜂窝网络演示平台离和资源管理 容器 (container) 是一种轻量级的虚拟机, 不依赖于客户操作系统的依赖 因此容器虚拟化减少了一个中间层, 虚拟化层开销较小, 虚拟应用体积更小运行性能更高, 使得虚拟应用可以更加快速的部署和高效的运行 [40] 本章将给出基于软件无线电工具和容器虚拟化技术搭建的云化超蜂窝网络演示平台 我们的主要贡献如下 : 1. 设计了云化超蜂窝网络演示平台的系统架构, 演示了容器中虚拟基站和虚拟核心网等概念 2. 设计并实现了云化超蜂窝架构下的空中接口分离机制, 验证了空中接口分离概念以及具体分离机制的可行性 3. 设计并实现了云化超蜂窝架构下选择最优业务基站的基站指派协议和动态开启关断业务基站的基站休眠协议, 验证了负载均衡基站指派的有效性, 评估了基站休眠的能耗节省性能 3.2 系统架构 虚拟基站 虚拟控制基站 虚拟业务基站 虚拟核心网 移动云端应用 容器管理程序 宿主系统内核 前传网络 远端无线射频单元 图 3.1 云化超蜂窝网络演示平台系统架构 22

36 第 3 章云化超蜂窝网络演示平台 图 3.1 展示了云化超蜂窝网络演示平台的系统架构, 它由如下层次组成 : 硬件层系统最底层是硬件层, 它由基于通用处理器的云计算服务器 远端无线射频单元 以及前传网络设备 ( 如光纤 交换机等 ) 组成 此外, 还可以使用通用接口 ( 如 PCI Express) 连接硬件加速器, 加速某些计算密集型任务 ( 如无线协议物理层所需的 FFT Turbo 译码等 ) 操作系统层在硬件层之上是操作系统层, 宿主系统位于该层 更具体地说, 这一层属于宿主系统的内核空间 宿主系统的内核 (kernel) 将硬件层的各种设备抽象成软件可用的资源, 并且提供上层虚拟化所需的原语与接口 虚拟化层操作系统层之上是虚拟化层 我们把该层软件称为容器管理程序 (Container Manager, CM), 它基于操作系统层内核提供的原语, 负责为上层应用提供虚拟环境即容器, 并管理容器的资源需求 具体地, 它可以创建 销毁并更新容器, 保证更新时的一致性, 还会为容器中运行的各种应用程序动态地分配资源, 实现资源的统计复用 应用层系统最上层为应用层, 由不同类型的应用程序构成, 其中包括虚拟基站, 它通过运行在容器中的软件应用实现各种基站功能 虚拟基站可以是已有蜂窝标准协议栈的实现, 也可以是包括虚拟控制基站和虚拟业务基站在内的新型基站 蜂窝系统的核心网元也可以以虚拟化的软件应用的形式存在, 即虚拟核心网 (Virtual Core Network, VCN) 此外, 移动云端应用也可以在这一层创建, 为移动终端用户提供比传统的互联网云更好的服务质量 3.3 协议设计 分离机制设计 表 3.1 网络功能分离方案 网络功能控制基站业务基站 同步系统信息广播寻呼低速率数据传输高速率数据传输 23

37 第 3 章云化超蜂窝网络演示平台 表 3.2 逻辑信道分离方案 逻辑信道 分离机制 GSM/GPRS UMTS LTE 控制基站业务基站 BCH BCCH BCCH CCCH CCCH, PCCH CCCH, PCCH PACCH DCCH DCCH TCH CTCH MTCH, MCCH PDTCH DTCH DTCH 我们联合考虑基站提供的网络功能和所需的逻辑信道, 给出如表 3.1 与表 3.2 所示的分离方案 网络功能可以分为五类 : 同步 系统信息广播 寻呼 低速率数据传输 以及高速率数据传输 在超蜂窝分离架构下, 控制基站负责同步 系统信息广播 寻呼和低速率数据传输四项功能, 而业务基站只负责高速率数据传输 在逻辑信道层面, 现有 3GPP 标准协议的逻辑信道可以分为五类, 尽管它们的具体名称在不同协议之间有所变化 [41] 广播控制信道 (Broadcast Control Channel, BCCH) 1 公共控制信道 (Common Control Channel, CCCH) 2 位于控制基站, 因为它们承载着同步 寻呼和系统信息广播等网络功能 公共业务信道 (Common Traffic Channel, CTCH) 3 也位于控制基站, 用于负责低速率数据传输 在业务基站侧, 专用业务信道 (Dedicated Traffic Channel, DTCH) 专用控制信道 (Dedicated Control Channel, DCCH) 负责提供高速率数据传输 在 GSM/GPRS 中, 我们使用分组数据业务信道 (Packet Data Traffic Channel, PDTCH) 与分组随路控制信道 (Packet Associated Control Channel, PACCH) 处理分组数据的传输和随路控制 与我们早期工作中提出的纯 GSM 标准的分离方案相比 [42], 这里的分离方案将低速率数据传输与高速率数据传输区分开来, 分离的更精细, 也使得网络可以通过无所不在的控制覆盖层提供基础的数据服务 与 3GPP LTE 的双连接分离机 [16] [43] 制相比, 本方案更为通用, 适用于多种标准 与已有的网络功能分离机制相比, 这里进一步给出了逻辑信道层面的分离方案 另外, 我们的方案中网络的同步功能只需控制基站提供, 而非控制基站和业务基站共同提供 这种方式依赖于控制基站与业务基站之间的精确同步, 其可行性已经通过平台实现 ( 参见第 3.4 节 ) 得到了验证 在 GSM/GPRS 标准中为广播信道 BCH 在 UMTS 和 LTE 标准中包括寻呼信道 PCCH 在 GSM/GPRS 中对应着业务信道 TCH, 在 LTE 中对应多播业务信道 MTCH 和多播控制信道 MCCH 24

38 第 3 章云化超蜂窝网络演示平台 基站指派协议在分离架构下, 控制基站拥有其控制覆盖下移动用户与业务基站的全局信息 利用这些信息, 控制基站可以对网络运行进行全局优化, 特别地, 控制基站可以指派一个或者多个最优的业务基站为移动用户的高速率数据业务请求服务 本节讨论基站指派的协议设计 一种设计思路是基于用户终端与业务基站之间的信道状态信息 (Channel State Information, CSI) 指派最优的业务基站 如果我们可以在控制基站侧收集全局的信道状态信息, 则可以在控制基站侧计算出用户与每个业务基站关联时可达的数据速率, 从而挑选可达速率最高的业务基站即可 然而要获取业务基站与用户终端之间的信道状态信息是很困难的, 尤其是当用户终端与业务基站之间没有先前连接时 这一问题的一个解决方案是在信道请求信息中嵌入导频符号 (pilot symbol), 然后要求各个业务基站监听用户的信道请求, 汇报测量的信道状态信息给控制基站 不过这种方案可能导致用户终端透明性的丧失, 同时大量的信道状态信息也会给回传链路 (backhaul link) 1 造成沉重的负担, 尤其是在多天线的场景下 在实际系统中更为可行的方案是基于业务负载 业务负载信息容易在各个业务基站获取, 并汇聚到控制基站 事实上, 业务负载也是一项衡量网络状态的重要指标 在重负载的网络中, 很有必要实现多个业务基站的负载均衡, 以提升射频资源利用率, 降低系统故障风险, 进而提升服务质量 在低负载场景下, 基站休眠更为可取, 其协议设计将在第 节中介绍 图 3.2 显示了负载均衡基站指派协议的信令交互流程 当业务基站正在活跃地服务移动用户时, 他们会通过回传链路向控制基站发送 业务基站负载信息消息 消息包头包含一个指示消息类型的标签 业务基站 ID 以及发送分组的时间戳 载荷 (payload) 域则与具体的空中接口协议相关, 例如在解耦了的 GSM/GPRS 空中接口下, 载荷域包含时隙的利用率 绝对无线频道编号 (Absolute Radio-Frequency Channel Number, ARFCN) 使用情况 数据传输速率等信息 控制基站接收到该消息后会在一段预设的时间内保留这些统计数据 当有新的高速率数据服务信道请求到来时, 控制基站计算每个业务基站的负载, 然后指派最轻负载的业务基站为新请求提供服务 这一指派通过如下信令交互实现 : 控制基站向指派的业务基站发送业务基站请求消息, 业务基站回复给控制基站一个携带有新分配信道相关信息的回应消息, 之后控制基站告知用户所分配的信道 在此之后, 业务基站与移动用户之间的数据传输链路被成功建立 1 例如 LTE 中基站 (enodeb) 之间的 X2 接口 25

39 第 3 章云化超蜂窝网络演示平台 业务基站 用户终端 控制基站 业务基站 业务基站负载信息 信道请求 选择负载低的业务基站 计算负载 业务基站请求 业务基站请求回应 信道信息告知 图 3.2 基站指派协议的信令交互 基站休眠协议在分离架构下, 控制基站提供 永远在线 的控制覆盖, 业务基站可以动态灵活地进入休眠状态, 而不会造成网络的覆盖空洞 因为控制基站拥有其覆盖内网络的全局信息, 所以可以自然地让控制基站决策哪些业务基站应该休眠, 从而提升全网能效 下面介绍基站休眠的协议设计 假定网络负载较轻, 只需要部分业务基站就可以满足所有移动用户的服务需求 在这种场景下, 控制基站周期性地执行一项基站休眠控制函数, 它返回最大化网络能效时业务基站的工作模式 ( 活跃或者休眠 ) 在每个周期内, 控制基站都会据此向要被关断的活跃业务基站发送基站休眠指令, 向要被唤醒的休眠业务基站发送基站唤醒指令 基站休眠和唤醒指令通过控制基站与业务基站之间的回传链路传输, 它们都需要在预设时间内回应以保证控制的可靠性 在软件定义超蜂窝架构下, 基站功能通过虚拟机中的软件来定义 通过模块化设计, 我们可以保证基站休眠控制函数的接口与内部具体实现算法解耦 这就意味着内部算法可以方便地更新, 而无需改动整个基站休眠协议 文献中已经提出了若干基站休眠算法 [44 47], 其中既有集中式算法, 也有分布式算法 事实上, 为传统无线接入网设计的集中式算法可以直接在软件定义超蜂窝架构下使用, 只 26

40 第 3 章云化超蜂窝网络演示平台需将集中式算法中控制器或控制单元在控制基站中实现 值得一提的是, 尽管集中式算法比较容易设计与实现, 且能保证最优性, 但集中式算法不一定适用于所有场景 例如, 当业务基站部署密度远大于控制基站时, 集中决策的复杂度可能变得过高而不切实际 在这种场景下, 可以考虑多中心式或完全分布式算法, 以获得更好地折中 3.4 平台组成我们基于通用处理器平台 开源的软件无线电平台和开源的容器虚拟化技术, 搭建了如图 3.3 所示的云化超蜂窝网络演示平台 表 3.3 列出了平台所用的主要软硬件 对照图 3.1 中的系统架构, 硬件层采用了 IBM x3650 服务器作为云计 1 算服务器,Ettus 公司的 USRP N210 作为远端无线射频单元, 以及一个千兆以太网交换机作为前传网络设备 多个 USRP N210 之间的同步通过 GPS 校准晶振 (GPS-Disciplined, oven-controlled Oscillator, GPSDO) 实现 操作系统层使用 Ubuntu LTS 操作系统, 它搭载了 generic 版本 Linux 内核 在虚拟化层, 我们基于 Docker 2 [48] 实现 CM Docker 通过 Linux 内核的 cgroups 接口实现动态的资源分配 应用层主要用到了 OpenBTS 3, 它是一个开源的 GSM/GPRS 软件基站应用 表 3.3 层次 演示平台软硬件组成 软件 / 硬件 应用层 OpenBTS, Asterisk 虚拟化层 Docker 操作系统层 Ubuntu LTS (Kernel generic) 硬件层 USRP N210, IBM x USRP USRP 全称为通用软件无线电外设 (Universal Software Radio Peripheral), 它与通用处理器主机相连, 负责数据采样在基带和射频之间的转换 USRP 由 Ettus 公司研发, 有多个产品系列 演示平台使用到的具体型号是 USRP N210, 它主要由母板和子板两部分组成 图 3.4 为母板照片, 其上搭载 Xilinx Spartan 3A-DSP

41 第 3 章云化超蜂窝网络演示平台 图 3.3 云化超蜂窝网络演示平台照片 现场可编程门阵列 (Field Programmable Gate Array, FPGA) 芯片 100 MS/s 双通道模数转换器 (ADC) 400 MS/s 双通道数模转换器 (DAC) 和千兆以太网口 通过搭载不同的子板, 最高可支持从 0 Hz 6 GHz 的频带范围 演示平台使用了 WBX 子板, 它可以支持从 50 MHz 2.2 GHz 的频带, 覆盖了当前绝大多数移动通信系统的频段, 具有 40 MHz 带宽处理能力 USRP 设备在通用处理器主机上运行, 需要在主机上安装设备驱动 UHD (USPR Hareware Driver) Ettus 公司将设备驱动代码 固件代码 以及 FPGA 设计代码开源提供 将驱动代码在主机上编译安装后, 即可让 USRP 设备被操作系统识别并使用 OpenBTS OpenBTS 是 Open Base Transceiver Station ( 开放基站收发机 ) 的缩写, 是一款开源的运行在类 Unix 操作系统 (Unix-like OS) 上的软件, 它实现了标准兼容的 GSM/GPRS 协议 与 USRP 设备以及软件电话交换 (Private Branch Exchange, PBX) 应用相配合, 充当基站和基站控制器 (Base Station Controller, BSC) 的角色, 可以 28

42 第 3 章云化超蜂窝网络演示平台 图 3.4 USRP N210 母板照片 为商用终端提供蜂窝网络接入和基本的数据服务 与商业基站相比,OpenBTS 基站的搭建更为简单和廉价, 已经被用于在偏远地区作为网络提供方案 OpenBTS 本身包含了一个 openbts 组件负责基站主体功能, 一个 sipauthserve 组件用于用户注册, 一个 smqueue 组件用于短消息服务 (Short Message Service, SMS) openbts 组件中还有一个相对独立的子组件 transceiver, 它负责基带数据在网络分组与 USRP 外设所需分组之间的转换 为实现语音通话,OpenBTS 需要利用一个外部 PBX 应用 这里我们使用了 Asterisk 1 作为 PBX openbts 组件实现了 GSM 三层协议 :GSML1FEC 实现了第一层即物理层, 具体功能包括调制解调 信道编解码等 ;GSML2LAPDm 实现了第二层即数据链路层, 具体功能有链路寻址 数据拆分 转发等 ;L3Frame 实现了第三层即网络层, 功能包括信号管理 呼叫管理等 下面以上行语音通话为例介绍一下这套软件的工作流程 : 1. USRP 硬件外设接收到移动用户发送的数据, 通过以太网或 USB 接口等将数据送给主机上的 transceiver 组件

43 第 3 章云化超蜂窝网络演示平台 2. transceiver 组件对接收的数据进行分类, 再通过 UDP 数据报 (datagram) 发送给 openbts 组件 3. openbts 组件从 transceiver 组件接收到 UDP 数据报, 进行三层协议处理, 然后交给 SIPinterface SIPinterface 将数据封装成 SIP 协议的 UDP 数据报, 送往 Asterisk 4. Asterisk 接收到 openbts 组件 SIPinterface 发送的 UDP 数据报, 根据 SIP 协议解析出消息内容, 并进行相应处理 3.5 平台功能 虚拟基站概念演示我们已经成功地在通用处理器平台上的 Docker 容器中运行了 OpenBTS 虚拟基站, 还能演示虚拟核心网的概念 在最初实现中, 包括 sipauthserve smqueue Asterisk 等与 OpenBTS 基站进程共享同一个容器 不过这些非基站进程本质上属于核心网 因此在后续实现中, 我们将它们从虚拟基站所在的容器中分离出来, 放到另一个容器中 在两种实现中, 演示系统都可以正常工作, 可以用商用手机终端接入该网络, 并互相进行语音通话以及收发短消息 我们的平台工作还揭示了实现过程中的主要挑战和需要解决的问题 这些问题的根源在于 CM 对容器内应用出于安全等方面考虑施加的限制和基站应用对特权操作和系统资源的需求的矛盾 我们发现要使现有的基站应用正常运行在容器中, 可能需要对基站应用本身代码进行改动 在演示平台中, 原始的 OpenBTS 代码放在容器中运行时, 会在 USB 设备自动发现时报错退出 1 这一自动发现为 USRP 系列设备的自动检测所需, 不过因为 USRP N210 设备通过以太网而非 USB 接口连接主机, 所以这部分功能并不必需 我们通过修改 OpenBTS 代码, 为它添加命令行参数用于指定 USRP N210 的 IP 地址, 并且修改设备检测代码直接使用 IP 地址, 成功地绕过了这个问题, 让 OpenBTS 基站应用成功地运行在了 Docker 容器当中 另外一个重要发现是, 容器中可能有一些重要参数无法设置, 从而使得容器内基站应用性能出现损失 在演示平台中,Docker 容器内无法设置若干 sysctl 参数 例如,smqueue 进程需要设置 fs.mqueue.msg_max 增大缓冲区大小,USRP N210s 则需要设置更大的网络读写内存缓冲区 (net.core.rmem_max 1 原始的 OpenBTS 应用可以在宿主系统上正常运行 不过它从设计上有一定局限性, 在一台主机上只能 运行一个基站实例 虚拟化技术可以解除这个限制, 这也是虚拟化的一个附加优势 30

44 第 3 章云化超蜂窝网络演示平台和 net.core.wmem_max) 然而这些参数无法在当前版本的 Docker 中设置, 即使启用了 Docker 的 特权 (privileged) 模式 在无法设置的限制下, 我们观察到 OpenBTS 组件在一个容器内时有较为严重的主机与 USRP 之间的通信丢包, 在分离的虚拟核心网模式下丢包更为严重 作为对比,OpenBTS 在主机系统上运行时很少发生丢包 实验测试统计发现, 当基站应用运行于容器中时, 短信收发成功率相比基站应用运行在主机系统上时降低了大约 10% 这个问题已经向 Docker 官方汇报, 将在未来版本中解决 它的解决将有助于容器虚拟化在实现虚拟基站时发挥其全部潜能 分离可行性验证我们在平台中实现了第 节设计的分离机制, 成功地演示了分离后的服务流程, 验证了分离的可行性 在测试中, 控制基站提供网络接入 语音通话服务 和短消息服务 (Short Message Service, SMS), 业务基站提供 GPRS 数据服务 具体说来, 当用户终端向控制基站发送信道请求后, 控制基站会解析信道请求类型 如果类型是承载 GPRS 数据业务的 PDTCH, 那么控制基站就会指派一个业务基站为用户服务 控制基站与业务基站之间的消息通过它们之间的以太网有线链接用 UDP 数据报传输 在此之后, 业务基站与用户终端之间建立起分组交换的数据传输 在分离架构下, 控制基站与业务基站之间的信令交互会引入额外的延时, 我们称之为分离的 延时开销 我们测量了演示平台的延时开销, 画出其累积分布曲线如图 3.5 所示 平台延时开销的平均值约为 0.36 ms, 标准差约为 0.1 ms, 这一开销相当小, 与 GSM/GPRS 标准中用户终端重传信道请求之前的等待时间相比可以忽略不计 此外, 从平台操作的用户体验角度来讲, 测试者感受不到明显的服务质量下降 因此, 演示平台从延时开销的角度也验证了第 节中分离机制的可行性 负载均衡验证第 节描述的负载均衡基站指派协议在平台上也得到了实现 实现中使用测量到的 PDTCH 信道上传输的数据量来计算每个业务基站的业务负载 因为平台中每个业务基站只有一个预设的频点, 所以业务基站负载信息消息包载荷中没有包含 ARFCN 使用情况 为验证负载均衡的效果, 我们在测试时首先只开启一个业务基站, 服务一个移动用户 然后激活另一台业务基站和另一部手机 此时, 第二个业务基站业务 31

45 第 3 章云化超蜂窝网络演示平台 图 3.5 延时开销累积分布曲线 CDF 开启时间 (s) 图 3.6 基站唤醒延时累积分布曲线 32

46 第 3 章云化超蜂窝网络演示平台 CDF 关断时间 (ms) 图 3.7 基站休眠延时累积分布曲线 负载为零 我们观察到控制基站指派了第二个业务基站来服务新移动用户的信道 请求, 之后两个业务基站的负载趋于相等 这一结果表明第 节中的基站指派 协议能够有效地实现多个业务基站的负载均衡 基站休眠性能评估我们在平台上还实现了第 节中的基站休眠协议 每个业务基站侧都实现了一个休眠与唤醒监听模块, 它接收控制基站发来的基站休眠或唤醒指令, 相应地杀掉或启动业务基站软件进程 USRP N210 设备的开关状态不受软件控制, 需要在测试中手动开启或关闭 基站休眠控制算法基于总负载阈值, 业务基站的休眠和唤醒都由控制基站基于两个业务基站的总负载大小进行决策 我们测量了基站唤醒和休眠操作时的延时, 将它们的累积分布曲线分别绘制在图 3.6 和图 3.7 中 关断时间从发送基站休眠指令到业务基站进程被杀掉的时间的平均值约为 52 ms 开启时间从发送基站唤醒指令到业务基站被初始化并与网络取得同步的时间平均值约为 8.4 s 开启时间比较漫长, 意味着现有平台无法通过唤醒休眠基站的方式服务低延时的业务 未来平台工作需要考虑如何有效降低开启时间 为评估基站休眠的节能性能, 我们采用组件分析的方法, 分别计算通用处理器平台 1 USRP 和交换机的功耗, 然后将它们相加作为平台的总功耗 表 基于商用台式电脑的功耗 33

47 第 3 章云化超蜂窝网络演示平台 表 3.4 休眠前后功耗对比 ( 单位 :W) 组件 无休眠 半休眠 全休眠 GPP USRP 交换机 合计 比较了在没有活跃用户请求的场景下不同休眠模式下的功耗 如果没有基站休眠, 所有基站都处于空闲状态, 总功耗为 W 如果只关闭 USRP 和软件基站 ( 半休眠 ), 总功耗为 W, 换算为 16% 的功耗节省 如果进一步将运行业务基站的通用处理器关掉, 总功耗可以降到 W, 对应约 60% 的功耗节省 这意味着基站休眠可以带来显著的能耗节省增益, 其中大部分能耗节省来源于基带单元的能耗节省 这也再次印证了联合优化基带计算资源和射频无线资源换取能效增益的必要性和有效性 3.6 小结本章介绍了云化超蜂窝网络演示平台的设计与实现, 设计了云化超蜂窝网络演示平台的系统架构, 并针对软件定义超蜂窝架构设计了空中接口分离机制 基站指派协议与基站休眠协议 我们将上述设计在平台上进行了实现, 演示了虚拟基站和虚拟核心网概念, 验证了分离机制的可行性, 证明了负载均衡基站指派的有效性, 并评估了基站休眠带来的能耗节省增益 本章主要工作已经整理成论文, 发表于 2013 年 ACM 数据通信特别兴趣小组国际大会软件无线电实现论坛研讨会 (ACM SIGCOMM Workshop on Software Radio Implementation Forum) [42] 2015 年 IEEE 国际通信大会下一代绿色信息通信技术研讨会 (IEEE ICC Workshop on Next Generation Green ICT) [49], 投稿到 2015 年 ACM 数据通信特别兴趣小组国际大会 (ACM SIGCOMM) [50] 34

48 第 4 章总结与展望 第 4 章 总结与展望 4.1 研究总结随着移动互联网业务的快速增长, 传统蜂窝网络架构难以满足业务对效率 灵活性等方面的需求 面临这些挑战, 云化蜂窝网络架构提出利用云计算中虚拟化技术改造现有移动通信系统, 有效提升网络的效率 灵活性和开放性 基于已有研究, 我们提出了软件定义超蜂窝架构, 它通过虚拟化的软件定义网络功能 多种层面的控制数据分离以及控制基站提供全局控制, 使网络能够动态 高能效地运行 在云架构下的蜂窝网络中, 虚拟基站的功能由基带单元池中虚拟化的软件应用实现, 通过前传网络连接到远端无线射频单元 与传统基站不同, 虚拟基站的基带计算资源可以动态调配, 这一方面使得基带单元能耗随之变化, 基站能耗无法用传统模型准确刻画, 另一方面增加了资源分配的维度和复杂度 在此背景下, 联合考虑基带计算资源和射频无线资源对虚拟基站进行高能效资源分配, 成为一个重要的研究课题 本文针对这一问题, 首先对虚拟基站能耗进行建模, 然后基于此能耗模型对资源分配问题利用最优化 排队论等理论工具进行理论分析, 进一步利用开源软件无线电工具和虚拟化技术设计实现云化超蜂窝网络演示平台 本文主要成果总结如下 : 1. 针对虚拟基站的高能效资源分配, 首先提出了一个计算资源感知的虚拟基站能耗模型 然后基于此模型, 研究了虚拟基站服务非实时业务的场景 将系统建模为排队系统, 考虑基站动态休眠和唤醒, 以虚拟基站平均能耗与业务平均延时的加权和为系统总开销, 归结出一个联合优化基带 CPU 核数和射频数据传输速率, 最小化系统总开销的最优化问题 我们给出了最优射频数据传输速率的解析表达式, 并证明了虚拟基站平均能耗与业务平均延时不总是折中关系, 存在同时降低基站能耗且减小业务延时的机会 进一步, 我们分析了计算资源动态性对系统的影响, 提出了一个高效的联合优化算法得到问题最优解 数值结果显示, 通过联合优化基带计算资源和射频无线资源, 虚拟基站相比传统基站可以节省超过 60% 的能耗 2. 针对云化超蜂窝网络演示平台, 设计并实现了演示平台的系统架构和主要协议 我们基于容器虚拟化技术, 设计了在容器中运行虚拟基站的平台系统架构 进一步考虑超蜂窝中解耦的空中接口, 设计了联合考虑网络功能和逻辑 35

49 第 4 章总结与展望信道两层的分离机制, 并给出了基站指派和基站休眠协议, 将基站作为可以动态分配的资源, 实现网络的高能效运行 基于软件无线电工具, 我们搭建了云化超蜂窝网络演示平台, 它能演示虚拟基站和虚拟核心网的概念, 验证空中接口分离机制的可行性, 证明负载均衡基站指派的有效性, 并显示基站休眠可以带来显著的能耗节省增益 4.2 未来工作展望 在本文工作的基础上, 我们认为很有价值开展以下研究 : 1. 混合业务下异构资源分配 在现实网络中, 多种业务混合存在, 其中既包括能够容忍一定延时的非实时业务, 也包括需要网络实时进行服务的实时业务 除了传统业务外, 移动互联网时代许多新兴业务也不断涌现 为适应混合业务的多样化需求, 可以预见网络资源, 包括基站也会异构化部署和分配 如何利用异构的网络资源, 在满足混合业务需求的前提下, 最小化网络能耗或最大化网络能效, 是一个非常具有现实意义的问题, 可能需要联合使用最优化 排队论 随机几何等理论工具进行分析研究 2. 网络基础设施共享 通过在虚拟化平台上用软件定义网络功能, 物理上的网络基础设施可以更加容易地在多个运营商 ( 包括虚拟运营商 ) 之间共享, 避免基础设施的浪费, 提高资源的利用率 然而要最终实现网络基础设施共享, 需要在技术层面上实现整个蜂窝网络的抽象, 将网络作为一个实体进行动态操作 同时, 还需要借助于博弈论等工具研究新型商业模式和定价机制 3. 软件定义前传网络 软件定义前传网络的概念已经被提出, 通过建立灵活的基带单元与远端无线射频单元之间的映射以及灵活的功能划分, 网络的效率和灵活性可以进一步得到提升 然而, 其实现面临着实时性 同步等方面的挑战 如何利用软件定义网络技术将软件定义前传网络变为现实, 是一个有待解决的问题 36

50 参考文献 参考文献 [1] IMT-2020 (5G) 推进组. 5G 愿景与需求, [2] Cisco and/or its affiliates. Cisco visual networking index: Global mobile data traffic forecast update, White paper, Cisco, [3] 中国移动通信研究院. C-RAN: 无线接入网绿色演进, [4] Niu Z. TANGO: Traffic-aware network planning and green operation. IEEE Wireless Commun. Mag., 2011, 18(5): [5] Dahrouj H, Yu W. Coordinated beamforming for the multicell multi-antenna wireless system. IEEE Trans. Wireless Commun., 2010, 9(5): [6] Lin Y, Shao L, Zhu Z, et al. Wireless network cloud: Architecture and system requirements. IBM Journal of Research and Development, 2010, 54(1):4:1 4:12. [7] 牛志升, 周盛, 周世东, 等. 能效与资源优化的超蜂窝移动通信系统新架构及其技术挑战. 中国科学 : 信息科学, 2012, 42(10): [8] Ishii H, Kishiyama Y, Takahashi H. A novel architecture for LTE-B: C-plane/U-plane split and Phantom Cell concept. IEEE GLOBECOM Int. Workshop Emerging Technologies for LTE-Advanced and Beyond-4G, [9] Gudipati A, Perry D, Li L E, et al. SoftRAN: Software defined radio access network. Proc. 2nd ACM SIGCOMM Workshop Hot Topics in Software Defined Networking (HotSDN 13), Hong Kong, China, [10] Ali-Ahmad H, Cicconetti C, Oliva A, et al. CROWD: An SDN approach for DenseNets. European Workshop on Software Defined Networking (EWSDN 13), [11] Yang M, Li Y, Jin D, et al. OpenRAN: A software-defined RAN architecture via virtualization. Proc. ACM SIGCOMM 2013 Conf., Hong Kong, China, [12] Liu J, Zhao T, Zhou S, et al. CONCERT: A cloud-based architecture for next-generation cellular systems. IEEE Wireless Commun. Mag., 2014, 21(6): [13] Arslan M Y, Sundaresan K, Rangarajan S. Software-defined networking in cellular radio access networks: Potential and challenges. IEEE Commun. Mag., 2015, 53(1): [14] Zaidi Z, Friderikos V, Imran M. Future RAN architecture: SD-RAN through a general-purpose processing platform. IEEE Veh. Technol. Mag., 2015, 10(1): [15] Zhou S, Zhao M, Xu X, et al. Distributed wireless communication system: A new architecture for future public wireless access. IEEE Commun. Mag., 2003, 41(3): [16] 3GPP TR : Study on small cell enhancements for E-UTRA and E-UTRAN; higher layer aspects, [17] Bansal M, Mehlman J, Katti S, et al. OpenRadio: a programmable wireless dataplane. Proc. 1st Workshop Hot Topics in Software Defined Networks, [18] Li L E, Mao Z M, Rexford J. Toward software-defined cellular networks. Proc. European Workshop on Software Defined Networking,

51 参考文献 [19] Liu J, Zhou S, Gong J, et al. Graph-based framework for flexible baseband function splitting and placement in C-RAN. IEEE ICC 2015, London, United Kingdom, [20] Zhou S, Zhao T, Niu Z, et al. Software-defined hyper-cellular architecture for green and elastic wireless access. Submitted to IEEE Communications Magazine. [21] Wu J, Wu Y, Zhou S, et al. Traffic-aware power adaptation and base station sleep control for energy-delay tradeoffs in green cellular networks IEEE Global Communications Conf. (GLOBECOM), [22] Wu J, Zhou S, Niu Z. Traffic-aware base station sleeping control and power matching for energy-delay tradeoffs in green cellular networks. IEEE Trans. Wireless Commun., 2013, 12(8): [23] Bhaumik S, Chandrabose S P, Jataprolu M K, et al. CloudIQ: A framework for processing base stations in a data center. Proc. 18th Annu. Int. Conf. Mobile Computing and Networking (Mobicom 12), Istanbul, Turkey, [24] Gomez-Miguelez I, Marojevic V, Gelonch A. Deployment and management of SDR cloud computing resources: problem definition and fundamental limits. EURASIP Journal on Wireless Communications and Networking, 2013, 2013(59):59:1 59:11. [25] Yang M, Li Y, Zeng L, et al. Karnaugh-map like online embedding algorithm of wireless virtualization. 15th Int. Symp. Wireless Personal Multimedia Communications (WPMC), [26] Berry R A, Gallager R G. Communication over fading channels with delay constraints. IEEE Trans. Inf. Theory, 2002, 48(5): [27] Chen Y, Zhang S, Xu S, et al. Fundamental trade-offs on green wireless networks. IEEE Commun. Mag., 2011, 49(6): [28] Auer G, Giannini V, Desset C, et al. How much energy is needed to run a wireless network? IEEE Wireless Commun. Mag., 2011, 18(5): [29] Gupta R, Calvanese Strinati E, Kténas D. Energy efficient joint DTX and MIMO in cloud radio access networks IEEE 1st Int. Conf. Cloud Networking (CLOUDNET), [30] Blackburn M. Five ways to reduce data center server power consumption. White paper, The Green Grid Association, [31] Vasan A, Sivasubramaniam A, Shimpi V, et al. Worth their watts? - An empirical study of datacenter servers. Proc. IEEE 16th Int. Symp. High Performance Computer Architecture (HPCA), [32] Son K, Krishnamachari B. SpeedBalance: Speed-scaling-aware optimal load balancing for green cellular networks. Proc. IEEE INFOCOM, [33] Kelly F P. Reversibility and Stochastic Networks. Cambridge University Press, [34] Borst S, Núñez-Queija R, Zwart B. Sojourn time asymptotics in processor-sharing queues. Queueing Systems, 2006, 53(1 2): [35] 3GPP TR : Radio frequency (RF) system scenarios, [36] Corless R M, Gonnet G H, Hare D E G, et al. On the Lambert W function. Advances in Computational Mathematics, 1996, 5(1):

52 参考文献 [37] Bhanage G, Seskar I, Mahindra R, et al. Virtual basestation: Architecture for an open shared WiMAX framework. Proc. 2nd ACM SIGCOMM Workshop Virtualized Infrastructure Systems and Architectures, [38] Zhu Z, Gupta P, Wang Q, et al. Virtual base station pool: Towards a wireless network cloud for radio access networks. Proc. 8th ACM Int. Conf. Computing Frontiers, Ischia, Italy, :1 34:10. [39] Sahoo J, Mohapatra S, Lath R. Virtualization: A survey on concepts, taxonomy and associated security issues. Second International Conference on Computer and Network Technology (ICCNT), [40] Soltesz S, Pötzl H, Fiuczynski M E, et al. Container-based operating system virtualization: A scalable, high-performance alternative to hypervisors. Proc. 2nd ACM SIGOPS/EuroSys European Conf. Computer Systems 2007 (EuroSys 07), Lisbon, Portugal, [41] Sauter M. From GSM to LTE: An Introduction to Mobile Networks and Mobile Broadband. John Wiley & Sons, [42] Zhao T, Yang P, Pan H, et al. Software defined radio implementation of signaling splitting in hyper-cellular network. Proc. 2nd Workshop Software Radio Implementation Forum, in conjunction with ACM SIGCOMM 2013, Hong Kong, China, [43] Xu X, He G, Zhang S, et al. On functionality separation for green mobile networks: Concept study over LTE. IEEE Commun. Mag., 2013, 51(5): [44] Zhou S, Gong J, Yang Z, et al. Green mobile access network with dynamic base station energy saving. Proc. ACM MobiCom 09, Beijing, China, (Poster Paper). [45] Guo X, Zhou S, Niu Z, et al. Optimal wake-up mechanism for single base station with sleep mode. Proc th Int. Teletraffic Congr. (ITC), [46] Soh Y S, Quek T Q, Kountouris M, et al. Energy efficient heterogeneous cellular networks. IEEE J. Sel. Areas Commun., 2013, 31(5): [47] Zhang S, Wu J, Gong J, et al. Energy-optimal probabilistic base station sleeping under a separation network architecture IEEE Global Communications Conf. (GLOBECOM), [48] Menage P. CGROUPS[EB/OL]. [ ]. cgroups/cgroups.txt. [49] Zhao T, Wang L, Zheng X, et al. HyCell: Enabling GREEN base station operations in softwaredefined radio access networks. IEEE ICC 2015 Workshop Next Generation Green ICT, London, United Kingdom, [50] Zhao T, Wang W, Zhou S, et al. νbs: Building virtual base stations in containers. Submitted to ACM SIGCOMM (Poster Paper). 39

53 致 谢 致 谢 衷心感谢导师牛志升教授对本人的悉心指导和言传身教 成为牛老师的学生是我一生的财富 牛老师授课时的循循善诱 指导研究时的宽严结合 对待工作生活时的豁达态度, 都使我受益匪浅 特别地, 牛老师在指导选题时注重大方向, 鼓励自由探索, 激发了我广泛的科研兴趣 ; 在指导论文写作时强调科学贡献, 对细节又一丝不苟, 敦促我养成扎实严谨的学术作风 此外, 还十分感谢牛老师在留学申请时的大力推荐, 以及在生活中点滴的关照 感谢 Niulab 实验室全体老师和同学为科研营造的良好氛围 我很荣幸和各位天资聪颖又努力勤奋的同学成为兄弟姐妹 在此, 特别感谢周盛老师一直以来的指点 启发和帮助 感谢吴健师姐以及刘景初 邓瑞琛 潘慧敏 杨朋昆 王刘猛 郑熙等同学和我一起工作 感谢龚杰博士, 张旭 王晓磊 宝雅男 胡聪世等师兄, 张珊 郭雪莹师姐在修改论文时的意见和建议 感谢赵赟 王昱阳 汪广超 王文鑫等在论文写作中的帮助 感谢许萍老师和张赫然老师在工作和生活中的关照 此外, 还特别感谢宝雅男夏天买的雪糕, 潘慧敏在雾霾时买的口罩, 和女生们准备的男生节礼物 在我硕士工作中,Intel 的徐树公博士和日立的郑萌 姜淼 耿露等给予了我许多指导和帮助, 在此表示感谢 感谢我的女朋友刘畅在我写论文时的鼓励, 对论文的修改建议, 以及生活中的关爱 感谢 ThuThesis, 它伴随着我成长, 让我的论文写作轻松了许多 感谢我的父母和家人始终的支持, 感谢朋友们的陪伴, 你们是我坚实的后盾 40

54 声 明 声 明 本人郑重声明 : 所呈交的学位论文, 是本人在导师指导下, 独立进行研究工作所取得的成果 尽我所知, 除文中已经注明引用的内容外, 本学位论文的研究成果不包含任何他人享有著作权的内容 对本论文所涉及的研究工作做出贡献的其他个人和集体, 均已在文中以明确方式标明 签名 : 日期 : 41

55 个人简历 在学期间发表的学术论文与研究成果 个人简历 在学期间发表的学术论文与研究成果 个人简历 1990 年 9 月 5 日出生于河南省禹州市 2008 年 8 月考入清华大学电子工程系电子信息科学与技术专业,2012 年 7 月本科毕业并获得工学学士学位 2012 年 8 月免试进入清华大学电子工程系攻读工学硕士学位至今 发表的学术论文 [1] Zhao T, Yang P, Pan H, et al. Software defined radio implementation of signaling splitting in hyper-cellular network. Proc. 2nd Workshop Software Radio Implementation Forum, in conjunction with ACM SIGCOMM 2013, Hong Kong, China, (EI 收录, 检索号 : ) [2] Zhao T, Wu J, Zhou S, et al. Energy-delay tradeoffs of virtual base stations with a computational-resource-aware energy consumption model. Proc. 14th IEEE Int. Conf. Communication Systems (IEEE ICCS 14), Macau, China, (EI 收录, 检索号 : ) [3] Zhao T, Wang L, Zheng X, et al. HyCell: Enabling GREEN base station operations in software-defined radio access networks. ( 已被 IEEE ICC 2015 Workshop on Next Generation Green ICT 录用. EI 源刊.) [4] Liu J, Zhao T, Zhou S, et al. CONCERT: A cloud-based architecture for nextgeneration cellular systems. IEEE Wireless Commun. Mag., 2014, 21(6): (SCI 收录, 检索号 :AY1XH.) 42