中国科学技术大学硕士学位论文摘要摘要当今围绕着 JVM 的研究和开发日益增多在各种 JVM 发展的同时, 也带来另一种需求如何提供运行在 JVM 上的各种软件, 如何将现有系

Size: px

Start display at page:

Download "中国科学技术大学硕士学位论文摘要摘要当今围绕着 JVM 的研究和开发日益增多在各种 JVM 发展的同时, 也带来另一种需求如何提供运行在 JVM 上的各种软件, 如何将现有系"

萼隗
7 years ago
Views:

1 中国科学技术大学硕士学位论文 Perl 到 JVM 的移植作者 : 徐丽专业 : 计算机软件与理论导师 : 陈意云张昱完成日期 : 二零零四年五月中国科学技术大学计算机科学技术系二零零四年五月

2 中国科学技术大学硕士学位论文摘要摘要当今围绕着 JVM 的研究和开发日益增多在各种 JVM 发展的同时, 也带来另一种需求如何提供运行在 JVM 上的各种软件, 如何将现有系统移植到 JVM 上运行? 单纯地利用 Java 编程, 一方面会限制开发人员对编程语言的选择, 另一方面会使得大量现有系统不得不用 Java 重写以适应在 JVM 上的运行的需求为此许多研究开发组织着手进行非 Java 语言到 JVM 移植的工作, 并提供了许多可用的工具在众多非 Java 语言中,Perl 语言是由 Larry Wall 设计的一种实用的解释执行的脚本语言它支持许多高级语言的特征, 如垃圾收集强大的正则式处理面向对象程序设计等等由于 Perl 中间表示 (IR) 中的操作码种类众多, 内建的函数和数据类型多而繁杂, 因此目前尚没有可用的在 JVM 上运行的 perl 版本我们采用的移植方法是用 Java 重写一个 Perl 解释器, 它经编译后可以在 JVM 上运行, 提供对 Perl 程序的即时编译和解释执行全文共分六章, 第一章介绍了研究背景, 非 Java 语言到 JVM 移植常采用的方法, 以及 Perl 语言的移植现状 ; 第二章详细介绍了 Perl 解释器的内部工作机制 ; 第三章给出了 Perl 到 JVM 移植的总体方案 ; 第四章介绍了 Perl 前端的 Java 实现, 包括词法分析器的设计, 并讨论了用 CUP 实现 Perl 语法分析器时出现的问题以及解决方法 ; 第五章主要介绍了 Perl 后端的实现, 包括数据类型中间表示栈,PP Code IO 和线程的实现 ; 第六章总结了论文的主要内容, 讨论今后可以进一步开展的研究内容关键字 :Perl,Java 虚拟机, 移植 I

工具在众多非 Java 语言中,Perl 语言是由 Larry Wall 设计的一种实用的解释执行的脚本语言它支持许多高级语言的特征, 如垃圾收集强大的正则式处理面向对象程序设计等等由于 Perl 中间表示 (IR) 中的操作码种类众多, 内建的

3 中国科学技术大学硕士学位论文摘要 Abstract Today many researchers are studying the Java Virtual Machine(JVM).With the development of all kinds of hardware and software JVM, there emerges another demand -how to provide the softwares which can run on JVM; how to port existing systems to JVM? If programming in Java simply, on the one hand, it will limit the developers to choose the programming language, on the other hand, many existing systems have to been rewritten in Java to meet the requirement of running on JVM. Thus, some researchers and organizations have engaged in the work of porting non-java language to JVM and provided a few useful tools. Perl is a script language designed by Larry Wall. It supports many features of advanced languages, such as garbage collection, powerful functions to handle the regular expressions, object-oriented characteristic and so on. Because of Perl s IR (Intermediate Representation) and internal variables are very complex, there are no practical perl versions that can run on JVM now. The method we use is to implement the perl interpreter in Java. After compiled, it can run on JVM and interprete Perl sources. This dissertation consists of six chapters. Chapter 1 briefly introduces the background of research project and porting status of Perl. Chapter 2 introduces the perl internal. Chapter 3 introduces the blue print of porting Perl to JVM. Chapter 4 discusses how to port perl s front end to JVM, including lexical parser and syntactic parser. Chapter 5 describes the implementation of perl s back end in Java, such as Perl s IR, IO system, thread model and so on. The last chapter concludes the dissertation and points out the future work. Keywords: Perl,Java Virtual Machine(JVM), port II

If programming in Java simply, on the one hand, it will limit the developers to choose the programming language, on the other hand, many existing systems have to been rewritten in Java to meet the

4 中国科学技术大学硕士学位论文目录目录第一章绪论研究背景非 Java 语言移植到 JVM 中常用的方法 JNI 用 Java 实现语言的解释器将源语言编写的程序编译成 Java 程序直接编译到 JVM 字节码将语言的方言映射到 JVM Perl 语言及其到 JVM 的移植现状 Perl 语言简介移植面临的挑战 Perl 的移植现状论文的组织... 9 第二章 Perl 解释器的内部机制 Perl 的本地数据类型基本的 SV 类型其它类型 Perl 的前端词法分析器语法分析器以及代码的生成 Perl 的 IR Perl 的后端 Perl 中所用到的各类栈 PP Code PVM 与 JVM 的异同第三章 Perl 到 JVM 移植的总体方案 Java 包构成多解释器机制多线程机制总控结构数据类型的设计第四章 Perl 前端到 JVM 的移植词法分析器的实现与语法分析器的接口设计数据结构的定义模块流程设计 III

.. 9 第二章 Perl 解释器的内部机制... 10 2.1 Perl 的本地数据类型... 10 2.1.1 基本的 SV 类型... 10 2.1.2 其它类型... 11 2.2 Perl 的前端... 12 2.2.1 词法分析器... 12 2.2.2 语法分析器以及代码的生成... 13 2.

5 中国科学技术大学硕士学位论文目录 4.2 语法分析器的实现 y 文件与.cup 文件的不同 Perl 文法移植中的问题剖析 BYacc 与 CUP 二义文法移植到 CUP 的解决方案总结第五章 Perl 后端到 JVM 的移植 IR 栈 PP Code IO 操作的实现线程的实现 Perl 中线程的特性 C_Perl 中的线程管理线程管理的 Java 实现其它细节问题宏 Goto 语句的实现非局部跳转函数的实现字符串的处理未实现部分 Perl 的内存管理跨平台的实现 Perl 扩展的移植总结第六章结束语参考文献致谢 IV

.. 44 5.5.3 线程管理的 Java 实现... 47 5.6 其它细节问题... 49 5.6.1 宏 Goto 语句的实现... 49 5.6.2 非局部跳转函数的实现... 50 5.6.3 字符串的处理... 51 5.7 未实现部分... 51 5.7.1 Perl 的内存管理.

6 第一章绪论 1.1 研究背景随着计算机技术的发展,Java 技术逐步成为众人关注的焦点, 而 Java 虚拟机 (JVM) 是 Java 程序设计语言的基石, 它是 Java 技术的重要组成部分 JVM 是可运行 Java 代码的假想计算机, 它的设计目标是提供一个基于抽象规格描述的计算机模型, 为解释程序开发人员提供很好的灵活性, 同时也确保 Java 代码可在符合该规范的任何系统上运行 JVM 对其实现的某些方面给出了具体的定义, 特别是对 Java 可执行代码, 即字节码 (Bytecode) 的格式给出了明确的规格这一规格包括操作码和操作数的语法和数值, 标识符的数值表示方式, 以及 Java 类文件中的 Java 对象常量缓冲池在 JVM 的存储映象这些定义为 JVM 解释器开发人员提供了所需的信息和开发环境 Java 的设计者希望给开发人员以随心所欲使用 Java 的自由 [1] 当今围绕着 JVM 的研究和开发日益增多, 与此同时, 这也带来了另外一种需求 : 将非 Java 语言移植到 JVM 中为什么要将非 Java 语言移植到 JVM 中呢? 综其原因, 主要有以下四点 : 硬件 JVM 的发展传统的 JVM 是用软件实现的然而, 用硬件设备实现 JVM 环境已成为研究的焦点和物理事实许多研究者研究用硬件实现 JVM[2,3] 并取得了有希望的结果用硬件直接支持 JVM 是必然的, 并将相当普遍有的研究者甚至建立了 JVM 的硬件实现的原型 [4] 同时, 商业上,SUN 已经将 picojava[5](jvm 微处理器的中央部件核心 ) 的许可授予几家公司 ( 如 IBM NEC ROCKWELL), 根据 SUN 所说 [5], 这些公司计划将这种硬件技术加入到未来的产品中因此, 具有本地 JVM 实现的硬件设备在不久的几年将会普及当为这些硬件设备写软件时, 开发者不应局限于 Java 编程语言将非 Java 语言移植到 JVM 将提供给这些开发者更多的选择, 这样他们可以选择最好的语言工作这种选择将消除由工程师或需要特定硬件设备的市场需求所强加的公共限制嵌入式软件 JVM 在考虑未来的硬件 JVM 的时候, 嵌入式软件 JVM 已经普及了从 Java 环境产生初期, 各种 Web 浏览器就已开始包含嵌入式的 JVM 这些嵌入式 JVM 允许网站设计者开发运行在客户端的小应用程序 (applet) Web 浏览器的嵌入式 JVM 提供了一种简单的跨平台应用的标准传输系统不过, 为了提供一些安全性, 对 JVM 的 applet 进行了严格的控制管理这些限制比验证过程施加得更严格这些附加的限制使得用尚未移植到 JVM 的语言写 applet 相对来说是不可能的比如, 非 Java 语言与 JVM 的最简单的接口是通过 Java 本地接口 (Java Native Interface, JNI), 它允许系统级程序 ( 用 C 编写 ) 访问 JVM 可是,JNI 不允许 applets 访问因此, 即使用户为指定的非 Java 语言安装了解释器或编译器, 来自网站的 applets 也不能利用之因此, 在这种情况下, 非 Java 语言的本地 JVM 移植是必须的 1

格描述的计算机模型, 为解释程序开发人员提供很好的灵活性, 同时也确保 Java 代码可在符合该规范的任何系统上运行 JVM 对其实现的某些方面给出了具体的定义, 特别是对 Java 可执行代码, 即字节码 (Bytecode) 的格式给出了明

7 Web 浏览器是嵌入式软件 JVM 真正重要的环境然而,Web 浏览器不是唯一能发现嵌入式软件 JVM 的地方为了适应嵌入式设备市场的需要,SUN 推出了 J2ME 平台 ( 支持最小化的 JVM 和 API 配置 ) 以及相应的 KVM(K Virtual Machine, 一种压缩的完整的便携式的 JVM, 用于资源受限的小设备上 )[6][7]; 除此之外, 还有 JINI 连接技术 Java Card 技术 Java 嵌入式服务器技术等, 能够满足不同的需求如今, 很多的嵌入式设备都广泛应用了基于 Java 的技术, 比如, 一些个人数字助理 (Personal Digital Assistants, PDAs), 像 PocketLinux[8] 已经选择用 JVM 作为提供给开发者的接口 Java 技术在嵌入式设备市场上正扮演着越来越重要的角色由于 JVM 是开发者的接口, 为这些嵌入式小设备设计的大多数软件是用 Java 写的, 而到 JVM 的本地移植将允许开发者很容易地使用其它语言为这类小设备编写软件此外,2000 年,8 位软件 JVM 被发布了 [9] 该软件将给 8 位处理器带来新的生命力, 它允许现代语言 ( 如 Java) 运行在一些较小的处理器上非 Java 语言的本地移植将给开发者一个机会, 使得其他的语言能用到这样的系统上通过 JVM 的语言集成 (Language Integration via the JVM) 尽管 JVM 最初只是为 Java 语言设计的, 它仍然可被用作一般的对象模型几乎所有的面向对象特征都可以为 JVM 或其标准支撑库所支持因此, 如果为非 Java 语言设计的 JVM 编译器适当地认识到 JVM 的面向对象特征,JVM 本身可被用作一般的对象模型这种对象模型可以为不同语言间的对象共享提供紧密连接的方法如果 A 语言和 B 语言的 JVM 移植均关心 JVM 对象模型, 它们在访问 JVM 时就好象它们是本地的对象一样 JVM 为语言提供对象, 每一语言将使用自己正常的方法去访问对象甚至可能不关心对象是用其他语言来实现的一些项目正成功地以这种方式使用 JVM 比如,Jemacs 项目 [10] 使用 JVM 作为 Emacs 实现的中央部件 Emacs 可用 Scheme 和 Java 来配置和脚本化目前支持 Emacs Lisp 和 Common Lisp 的工作已经在进行中因此,JVM 可以被用作应用程序的中央引擎如果许多语言已被移植到 JVM 中, 并注意 JVM 的对象模型, 则人们可以设计一个允许用户用所支持的语言脚本化和配置其的应用程序这种方法可能是将非 Java 语言移植到 JVM 的最引人注目的原因.Net 因素 (The.NET Factor) 目前有一部分人认为 :Microsoft 的.NET 体系结构相较于 JVM, 被更好地设计成一般的跨语言的对象模型, 他们认为 JVM 作为一个跨平台的体系结构已经死亡, 而更为看好 Microsoft 技术 [11].NET 系统确实不同于 JVM,.NET 系统的设计考虑了语言集成, 而 JVM 的设计者没有将跨语言的特征放在优先 [1] 否定 JVM 仅仅因为它不是一个完美的解决方案, 这未免有些短见另外,JVM 及其相关的库只用了 5 年就趋于成熟在许多领域,JVM 已经最终达到被认为是一种稳定的平台如果转向最新的技术将可能导致对稳定性的更多的等待现在已经有十几种语言被移植到 JVM[12], 它们中的许多在使用 JVM 时注意了它的对象模型在集成这些移植时还留有一些工作, 不过这不是最艰难的了将这些语言移植到 JVM 的最难的部分已经做了通过比较, 仅有 2 到 3 种程序设计语言已被移植到.NET, 且所有的移植都由 Microsoft 自己资助不仅如此, 没有一个.NET 系统可以免费得到, 而 JVM 有许多免费的软件实现 2

人数字助理 (Personal Digital Assistants, PDAs), 像 PocketLinux[8] 已经选择用 JVM 作为提供给开发者的接口 Java 技术在嵌入式设备市场上正扮演着越来越重要的角色由于 JVM 是开发者的接口, 为这些嵌入式小设备设计的大

8 同样, 许多移植到 JVM 的编程语言也是免费软件 JVM 和到它的移植是开放的确定的体系结构因此 JVM 尽管不完美, 还是比.NET 系统更可取当前许多研究开发组织已着手进行非 Java 语言到 JVM 移植的工作, 并提供了许多可用的工具 [12], 如 Jacl[13] 是用 Java 重写的 Tcl 解释器在众多非 Java 语言中,Perl * 语言是由 Larry Wall 设计的一种实用的解释执行的脚本语言有关 perl 到 JVM 的移植的研究已经展开, 但还没有一个实用的版本出现 2002 年, Intel 中国研究中心 (ICRC) 委托我们将包含 253.perlbmk 在内的 5 个 SPEC CINT2000 benchmark 程序 [14] 移植到 JVM, 以支持其对 JVM 的性能测试这促使我们深入理解 Perl 并尝试 Perl 到 JVM 的移植工作 253.perlbmk 是 Perl v5.005_03 的精简版本, 它删除了许多与特定操作系统有关的特征, 在核心的 Perl 解释器上附加了 MD5 TimeDate MailTools 等第三方的模块我们采用的移植方法是用 Java 重写一个 Perl 解释器, 它经编译后可以在 JVM 上运行, 提供对 Perl 程序的即时编译和解释执行 1.2 非 Java 语言移植到 JVM 中常用的方法目前将非 Java 语言移植到 JVM 中时采用的传统方法主要有以下几种 : JNI(Java Native Interface) 用 Java 实现源语言的解释器将源语言编写的源程序编译成 Java 程序直接将源语言编写的程序编译成 JVM 字节码将语言的方言 (idiom) 和结构映射到 JVM 本小节简述这五种方法, 并分析每种方法的优缺点 JNI 尽管此方法实际上不能实现一个到 JVM 的完全移植, 但它毕竟是一种将非 Java 语言与 JVM 相结合的最简单的方法这种方法主要是通过 JNI( 提供了本地操作系统访问 JVM 的接口 ) 来实现 JNI 主要是 C 和 Java 语言的接口, 它提供了 C API, 使得 C 程序员可以通过它访问 JVM 中的对象和方法 ; 反之,Java 方法也能用 C 来实现 JNI 还不能看作是 C 语言到 JVM 的移植, 它仅仅当 JVM 作为一个进程运行在一个操作系统上时, 提供了执行 C 和 Java 互相调用的能力因此 JNI 有着严重的缺陷, 基于 JNI 的系统不能在嵌入式软件系统和硬件 JVM 中使用另外, 虽然 JNI 给出了相当完全的 Java 到 C 的访问, 但是 Java 到 C 的访问还是局限于用 C 写 Java 的方法 * 在 Perl 群体中, perl 指 Perl 的实现, Perl 指 Perl 语言本身 3

释执行的脚本语言有关 perl 到 JVM 的移植的研究已经展开, 但还没有一个实用的版本出现 2002 年, Intel 中国研究中心 (ICRC) 委托我们将包含 253.

9 因此,JNI 不能为我们完全实现一个本地 JVM 移植但是值得一提的是它在将 Java 与非 Java 的集成中迈出了第一步事实上当一特定语言是用 C 实现的,JNI 可以提供最根本的方法来集成其和 Java 用 Java 实现语言的解释器对多数语言来说, 用 Java 实现它的解释器是将其移植到 JVM 中的最直接的方法这种方法已被 Tcl[15] 和 Python[16] 的移植所使用因为有很多的编译器可以将 Java 源代码转化成 JVM 字节码, 所以用 Java 编写的解释器可以很容易地在 JVM 上运行当用源语言编写的程序需要在 JVM 上运行时, 新的解释器与该程序一样必须作为一种源程序的输入这种方法有许多优点首先, 如果源语言有比较好的描述规范, 或者构造比较少, 基于单一范例 ( 例如纯粹的面向对象或者是过程性的 ) 的语言, 那么该语言解释器的实现就只是对其描述规范的一个简单实现它的设计通常可以由描述规范或范例来决定, 从而极大地减轻了设计者的负担其次, 可以运行实时代码, 例如 Perl 中的 eval($string) 实现了解释器的 Java 程序仅需简单地实例化一个解释器的实例, 然后将 $string 作为它的输入即可但是这种方法也有几个缺点首先是速度因为芯片上带有 JVM 的硬件设备仅仅实现了 JVM 可用配置的一个子集, 所以考虑 JVM 软件上的实现是重要的当 JVM 用软件实现时,JVM 字节码是由该软件来解释的因此, 当 x 语言的解释器用 Java 实现时, 该解释器又由 JVM 来解释, 从而就有双倍的解释开销另一个缺点是如果一种语言没有书面的描述规范来精确地描述它的语义和语法, 则只能通过阅读该语言原解释器的源代码来理解, 这增加了研发人员的负担, 比如 Perl, 尽管 Perl 组织已经意识到了这点, 在 Perl 的下一个主要版本 Perl6 的开发中加入了语言规范的描述, 但这项工作还不成熟 [17] 此外, 如果解释器规模较大的话, 这样的移植对于嵌入在小硬件设备上的或者其他更大软件系统中的 JVM 是不合适的将源语言编写的程序编译成 Java 程序将源语言编写的程序编译到 Java 程序也是一种可能的移植方法如果对于源语言的每一个程序都能自动构建等价的 Java 程序, 那么源语言就能被有效地移植到 JVM 中这种方法真正的优点是移植人员不需要考虑 JVM 内部是如何工作的但这一个小小的优点并不能胜过它的两个巨大的缺点首先, 这种移植易受 Java 语言和它相应的类库的影响 ; 其次,Java 语言不如 JVM 的字节码有表现力尽管 Java 源程序非常接近 JVM 字节码, 但还是有些不同之处, 比如 goto 语句,JVM 的字节码有, 但 Java 中没有正因为有这些缺点, 所以目前还没有一种语言利用这种方法成功地移植到 JVM 中需要注意的是, 尽管有人试图运用此法将 perl 导入到 JVM 中, 但它事实上只能对 perl 的一个非常小的子集起作用该系统的设计人员也说过要提供一个完全的翻译需要编写很多 4

Java 编写的解释器可以很容易地在 JVM 上运行当用源语言编写的程序需要在 JVM 上运行时, 新的解释器与该程序一样必须作为一种源程序的输入这种方法有许多优点首先, 如果源语言有比较好的描述规范, 或者构造比较少, 基于单

10 的 Java 类, 可能做字节码 - 字节码的翻译要更有效 [18] 尽管这个系统确实支持 Perl 的一个子集, 但是 Perl 和 JVM 移植团体传统的观点是, 将源语言翻译到 Java 程序在移植更多的给定语言的小子集时弹性不够直接编译到 JVM 字节码这种方法可能是最传统的 : 提供一个编译器, 将源语言直接定向到 JVM 这也有两种方式, 根据语言草案 ( 例如 Scheme[19] Java) 写一个编译器, 或者将现有的编译器重定向到 JVM( 如 Eiffle) 前者可能会引起代码岐义, 但是对那些有着详细的书面描述规范的语言 ( 例如 Java Scheme) 就不成问题了但对 Perl 来说却不行, 至少目前不可能后一种方法对 Perl 来说可行, 但也有风险如 1.1 节提到的, 一种好的 JVM 移植允许源语言利用 JVM 与其他语言通信而当 Eiffle 编译器重定向到 JVM 中时, 这种移植并不明白 JVM 的对象模型因此, 由于编译器将 JVM 字节码看作是另一种汇编语法而不是对象体系结构, 利用 Eiffle 的 JVM 移植来集成 Eiffle 和 Java 是很困难的将语言的方言映射到 JVM 这种方法是最不通用也是最有限的这种方法需要将语言的每一个结构都映射到 Java 的结构如果该源语言的所有特征都与 Java 语义等价, 那么映射就可以允许语言在 JVM 上运行 ADA 的移植着重依赖的就是这种方法 [20] 这种方法的不利之处在于每一个语言结构在 Java 或者 JVM 上都要有等价结构如果有一些没有, 程序员必须自己在 Java 的草案中实现, 这是不合理的所以这种方法仅对那些非常类似 Java 的语言有用 ( 强类型的面向对象的 ) 1.3 Perl 语言及其到 JVM 的移植现状 Perl 语言简介 Perl 是 Practical Extraction and Report Language 的简写, 意即实用摘要及报告语言, 是由 Larry Wall 设计的一种实用的解释执行的脚本语言因其无可比拟的优势,Perl 被用于诸多领域, 在 CGI 文件处理 windows 脚本编写 GUI(Graphical User Interface) 以及数据库访问方面,Perl 都能驾轻就熟 Perl 的版本由其核心志愿小组 Perl Porters[21][22] 进行维护和改进,GNU 软件的特性是 Perl 能够得到迅速发展的主要原因 5

起代码岐义, 但是对那些有着详细的书面描述规范的语言 ( 例如 Java Scheme) 就不成问题了但对 Perl 来说却不行, 至少目前不可能后一种方法对 Perl 来说可行, 但也有风险如 1.

11 Perl 语言的特点 [23,24] Perl 语言是在吸收了众多语言长处的基础上发展而来的, 因为既有一般程序设计语言的特点, 也有其独特之处 : 解释性语言 :Perl 无需预先编译即可由其解释器对源代码程序进行解释执行模块化和高可重用性 :Perl 的函数库被称作为模块 ( 一般以.pm 为扩展名 ), 模块可以被 Perl 程序共享, 因而 Perl 程序可以随意使用模块中定义的函数接口模块化是 Perl 的重要特征之一, 使得 Perl 语言能够具有非常强大的功能面向对象的程序设计 : 利用 Perl 的包机制,Perl 可以进行面向对象的程序设计, Perl 支持动态的多重继承和虚函数可扩展和可嵌入 :Perl 代码可以很容易地嵌入到 C/C++ 代码中 ; 同时,C/C++ 例程也很容易地嵌入到 Perl 应用程序中适合多种操作系统平台 : 现在 Unix Linux 及 Windows 等操作系统都支持 Perl, 甚至一些嵌入式系统也开始支持 Perl 语言免费的自由软件 :Perl 是典型的自由软件之一, 因而赢得了世界上用户的广泛支持和积极参与, 这也使得 Perl 语言的功能越来越完善和强大基本数据类型和语法 [23] 和多数脚本语言一样,Perl 是弱类型的, 不需要显示的类型声明 Perl 有三种数据类型 : 标量数组和关联数组 ( 散列 ) Perl 语言的操作和值的解释由其上下文决定, 主要有三种上下文 : 字符串数字和数组当上下文要求一个数组时, 操作返回数组值, 其它情况返回标量值 ; 而标量变量及值相应于上下文被解释为字符串或数字布尔量也同样可以处理下面列举了 Perl 语言的一些变量 : 标量变量总是以 $ 开始, 例如 : $days # 一个简单的标量变量 days $days [28] # 数组 days 的第 29 个元素 $days{feb} # 一个关联数组 days 的一个值 $#days # 数组 days 的最大下标值整个数组或部分数组开始, 如 # 数组 [3,4,5] # 数组 days 的三个元素整个关联数组由 % 标记 : %days #(keys1,val1,keys2,val2) Perl 语言的每种数据类型有各自的名字空间, 因此不用担心不同类型变量 ( 标量变量数组关联数组文件和子程序等等 ) 的同名冲突问题 6

pm 为扩展名 ), 模块可以被 Perl 程序共享, 因而 Perl 程序可以随意使用模块中定义的函数接口模块化是 Perl 的重要特征之一, 使得 Perl 语言能够具有非常强大的功能面向对象的程序设计 : 利用 Perl 的包机制,Perl 可以进行面向

12 Perl 语言的程序是由说明和命令序列组成在 Perl 语言中, 只有报告格式和子程序需要说明,C 中所有的控制流语句 Perl 均支持 ; 此外 Perl 提供了比 C 更为丰富的控制语句, 比如 unless else foreach next last 等, 从而能更为灵活地组织程序 Perl 解释器 Perl 虽然是解释执行的语言, 但是它的解释器并不是一个纯粹的解释器 : 它拥有编译器的前端, 负责解析 Perl 程序 ; 以及一个后端, 负责实现 Perl 的本地数据类型以及一个虚拟机 (PVM) 解释执行前端产生的中间表示 (IR, Intermediate Representation) 它的前端和后端耦合度很高, 前端在编译时, 一方面, 为了优化会调用后端使某些语句在编译时就运行完毕 ; 另一方面,Perl 程序中有些语句就是需要编译时运行的 ( 如 BEGIN.END ), 而 Perl 的某些操作如 require, 需要动态加载包, 此时后端就需要调用前端对程序进行实时编译我们在第二章中会对 Perl 解释器的内部工作机制作更详细的说明移植面临的挑战一般性的挑战 JVM 字节码比多数汇编语言要更高级, 因此, 在产生 JVM 字节码时就必须更加小心例如, 要使一 JVM 移植有效, 必须产生能通过验证进程的代码要产生可验证的代码, 通常意味着某些在 JVM 描述规范中看起来完全合法的操作也可能是通不过的因此, 编译器的实现者不仅要完全熟悉 JVM 描述规范, 同时要清楚验证过程会出现的某些特殊的结果另外一个挑战是 JVM 的面向对象的特性首先编译器的实现人员必须找到一种方法能够合理地将一种特定的语言结构映射到 JVM 类的概念多数语言会有类似类的结构 (Perl 中的 package), 但在细节上还是需要不少技巧最后, 要使 JVM 移植尽可能地可用, 编译器必须产生类似 JVM 对象模式的代码如果不这样的话, 移植就会趋向于过程化, 而没有真正利用 JVM 的优点 Perl 特定的挑战 Perl 在文化以及技术方面与其他语言有着很大的不同, 这也使得在作移植工作时有其特定的挑战首先, 解析 Perl 是一个相当困难的问题 Perl 语言在设计时加入了很多的语法美化以及特殊情况这些设计使得在对 Perl 程序做解析时非常困难其次,Perl 没有正式的描述规范, 要完全理解 Perl 解释器的内部工作机制, 只能阅读它的源代码缺乏注释大量的使用宏以及一些令人吃惊的优化措施, 使得理解 perl 源代 7

3.1.3 Perl 解释器 Perl 虽然是解释执行的语言, 但是它的解释器并不是一个纯粹的解释器 : 它拥有编译器的前端, 负责解析 Perl 程序 ; 以及一个后端, 负责实现 Perl 的本地数据类型以及一个虚拟机 (PVM) 解释执行前端产生的中

13 码是一件相当艰苦的工作最后,Perl 的本地数据类型非常不通用表面上看, 这些数据类型是很普通的, 但是常常会出现一些特殊使用情况, 这为编译器的实现增加了难度 Perl 的移植现状现今对 Perl 到 JVM 的移植工作已经展开, 目前研究讨论的方法主要有以下三种方式 Java-Perl Lingo(JPL) Java-Perl Lingo(JPL) 使用了 JNI 来提供 Perl 和 Java 之间的访问 JPL 是 perl 发布版本的核心部分, 它简化了 Perl 和 Java 的集成尽管 JPL 还不算是真正意义上的移植, 但正如 Larry Wall 所指出的, 它至少显示出 Perl 与 Java 的语义是兼容的 JPL 对那些想在单一操作系统上同时访问 perl 与 Java 环境的程序员确实是有用的 JPL 可以用 Perl 书写 Java 方法, 在 Java 中实例化 Perl 对象, 或在 Perl 中实例化 Java 对象为提供这些特征,JPL 的开发人员使用 JNI 作为 Perl 与 Java 之间的接口当然, 要完全地将 perl 移植入 JVM 中时, 此方法并不可取,JNI 对于那些嵌入在硬件上或者其他软件上的 JVM 是无法获得的因此 JPL 仅对那些在 perl 已经可以运行的系统上使用 perl 和 Java 的用户来说是个有用的工具, 它不允许 Perl 运行于嵌入的 JVM 中另外,JPL 有一些系统开销 JPL 程序的运行进程需要 libperl.so(perl 共享库 ) 的活动实例来运行 Perl 代码, 另外还需要 JVM 的活动实例来运行 Java 代码使用 Jasmin 汇编器 JVM 的类文件格式比较复杂, 如果直接将 Perl 的 IR 转换为 JVM 的类文件格式, 困难是相当大的 Brian Jepson 提出了一种方法, 它不直接产生 class 文件, 而是将 Perl 的 IR 先转换成 Jasmin 汇编代码, 再由 Jasmin 汇编器将之转换成 JVM 的类文件 [25,26] 但是这种方法最后证明是完全失败的首先,Jasimin 汇编器不是标准化的, 让一个 JVM 移植依赖于一个特定的汇编格式是不切实际的而最大的问题是它产生的字节码无法通过字节码验证器使用 Kawa 中间表示这是由 Bradley M. Kuhn 提出的一种方法他通过一个翻译器将 perl 的 IR 翻译成 Kawa IR, 然后再把 Kawa IR 转换到 JVM 的类文件 [28] Kawa IR[19,27] 起初是 Botherne 为实现 Scheme 语言到 JVM 的移植设计的在他的研 8

心部分, 它简化了 Perl 和 Java 的集成尽管 JPL 还不算是真正意义上的移植, 但正如 Larry Wall 所指出的, 它至少显示出 Perl 与 Java 的语义是兼容的 JPL 对那些想在单一操作系统上同时访问 perl 与 Java 环境的程序员确实是有用

14 究过程中, 他开始将一些不是特定于 Scheme 的一些组件抽象出来, 将它们放到一个非常有趣的抽象层中, 最终是形成了一个高级的一般化的可以编译成 JVM class 文件的 IR Java 包 gnu.expr.* 提供了产生 Kawa IR 的功能分析树上每个结点是一个抽象基类 Expression 的子类 Expression 类有两个关键方法 :eval 和 compile eval 方法用于评估当前运行环境下的表达式,compile 方法负责将表达式编译成 JVM 的类文件这种新的 Kawa IR 填补了 JVM 移植的一大空缺, 它提供了一个底层组织可以将许多语言移植到 JVM 中当然 Kawa 并不是所有 JVM 移植的万能药, 编译器的编写和移植在很多方面都留有难题,Kawa 只能解决其中的一些问题主要缺点是 Kawa 本身的复杂性, 程序员必须深刻理解 Kawa IR 才能有效地使用它目前只有概要性的文章, 缺少移植新语言的详细的例子因此要有效地使用 Kawa,Kawa 源代码的详细书面资料是必须的同时要实现 Perl 到 JVM 移植的话, 对 Perl IR 的细节也要了解得相当清楚更重要的是,Kawa IR 的 API 还没有最终定型, 其特征还在不断的抽象中从长远眼光来看, 这是有益的, 因为它可以使 Kawa 更为有用但是, 对于那些想用 Kawa 作为移植的底层组织的研究人员来说, 就必须不断地跟踪 Kawa 的发展情况并作出相应的应变措施此研究工作还在进行当中 1.4 论文的组织第二章详细介绍了 Perl 解释器的内部工作机制, 包括它的数据类型前端词法分析器和语法分析器的工作流程, 以及 Perl 的中间表示和后端解释执行的原理第三章介绍 Perl 到 JVM 移植的总体方案第四章给出了 Perl 前端的 Java 实现, 包括词法分析器的设计, 并讨论了用 CUP 实现 Perl 语法分析器时出现的问题以及解决方法第五章主要介绍了 Perl 后端的实现, 包括数据类型中间表示栈 PP Code, 着重讨论了 IO 和线程的实现第六章总结了论文的主要内容, 讨论今后可以进一步开展的研究内容 9

种新的 Kawa IR 填补了 JVM 移植的一大空缺, 它提供了一个底层组织可以将许多语言移植到 JVM 中当然 Kawa 并不是所有 JVM 移植的万能药, 编译器的编写和移植在很多方面都留有难题,Kawa 只能解决其中的一些问题主要缺点是

15 中国科学技术大学硕士学位论文第二章 Perl 解释器的内部机制第二章 Perl 解释器的内部机制 Perl 虽然是解释执行的语言, 但从严格意义上来讲, 它的解释器 perl 并不是一个纯粹的解释器它拥有编译器的前端以及一个后端 : 前者包括词法分析器和语法分析器, 负责解析输入的 Perl 程序, 产生 IR OP 树, 随后对 OP 树进行后序线索化以及窥孔优化 (peephole optimization); 后者负责实现 Perl 的本地数据类型以及 PVM, 通过遍历 OP 树的执行路径, 依次调用相应的操作代码 (PP code) 完成对 Perl 程序的解释执行 ( 如图图 2-1 perl 的工作流程 2-1)[29,30] 本章详细介绍 Perl 解释器的内部工作机制 2.1 Perl 的本地数据类型 Perl 是弱类型的脚本语言相较于 C 而言,Perl 中的变量要复杂得多, 一个变量可以任意地作为整数浮点数字符串等使用本小节主要介绍 perl 内部是如何表示这些变量的 Perl 的数据类型主要有三种 : 标量 (SV) 数组 (AV) 散列 (HV), 其中 SV 又可以进一步分为整数值 (IV) 双精度浮点数值 (NV) 字符串值 (PV) 引用值 (RV) 这几种类型此外, 在 perl 内部另外引入了 CV GV 和 IO 分别表示代码值符号表的 Glob 值以及 IO 值基本的 SV 类型 SV 表示标量值, 其结构如图 2-2 所示数据成员的意义如下 : sv_any: 根据变量的类型 sv_any 会指向不同的数据结构, 这也是 perl 可以在不同类型之间进行转换的原因例如, 图 2-2 中的 sv_any 引用 XPV 结构来存储字符串这种标量数,XRV 结构存储引用值,XPVNV 结构存储双精度浮点数 sv_refcnt: 该域为 SV 的引用计数, 当其值为 0 时, 表示对该 SV 没有任何应用, 其内存可以释放 10

应的操作代码 (PP code) 完成对 Perl 程序的解释执行 ( 如图图 2-1 perl 的工作流程 2-1)[29,30] 本章详细介绍 Perl 解释器的内部工作机制 2.

16 中国科学技术大学硕士学位论文第二章 Perl 解释器的内部机制 sv_flags: 该域为一标志域, 共有 24 个标志位, 一部分存储类型信息, 表明 sv_any 指向的是何种数据结构其它位存储状态信息 SV 是表示标量的最基本的形式, 一个标量变量可以刚开始时是一个数字, 但是 SV sv_any sv_refcnt sv_flags XPV xpv_pv 1 xpv_cur xpv_len hello world $a= hello world SV sv_any sv_refcnt sv_flags XPVNV xpv_pv 2 xpv_cur xpv_nv xpv_len $a= SV sv_any sv_refcnt sv_flags 1 XRV xpv_rv $r=\$a; 图 2-2 标量变量的内部视图在一个字符串上下文中使用时, 它会转变成一个同时包含数字与字符串的结构, 如图 2-2 中的 XPVNV 结构, 而何种数值有效由 sv_flags 的特定位指明其它类型 AV sv_any sv_refcnt sv_flags Sv_any Sv_refcnt Sv_flags XPVAV xav_array xav_fill xav_max xpv_pv xav_alloc xav_arylen xpv_cur xmg_magic xpv_len xpv_nv SV*[ ] 图 2-3 数组变量的内部视图 AV CV HV IO GV 这些类型与 SV 类似, 也都具有与 SV 相同的数据成员, 差别在于 sv_any 指向的数据结构不同, 分别为 XPVAV XPVCV XPVHV XPVIO XPVGV 图 2-3 给出了数组变量的内部视图, 其它类型与其类似, 都具有一个相应的 XPV** 结 11

$15602 7 $a= 15602 SV sv_any sv_refcnt sv_flags 1 XRV xpv_rv $r=\$a; 图 2-2 标量变量的内部视图在一个字符串上下文中使用时, 它会转变成一个同时包含数字与字符串的结构, 如图 2-2 中的 XPVNV 结构, 而何种数值有效由$

Java 1 Java String Date

JAVA SCJP Java 1 Java String Date 1Java 01 Java Java 1995 Java Java 21 Java Java 5 1-1 Java Java 1990 12 Patrick Naughton C++ C (Application Programming Interface API Library) Patrick Naughton NeXT Stealth

中 国 科 学 技 术 大 学 硕 士 学 位 论 文 摘 要 摘 要 当 今 围 绕 着 JVM 的 研 究 和 开 发 日 益 增 多 在 各 种 JVM 发 展 的 同 时, 也 带 来 另 一 种 需 求 如 何 提 供 运 行 在 JVM 上 的 各 种 软 件, 如 何 将 现 有 系

中国科学技术大学硕士学位论文摘要摘要当今围绕着 JVM 的研究和开发日益增多在各种 JVM 发展的同时, 也带来另一种需求如何提供运行在 JVM 上的各种软件, 如何将现有系