PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

伪薛
5 years ago
Views:

1 Introduction to Python and NLTK 陈婷 September 13 rd 2017

2 引言谁才是天龙八部的女主角?

3 引言殷离, 周芷若, 赵敏, 小昭, 张无忌究竟爱谁?

4 引言殷离周芷若赵敏小昭, 张无忌究竟爱谁?

5 大纲 1 安装 Python 和 NLTK 2 Python 语法基础 3 NLTK 入门 4 文本搜索 5 文本统计

x 版本 IDE PyCharm - https://www.jetbrains.

6 安装 Python Python 本次课程中使用 python3.x 版本 IDE PyCharm - Jupyter Spyder Anaconda 优点 : 集成了很多关于 python 科学计算的第三方库

7 package Python 本次课需要的包 :nltk matplotlib package 安装方法 : pip install index [MirrorURL] [PackageName] e.g.: 从阿里镜像下载并安装 matplotlib 包 pip install --index matplotlib 更多镜像源 >>> package 调用方法 : import nltk from nltk import FreqDist # 引入 NLTK 包 # 从 NLTK 引入 FreqDist() 函数

8 大纲 1 安装 Python 和 NLTK 2 Python 语法基础 3 NLTK 入门 4 文本搜索 5 文本统计

9 Python 语法基础 Python 是一种解释型语言重视可读性简洁性以及明确性可执行的伪码特性 : 通过空白符 ( 制表符或者空格 ) 来组织代码注释 : 单行注释用 #, 多行注释用三引号万物皆对象变量赋值参数传递时, 是按引用传递的

10 Python 语法基础查看帮助 : help(nltk) 标准数据类型 : Number( 数字 ) String( 字符串 ) List( 列表 ) Tuple( 元组 ) Sets( 集合 ) Dictionary( 字典 )

11 Python 语法基础可变与不可变对象可变对象 (mutable) 所包含的对象或值是可以被修改的不可变对象 (immutable) 所包含的对象或值是不能被修改的

12 Python 语法基础可变与不可变对象可变对象 (mutable) 所包含的对象或值是可以被修改的列表 (List) 字典 (dict) 集合 (set) 不可变对象 (immutable) 所包含的对象或值是不能被修改的字符串 (string) 元组 (tuple) An object is hashable if it has a hash value which never changes during its lifetime (it needs a hash () method), and can be compared to other objects (it needs an eq () or cmp () method).

13 Python 语法基础 - string 字符串可以被当作某种序列类型进行处理字符串的常用操作 :

14 Python 语法基础 - list 切片 (slicing) 列表合并排序

15 Python 语法基础 - dict 字典是一种大小可变的键值对集键 (key) - 只能是不可变对象, 即数字, 字符串和元组, 因为作为键的对象必须满足可哈希性值 (value)- 可以是任意一种 Python 对象新建查看所有键访问赋值查看所有值更改字典合并

16 Python 常用函数

17 大纲 1 安装 Python 和 NLTK 2 Python 语法基础 3 NLTK 入门 4 文本搜索 5 文本统计

18 NLTK Natural Language Toolkit, 自然语言处理工具包由 Steven Bird 和 Edward Loper 在宾夕法尼亚大学计算机和信息科学系开发在 NLP 领域中, 最常使用的一个 Python 库

19 NLTK NLTK 中集成了许多语料集

20 大纲 1 安装 Python 和 NLTK 2 Python 语法基础 3 NLTK 入门 4 文本搜索 5 文本统计

21 文本特征举例琼瑶阿姨的经典台词 : 男 : 对, 你无情, 你残酷, 你无理取闹! 女 : 那你就不无情, 不残酷, 不无理取闹!? 男 : 我哪里无情!? 哪里残酷!? 哪里无理取闹!? 女 : 你哪里不无情!? 哪里不残酷!? 哪里不无理取闹!? 男 : 我就算再怎么无情再怎么残酷再怎么无理取闹, 也不会比你更无情更残酷更无理取闹! 女 : 我会比你无情!? 比你残酷!? 比你无理取闹!? 你才是我见过最无情最残酷最无理取闹的人男 : 哼, 我绝对没你无情, 没你残酷, 没你无理取闹! 女 : 好, 既然你说我无情, 我残酷, 我无理取闹, 我就无情给你看, 残酷给你看, 无理取闹给你看男 : 看吧, 还说你不无情, 不残酷, 不无理取闹现在完全展现你无情残酷无理取闹的一面了吧?!

22 文本搜索 1. 单词 good 通常应用在什么样的语境中?

23 文本搜索 2. 与 good 用法相似的词汇, 有哪些? 3. 单词 good 与 great 通用的上下文情景有哪些?

24 文本搜索 4. 绘制特定词汇在文本中的分布图 text2 语料, 来自小说理智与情感 (Sense and Sensibility) Elinor, Marianne, Edward, Willoughby 是小说中的四个角他们在小说中的出场情况如何呢?

25 大纲 1 安装 Python 和 NLTK 2 Python 语法基础 3 NLTK 入门 4 文本搜索 5 文本统计

26 词汇计数 len() - Return the number of items in a container set(iterable) -> new set object 1. 求 text1 中的 token 数量 2. 求 text1 中的 vocabulary 数量 3. 词汇丰富度 - 求 text1 中的平均每个 token 被使用了几次 :

27 词汇计数 len() - Return the number of items in a container set(iterable) -> new set object 1. 求 text1 中词和标点符号 ( 统称 token) 的总数 2. 求 text1 中不重复的 token 数 3. 词汇丰富度 - 求 text1 中的平均每个 token 被使用了几次 :

28 词汇计数 4. 定义一个用于求词汇丰富度的函数 : 5. 计数某个单词在文本中出现的次数 :

29 制作词云白鲸记

30 词频统计 nltk.freqdist() 统计每个词出现的频率 nltk.freqdist()

31 词频统计 FreqDist() nltk2.x :FreqDist.inc(sample, count) nltk3.x :FreqDist[sample] += count! 注意值的排序, 是乱序的, 并非按照词频排序! 需要按照词频排序时, 应当使用 : fdist.most_common()

32 词频统计 nltk.freqdist() 使用 FreqDist 寻找白鲸记中最常见的 50 个词

33 词频统计 FreqDist() 对上一个例子中产生的词语 ( 最常见的 50 个词 ) 生成累积频率图 (CDF) 和频率分布图 (PDF) 累积频率图 (CDF) 频率分布图 (PDF)

34 词频统计 FreqDist() 使用 fdist1.hapaxes() 来查看只出现了一次的词练习 : 编写一个功能与 hapaxes() 相同的函数输入 : 待统计的文本输出 : 文本中只出现过一次的词汇

35 细粒度地选择词要对一个集合中的元素进行筛选, 把符合某个特征的词汇挑选出来, 我们有两种等价的语句等价表示练习 : 将刚才编写的 hapaxes() 函数中的循环, 变化一种表达方式

36 细粒度地选择词 1. 寻找文本词汇表中长度超过 15 个字符的词 2. 寻找频繁出现的长词

37 小练习 1. 选择出 text1 中符合以下条件的词汇以 -ableness 结尾的词包含 gnt 的词首字母大写的词完全由数字组成的词 2. What is the difference between the following two lines? Which one will give a larger value?

38 Python 语法基础 - string NLP 中常用的函数及其含义

39 Thanks

OOP with Java 通知 Project 4: 4 月 18 日晚 9 点关于抄袭没有分数

OOP with Java Yuanbin Wu cs@ecnu OOP with Java 通知 Project 4: 4 月 18 日晚 9 点关于抄袭没有分数复习类的复用组合 (composition): has-a 关系 class MyType { public int i; public double d; public char c; public void set(double