利用Python进行数据分析

Size: px

Start display at page:

Download "利用Python进行数据分析"

甭绳马
5 years ago
Views:

1 利用 Python 进行数据分析数据分析的 N 种姿势 Anaconda 简介与安装使用 python 语法基础常用库安装与使用简介

2 第一部分 python 数据分析的 3 种姿势

3 数据不是万能的大数据第四范式数据科学但是, 不能唯数据论! 更不能为了分析而分析, 不能忽略了领域知识的掌握和研究, 要以问题为导向, 否则数据分析也就失去了价值

4 开源学习

5 单点突破 Python,python 数据分析,Ipython,Anaconda,NPL 云计算,linux 系统,NoSql 数据挖掘, 数据分析, 决策树,K-means,KNN,SVM

6 第二部分 Anaconda 简介与安装使用

7 Python 为什么用 Python 做数据分析和科学计算? 第三方程序包庞大而活跃的生态系统!! Numpy 处理同类型数组 Pandas 处理多种类型带标签的数据 Scipy 解决常见的科学计算问题 Matplotlib 绘制可视化图形 IPython 实现交互式编程和快速代码分享 Scikit-Learn 进行机器学习 Guido van Rossum

Anaconda 简单说,Anaconda 是 Python 的环境管理器和包管理器, 可以方便地对包进行下载更新删除等操作 https://www.

8 Anaconda 简单说,Anaconda 是 Python 的环境管理器和包管理器, 可以方便地对包进行下载更新删除等操作注意事项 :1 注意安装将路径添加到 PATH 中 ; 2 全部安装可安装多达 700 多个包, 几乎覆盖所有常用的包

9 Spider and Jupyter-notebook 变量窗口输入框结果输出框按块输出结果, 方便代码保存与分享

10 包的管理列出已经安装的包 pip/conda list 安装包 pip/conda install package 更新包 conda update package (--all) 删除包 conda remove package

11 jupyter notebook 操作两类 cells: #in #out 两种 modes: #Command mode #Edit mode 两类格式 : #Code #Markdown 快捷键 : command 模式下的快捷键 Edit 模式下的快捷键 A: 上方添加 cell B: 下方添加 cell C: 复制选中的 cell X: 剪切选中的 cell V: 粘贴选中的 cell D,D: 删除选中的 cell Y: 更改 cell 为 code 模式 M: 更改 cell 为 markdown 模式 up: 选择上方的 cell down: 选择下方的 cell 1-9: 更改 cell 为 1-9 级标题 ctrl+enter: 运行 cell ctrl+/: 将选中的内容标记为注释 ctrl+shift+-: 拆分 cell alt+enter: 运行 cell, 并新建 cell

12 第三部分 Python 语法基础

13 Python 语言特征 Python 是解释型语言编译型语言与解释型语言 Python 是可执行的伪代码 1+2 Python 认为一切都是对象继承多态封装变量中存储的是引用如果 b=a,b 会随着 a 的变化而变化 Python 是 " 强类型语言 " 5+ 5 报错, 不进行自动类型转换 ( 除 int,float,bool 之间 )

14 数据类型与基本运算数字 (int float complex) 字符串 (str) 布尔型 (bool) 列表 list [ ] 元组 tuple( ) 字典 dict { }

15 数据类型与基本运算基本运算算术运算 : 加 + 减 - 乘 * 除 / 模 % 地板除 // 幂 ** 比较运算 : 等于 == 不等于!= 大于 > 小于 < 大于等于 >= 小于等于 <= 赋值运算 : 1 链式赋值 2 复合赋值 3 解包赋值 4 赋值调换 i=j=2 i=2 i+=20 a,b,c=1,2,3 a,b=b,a 逻辑运算 : 与 and 或 or 非 not 按位运算 :a = b = 按位与 a&b = 按位或 a b = 按位异或 a^b = 按位取反 ~a = 按位左移 a << 2 = 按位右移 a >> 2 = 成员运算 : 判断是成员 in 判断不是成员 not in 身份运算 : 判断两个变量指向相同的对象 is 指向不同的对象 is not 注 : 运算优先级

16 控制语句条件语句 (1) If else 语句 a,b=2,3 If(a>b): print( a 大于 b ) else: print( a 小于 b ) (2) If elif else 语句 a,b=2,3 If(a>b): print(a) elif(a==b): print( equal ) else: print(b) (3) if 的嵌套 a,b=2,3 If(a>=b): if(a>b): print(a) else: print( equal ) else: print(b) (3) 三元表达式 a,b=2,3 print(a) if a>=b else print(b)

17 控制语句循环语句 : 以求为例 for 循环 while 循环

18 数据容器操作列表元组字典列表 list: [1,2,5, 2, w ] 元组 tuple: (1,2,5, 2, w ) 元组 dict: { age :28, height :180, weight :70}

19 第四部分 Numpy

20 Numpy Numpy 提供了高效存储和操作密集数据缓存的接口, 相比于 python 原生语法,Numpy 的执行效率更高 Numpy 几乎是整个 python 数据科学工具生态系统的核心, 因此, 无论你对数据科学的哪个方面感兴趣, 学好 Numpy 都是非常值得的

21 Numpy 的安装与导入安装 : Anaconda 里已经带有或者 conda install numpy 导入 : import numpy as np 查看版本 : np. version 帮助 : tab 键自动补全或者 np?

22 numpy 数组从列表中创建数组 : np.array([1,2,3,4,5],dtype= float32 ) 注意 :numpy 中的数组必须是同一类型的 np.array([range(i,i+3) for i in [2,4,6]]) 格式化创建数组 : np.zeros() np.ones() np.full() np.arange() np.linspace() np.random.random() np.random.normal() np.random.randint() np.eye() np.empty() 例 :

23 Numpy 数组基础 1 数组的属性每个数组都有 ndim( 数组的维度 ),shape( 数组的大小 ),size( 数组的总大小 ),dtype( 数组中元素的数据类型 ),itemsize( 数组元素字节大小 ),nbytes( 数组总字节大小 )

24 Numpy 数组基础 2 数组的索引 : 获取数组单个元素和 Python 列表一样,Numpy 一维数组中, 可以通过中括号指定索引获取第 i 个值 ( 从 0 开始 ) 在多维数组中, 可以用逗号分隔的索引元组获取元素

25 Numpy 数组基础 2 数组的索引 : 获取数组单个元素和 Python 列表一样,Numpy 一维数组中, 可以通过中括号指定索引获取第 i 个值 ( 从 0 开始 ) 在多维数组中, 可以用逗号分隔的索引元组获取元素也可以用索引方式修改元素值

26 Numpy 数组基础 3 数组的切片 : 获取子数组可以用切片符号 (:) 表示, 语法表示为 x[start:stop:step], 如果不指定默认值 start=0,stop= 维度, step=1; 多维数组切片同样用冒号分隔 ; 也可以用索引和切片配合获取行或列

27 Numpy 数组基础 3 数组的切片 : 获取子数组注意数组切片返回的是数组数据的视图, 并不是数值数据的副本

28 Numpy 数组基础 4 数组的变形数组变形最灵活的实现方式是通过 reshape() 函数来实现

29 Numpy 数组基础 4 数组拼接和分裂将多个数组合并为一个, 或者将一个数组分裂成多个数组的拼接主要由 np.concatenate np.vstack np.hstack 实现数组的分裂主要由 np.split np.hsplit np.vsplit 实现

30 Numpy 数组基础 4 数组拼接和分裂将多个数组合并为一个, 或者将一个数组分裂成多个数组的拼接主要由 np.concatenate np.vstack np.hstack 实现数组的分裂主要由 np.split np.hsplit np.vsplit 实现

31 Numpy 数组计算 : 通用函数为什么要用通用函数? Numpy 为很多类型的操作提供了非常方便的静态类型的可编程的接口, 也被称为向量操作

32 Numpy 数组计算 : 通用函数数组运算函数 1 Numpy 通用数组运算函数的使用方式十分自然, 直接用 python 中原生的算术运算符 ; 2 绝对值函数 abs() 3 三角函数 4 指数与对数 5 专用的通用函数 # Gamma 函数 ( 广义阶乘 ), 高斯积分等

33 Numpy 数组计算 : 通用函数高级通用函数特性 1 制定输出 : 所有的通用函数都可以通过 out 参数来指定计算结果的存放位置 2 聚合 : 连加连乘 3 外积 : 任何通用函数都可以用 outer 方法获得两个不同输入数组所有元素对的函数运算结果

34 Numpy 数组聚合 : 最大值最小值及其他值

arange(3) 规则 2: 如果两个数组的形状在任何一个维度上都不匹配, 那么数组的形状会沿着维度为 1

35 Numpy 数组计算 : 广播广播可以理解为不同大小数组的二进制通用函数 ( 加减乘等 ) 的一组规则规则 1: 如果两个数组的维度数不相同, 那么小维度数组的形状将会在最左边补 1 np.array([[0],[1],[2]])+np.arange(3) 规则 2: 如果两个数组的形状在任何一个维度上都不匹配, 那么数组的形状会沿着维度为 1 的维度扩展以匹配另外一个数组的形状规则 3: 如果两个数组的形状在任何一个维度上都不匹配并且没有任何一个维度等于 1, 那么会引发异常

36 Numpy 数组排序全部排序 : 插入排序选择排序归并排序快速排序冒泡排序 Python 内置了 np.sort() 平均算法复杂度为 O(n 平方 )

37 Numpy 数组排序部分排序 : 数组的分隔 ( 找到数组中前 K 小或者前 K 大的值 ) np.partition()

38 第五部分结语

39 兴趣是最好的老师问题是最好的催化剂满足感是最好的动力来源

40 谢谢!

利用Python进行数据分析

利用Python进行数据分析 Python 数据分析入门中国人民大学图书馆系统部洪先锋 2018/11/8 入门课程目的前言 :Python 数据分析与工作学习定位数据分析的 3 种姿势 Anaconda 简介与安装使用 python 语法基础常用库安装与使用简介案例学习 : 网络爬虫多元线性回归 KNN 聚类 Python 数据分析能做什么? Python 数据分析怎么做? 我能用 Python 做什么? 前言数据科学