PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

弛喻
5 years ago
Views:

1 Magpie tutorial May 27,

2 References A general-purpose machine learning framework for predicting properties of inorganic materials, npj Computational Materials, vol 2: (2016) doi: /npjcompumats Paper: -information Zipfiles: s s2.zip 2

Java is a pre-request Check your Java: java version (command line, Win: cmd or PowerShell; Mac: terminal) For Win, Java SE Runtime Environment 8u171 is needed. Visit http://www.oracle.

3 Java is a pre-request Check your Java: java version (command line, Win: cmd or PowerShell; Mac: terminal) For Win, Java SE Runtime Environment 8u171 is needed. Visit html For mac, Java SE Development Kit 8u171 is needed. Visit downloads html don t download and install Java SE In case a wrong version is installed, to uninstall: 3

$Unzip the provided *.zip to a folder, eg. C:\ In the Code folder In the Datasets folder: There are three *.data file. The glass.data is our training set, which can be edited by a text editor.$

4 Unzip the provided *.zip to a folder, eg. C:\ In the Code folder In the Datasets folder: There are three *.data file. The glass.data is our training set, which can be edited by a text editor. The Magpie folder: Core code: code\magpie\dist\magpie.jar Examples:a couple of cases Lookup data:element attributes tables Doc:documentation Comp gfa{am,ac,cr} Ag20Al25La55 AM Ag15Al10Mg75 AM Ag25Al10Mg65 AM Ag25Al20Mg55 AM Ag35Al10Mg55 AM Ag35Al20Mg45 AM Ag45Al20Mg35 AM Partial of the glass.data Two columns 4

$指令查看当前目录中的文件使用的命令行指令 : cd + 目录 : 切换工作目录 ls : 展示文件夹下的所有文件 ** win cmd 中文件夹分割为 \ 而非 /$

5 Running the code 运行软件 -command line,win: cmd or PowerShell; Mac: terminal 软件为命令行界面, 需要通过命令行 (shell) 打开, 同时, 为了方便后续的操作, 先将工作目录切换到 code 目录下 ( 以 win 下的 PowerShell 举例 ) 打开后 PowerShell 的当前目录为 c 盘 user 中先切换到 D 盘中 (code 的解压位置 ) 进入 D 盘后, 输入 cd (directory) 进入 code 文件夹进入 code 文件夹后, 可以输入 ls 指令查看当前目录中的文件使用的命令行指令 : cd + 目录 : 切换工作目录 ls : 展示文件夹下的所有文件 ** win cmd 中文件夹分割为 \ 而非 / 目录的方式有相对路径与绝对路径两种形式 5

6 Running the code Go to the code folder In the code folder, 打开程序的指令为 : java -jar magpie/dist/magpie.jar 回车后, 指令行变成 > 后就表示已经进入了 Magpie 的软件 6

7 A simple case: running the code using a *.in file 程序的运行方式有两种 : 1) 直接在 > 符号后输入语句, 回车后程序会执行相应的命令 2) 通过写输入文件的方式输入文件为.in 文件, 可以通过文本编辑器创建 txt 后, 再修改后缀名为 in 输入文件写完之后, 通过在 > 后输入 read 文件名.in 的形式执行输入文件中的指令 (read 命令读取文件为当前地址的文件, 注意文件保存的位置,) 程序安装完成打开后可以用例子中的 simple-mode.in 实例文件作为例子, 初步跑通计算程序 01-simple-mode.in data = new data.materials.compositiondataset data import magpie/datasets/small_set.txt data attributes properties directory magpie/lookup Data/ data attributes properties add set general data attributes generate data target delta_e model = new models.regression.wekaregression trees.randomforest model train $data model crossvalidate $data 10 print model validation stats Tip: 推荐使用 *.in 文件编写再 read 的方式, 这样方便反复使用以及记录该例子使用了 small set 这个示范数据集数据中一共有 630 个示例每个示例有化合物名称, 以及 7 个计算得到的性质该例子根据化合物名称计算特征值, 并以 delta_e 为目标进行回归, 并通过 10-fold cross-validation 来对模型进行判断该输入文件先读取这个数据集, 并通过算法生成 data 同时建立 model 为使用的模型, 并且用 data 对 model 进行训练, 最终进行 10-fold cross-validation 7

8 代码简析 : Code explanation 01-simple-mode.in data = new data.materials.compositiondataset data import magpie/datasets/small_set.txt data attributes properties directory magpie/lookup Data/ data attributes properties add set general data attributes generate data target delta_e model = new models.regression.wekaregression trees.randomforest model train $data model crossvalidate $data 10 print model validation stats data = new data.materials.compositiondataset 创建了一个新的变量类似于编程语言中的 (a=new int) data import magpie/datasets/small_set.txt 将数据集导入到 data 这个变量中形式 :data import 文件位置 ( 注 : 输入命令中需要以空格分割 ) data attributes properties directory magpie/lookup Data/ 指定生产变量需要使用的参考文件位置形式 :data attributes properties directory 文件位置 data attributes properties add set general data attributes generate 这两天指令的作用是使 data 变量中产生文章中提及的特征值作为样本的特征值 data target delta_e 这条指令将机器学习的目标设定为 delta_e 这个值至此数据的准备工作以及完成 8

9 Code explanation 01-simple-mode.in data = new data.materials.compositiondataset data import magpie/datasets/small_set.txt data attributes properties directory magpie/lookup Data/ data attributes properties add set general data attributes generate model = new models.regression.wekaregression trees.randomforest 建立一个新的变量 model 它使用了 RandomForest 这个机器学习模型 model train $data 该命令用 data 对模型进行训练形式 model train 数据 $ 字符表示对变量内容进行访问 data target delta_e model = new models.regression.wekaregression trees.randomforest model train $data model crossvalidate $data 10 print model validation stats model crossvalidate $data 10 该命令是对 model 再 data 这个数据集合上进行 10 重交叉验证 print model validation stats 输出刚刚验证的结果 9

Output 通过 read 01-simple-model.in 程序会一步一步执行输入文件中的代码行每一行的代码都会进行显示, 执行完毕后也会输出一行执行的结果 Print 语句之后, 程序输出了最后的结果 : Number Tested: 612 Pearson's Correlation (R): 0.9735 Spearman's Correlation (Rho): 0.

10 Output 通过 read 01-simple-model.in 程序会一步一步执行输入文件中的代码行每一行的代码都会进行显示, 执行完毕后也会输出一行执行的结果 Print 语句之后, 程序输出了最后的结果 : Number Tested: 612 Pearson's Correlation (R): Spearman's Correlation (Rho): Kendall's Correlation (Tau): MAE: e-01 RMSE: e-01 MRE: ROC AUC: : 预测与实际结果的相关系数 MAE:mean-absolute error RMSE:root mean squared error MRE:mean relative error AUC:area under curve 10

11 5. Magpie 命令语句形式程序内部命令变量类型以及其对应的命令 read 文件名 (.in 文件 ) list ( 输出目前的变量和内容摘要 ) 创建变量 data = new data.dataset 形式 :<variable name> = new <class name> <options...> 对变量进行操作 data import data.csv 形式 :<variable name> <command...> 11

12 6. Magpie 中的主要内容 : 变量类型变量类型 datasets models data.dataset data.multipropertydataset data.materials.elementdataset Classification-models Regression-models models.classification.splitclassifier models.classification.wekaclassifier models.regression.classificationregression models.regression.wekaregression 详细的变量介绍请参考软件包中的 \code\magpie\doc 文件夹中的 variables.html 12

13 如何使用 variables.html 这个命令说明文档? 网页文档中首先展示了所有可用的文档类型可以点击每一个变量类型, 查看它可以执行的操作 13

14 如何使用 variables.html 这个命令说明文档? 创建变量 data = new data.dataset 形式 :<variable name> = new <class name> <options...> 指令的分析对变量进行操作 data import data.csv 形式 :<variable name> <command...> Example1. data 变量的 import 指令命令的一般形式为 : [output =] <variable name> <command > 说明文档本例中不需要 output 应用方式 : data import data.csv data.csv 变量名命令 14

15 如何使用 variables.html 这个命令说明文档? Example2. 如果想对 data 变量进行划分 1. 首先查看 data 变量的命令, 找到可以实现这个功能的命令 : 2. 命令的一般形式为 : [output =] <variable name> <command > datasubset data subset 0.5 应用方式 : datasubset = data subset 0.5 Subset 后的 Number fraction 代表着可以接受两种输入方式, 如果是小于 1 的数, 就认为是一个 fraction 15

16 A harder case 背景介绍数据集 : glass.data 位置 :code/datasets 文件夹中训练算法 :wekaclassification 的随机子空间要求 : 将所有的混合类 (AC) 修改成 (CR) 只用全部元素为金属元素的数据进行训练对 Zr-Ni-Cu 相图进行预测保存预测结果 glass.data 数据形式 : Comp: 元素组成配比 Gfa: ( 三种可能的标志 ) AM:amorphous AC:AM and CR CR:crystalline 16

17 A harder case 输入文件 : 02-harder-model.in 创建一个 data 数据类型, 用 import 方法导入 glass.data 进行训练, 将训练的目标定位 gfa (glass forming ability) 用 modifier 方法, 将原来的 AC 类全部修改为 CR 类, 将 3 个类的分类变为 2 类分类问题 attribute generate 方法产生特征属性 data filter 方法对 data 变量进行筛查, 剔除含有非金属元素的化合物成分, 使得 data 只包含金属化合物 model 设置为 WekaClassifier 后面的输入是这个学习算法的参数, 它的具体算法为 RandomSubspace model train $data 来对模型进行训练, 并将模型保存建立一个 search 数据集, 它复制了 data 这个数据集的模式 (-empty), 但没有复制数据集的实际数据将 search 的 target 也定位 gfa 建立一个 gen 数据集, 产生 Zr,Ni,Cu 三种元素以不同比例组成的, 每隔 2% 含量变化的化合物集合创建一个 eval 类, 将 model 最为参数传入 eval 在 eval 中添加 search 和 gen 这两个数据, 同时对 gen 进行预测保存 search 为 Zr-Ni-Cu, 文件格式为 csv 17

$进入 code\magpie\javadoc\magpie 文件夹可以在 data ->$

18 A harder case! 说明 : 在使用中,variables.html 文档中只是简单得接受了各个变量可以使用的命令, 但是没有具体介绍具体的一些参数例如, 我们要实现 filter 方法 :data filter include AllMetalFilter 例如 : 说明中没有说明可以共选择的 method, 此时需要我们自己进入程序文件夹中搜索可以使用的方法方法如下进入 code\magpie\javadoc\magpie 文件夹可以在 data -> utilities 中找到 filter 一个文件夹其中包含了各种功能的 filter, 以及他们的方法接受其他方法也可以通过这个方式找到它的子功能以及使用的方法 18

2) Calculate the coordinate of a point B (100,0) X=100* (B%+0.5(1-A%-B%)) Y=100* sqrt(3)*0.

19 A harder case: visualization using Excel Output file: Zr-Ni-Cu.csv Result output: name measured=nan (no measurement) predicted: predicted class probability: probability of the prediction A C (50,50*sqrt(3)) (X,Y) 2) Calculate the coordinate of a point B (100,0) X=100* (B%+0.5(1-A%-B%)) Y=100* sqrt(3)*0.5(1-a%-b%) 3) Get a list of coordinate X,Y and the target First, convert name into composition Zr=MID(A2,FIND("Z",A2)+2,FIND("C",A2)-FIND("Z",A2)-2) Cu=MID(A2,FIND("C",A2)+2,FIND("N",A2)-FIND("C",A2)-2) Ni=RIGHT(A2,LEN(A2)-FIND("N",A2)-1) 4) Sort according to probability (copy to a different sheet) 19

5)Select a color scale: Prob>0.9 Prob>0.7 Prob>0.

with different color on the same graph 6) Choose

Complete the graph 相图 7) Add data for the next

30 20 10 0 0.00 20.00 40.00 60.00 80.00 100.

20 5)Select a color scale: Prob>0.9 Prob>0.7 Prob>0.5 Plot each section with different probability with different color on the same graph 6) Choose the first group of data and plot scatter graph 8) Complete the graph 相图 7) Add data for the next section 70 图表标题 choose data with probability from 0.6 to

WinMDI 28

WinMDI 28 WinMDI WinMDI 2 Region Gate Marker Quadrant Excel FACScan IBM-PC MO WinMDI WinMDI IBM-PC Dr. Joseph Trotter the Scripps Research Institute WinMDI HP PC WinMDI WinMDI PC MS WORD, PowerPoint, Excel, LOTUS