参数说明产品文档

Size: px

Start display at page:

Download "参数说明产品文档"

巢米纪
5 years ago
Views:

1 机智机器学习参数说明产品文档

2 版权声明腾讯云版权所有本文档著作权归腾讯云单独所有, 未经腾讯云事先书面许可, 任何主体不得以任何形式复制修改抄袭传播全部或部分本文档内容商标声明及其它腾讯云服务相关的商标均为腾讯云计算 ( 北京 ) 有限责任公司及其关联公司所有本文档涉及的第三方主体的商标, 依法由权利人所有服务声明本文档意在向客户介绍腾讯云全部或部分产品服务的当时的整体概况, 部分产品服务的内容可能有所调整您所购买的腾讯云产品服务的种类服务标准等应由您与腾讯云之间的商业合同约定, 除非双方另有约定, 否则, 腾讯云对本文档内容不做任何明示或模式的承诺或保证第 2 页共 12 页

3 文档目录文档声明... 2 数据格式... 4 参数设置第 3 页共 12 页

4 数据格式 1 LDA 1.1 输入数据一行一个文本,utf-8 或 gbk 编码例如 : 习近平在英国议会讲话 : 中英关系创下多个第一国家旅游局接入内地游客香港被殴案调查美国中考中国区成绩被取消因高分太多 1.2 输出数据含义如下 : *.docdistontopic: 主题到文档聚类结果 ( 文档主题分布取 top1); *.model.others: 训练中所使用的参数 ; *.model.tassign: 训练集 tf-idf 值 ; *.model.wordmap.txt: 词频统计 ; *.topicdistondoc: 主题到文档的分布 ; *.topic_words.txt: 主题到词的分布 2 CNN 2.1 模型训练输入数据输入数据是一个压缩包, 内容是所有图片和对应的索引文件, 包括训练集索引文件 train.txt, 验证集的索引文件 valid.txt, 标签索引文件 label.txt 压缩包的内容结构 : 第 4 页共 12 页

5 dataset/train.txt dataset/valid.txt dataset/label.txt dataset/image/ 图片存放在 dataset/image/, 子目录结构由用户自定义 train.txt 和 valid.txt 的格式一样, 第一列是图片路径 ( 相对路径, 例如 image/1.jpg), 第二列是图片分类的编号 ( 从 0 开始递增 ) label.txt 每一行是一个分类名字, 对应的分类编号是行号减 1, 即从 0 开始标号输出数据输出一个二进制的模型文件 task_id.model, 三个 json 格式的训练信息文件 info.txt,stat.txt,accuracy.txt info.txt 格式 : "start_time": " :40:13", // 开始时间 "end_time": " :40:13", // 结束时间 "train_image_num": , // 训练集图片数 "valid_image_num": , // 验证集图片数 "category_num": 1000, // 分类数 "total_iteration": , // 总迭代次数 "cur_iteration": 56000, // 当前的迭代次数 "progress": 0.56, // 训练进度, 浮点数 0-1 "top1_accuracy": 0.65, // 当前的 top1 准确率, 浮点数 0-1 "top5_accuracy": 0.83, // 当前的 top5 准确率, 浮点数 0-1 "stat_file": "stat.txt", // 统计信息,json 格式 "detail_accuracy": "accuracy.txt", // 按照分类统计准确率信息,json 格式第 5 页共 12 页

6 stat.txt 格式 : "stat": [ "iter": 100, // 迭代次数 "top1_accuracy": 0.55, // 当前的 top1 准确率, 浮点数 0-1 "top5_accuracy": 0.73, // 当前的 top5 准确率, 浮点数 0-1 "loss": 3.25 // 损失函数的输出值, "iter": 200, // 迭代次数 "top1_accuracy": 0.65, // 当前的 top1 准确率, 浮点数 0-1 "top5_accuracy": 0.83, // 当前的 top5 准确率, 浮点数 0-1 "loss": 2.15 // 损失函数的输出值 ] accuracy.txt 格式 : "accuracy": [ "index": 0, // 分类编号 "name": " 宝马 ", // 分类名 "top1_accuracy": 0.55, // 当前的 top1 准确率, 浮点数 0-1 "top5_accuracy": 0.73, // 当前的 top5 准确率, 浮点数 0-1, "index": 1, // 分类编号 "name": " 奔驰 ", // 分类编号 "top1_accuracy": 0.65, // 当前的 top1 准确率, 浮点数 0-1 第 6 页共 12 页

7 "top5_accuracy": 0.83, // 当前的 top5 准确率, 浮点数 0-1 ] 2.2 模型预测输入数据输入数据是一个压缩包, 内容是待预测的图片和对应的索引文件 test.txt 压缩包的内容结构 : dataset/test.txt dataset/image/ 图片存放在 dataset/image/, 子目录结构由用户自定义 test.txt 每一行是一个图片路径 ( 相对路径, 例如 image/1.jpg) 输出数据输出明文的预测结果 result.txt, 训练信息 info.txt result.txt 第 1 列是图片路径, 第 2 列和第 3 列是概率最高的图片分类名字和概率, 依次类推, 展示概率最高的 5 种结果, 一共 11 列 info.txt 格式 : "start_time": " :40:13", // 开始时间 "end_time": " :40:13", // 结束时间第 7 页共 12 页

8 "total_image_num": , // 需要预测的图片数 "finished_image_num": 50000, // 完成预测的图片数 "progress": 0.5, // 训练进度, 浮点数 0-1 "result": "result.txt" // 预测结果文件 2.3 特征提取输入数据输入数据是一个压缩包, 内容是待抽取特征的图片和对应的索引文件 test.txt 压缩包的内容结构 : dataset/test.txt dataset/image/ 图片存放在 dataset/image/, 子目录结构由用户自定义 test.txt 每一行是一个图片路径 ( 相对路径, 例如 dataset/image/1.jpg) 输出数据输出明文的特征文件 result.txt, 训练信息 info.txt result.txt 第一列是图片路径, 第二列是参数列表, 参数之间用逗号隔开 info.txt 格式 : "start_time": " :40:13", // 开始时间 "end_time": " :40:13", // 结束时间第 8 页共 12 页

9 "total_image_num": , // 需要预测的图片数 "finished_image_num": 50000, // 完成预测的图片数 "progress": 0.5, // 训练进度, 浮点数 0-1 "result": "result.txt" // 预测结果文件 3 LR 3.1 输入数据每行一条记录, 字段由空格分隔记录第 1 个字段为点击数, 第 2 个字段为展示数, 后面跟着由维数号和特征值组成的特征向量稀疏表示例如 : 含义 : 点击数为 0, 展示数为 3,x[1]=1.0, x[3]=4.0, x[6]=1.0, 向量 x 的其余维度都为 0 值 3.2 输出数据训练输出模型文件只有一行, 由冒号 ':' 连接的 < 下标, 值 > 对组成, 空格分隔例如 : 0:0 1: : : : : : 含义 : 权重向量的各维值分别为 w[0]=0 w[1]= w[2]= w[3]= w[4]= w[5]= w[6]= 预测输出第 9 页共 12 页

10 对应输入数据中的每一行特征, 输出一个 [0,1] 之间的浮点数例如 : Word2Vec 4.1 输入数据一行一个文本,utf-8 或 gbk 编码例如 : 习近平在英国议会讲话 : 中英关系创下多个第一国家旅游局接入内地游客香港被殴案调查美国中考中国区成绩被取消因高分太多 4.2 输出数据 : *.bin: 词向量的二进制文件 ; *.txt: 词向量的文本可读文件 ; 欢迎加入腾讯机智官方交流 qq 群 : 第 10 页共 12 页

11 参数设置 1 LDA 参数字段参数名称参数意义默认值 Topic_size 主题数主题聚类个数, 需 100 小于训练文档数 Iterate_size 迭代次数小于 500 一般次即可收敛 2 CNN 参数字段参数名称参数意义默认值 Model_type 模型类型 GoogleNet 或 Alex GoogleNet Net Epoch 训练轮次数据训练多少轮 10 Finetune 参数初始化随机或 finetune fi 随机 netune 是用训练好的模型参数进行初始化, 模型是用 image Net 1000 种图片数据训练的 3 LR 参数字段参数名称参数意义默认值 Dimension 维数实际用于训练的特 1000 Max_iteration_nu m 征向量维数, 下标不得大于等于该值最大迭代次数目标函数优化求解的最大迭代次数 Word2Vec 第 11 页共 12 页

12 Powered by TCPDF ( 参数说明产品文档参数字段参数名称参数意义默认值 Layer_size 维数词向量的表示维数 50 Model_type 模型使用模型 :Cbow/S Cbow kip-gram Enable_hs 使用 hs 是否使用分层 softm 1 ax Iterate_site 迭代次数 5 Window 前后窗口 5 Sample 采样词频阈值 Negative 负采样数 5 Min_count 最小词频低于最小词频的词 5 将丢弃 Alpha 学习率初始学习率欢迎加入腾讯机智官方交流 qq 群 : 第 12 页共 12 页

Domain Management产品文档

Domain Management产品文档腾讯云Content Delivery Network Domain Management 产品文档版权声明 2015-2016 腾讯云版权所有本文档著作权归腾讯云单独所有未经腾讯云事先书面许可任何主体不得以任何形式复制修改抄袭传播全部或部分本文档内容商标声明及其它腾讯云服务相关的商标均为腾讯云计算北京有限责任公司及其关联公司所有本文档涉及的第三方主体的商标依法由权利人所有