目录达观云服务文本挖掘... 1 接口文档... 1 概述... 3 接入流程方法概述... 3 步骤 1: 获取 AppId AppName... 3 步骤 2: 设置 IP 白名单... 3 文章自动标签提取... 4 文章自动归类... 7 文章自动审核 ( 政治色情等 )... 9 垃圾

Size: px

Start display at page:

Download "目录达观云服务文本挖掘... 1 接口文档... 1 概述... 3 接入流程方法概述... 3 步骤 1: 获取 AppId AppName... 3 步骤 2: 设置 IP 白名单... 3 文章自动标签提取... 4 文章自动归类... 7 文章自动审核 ( 政治色情等 )... 9 垃圾"

欲匀居
7 years ago
Views:

1 达观云服务文本挖掘接口文档版本号更新日期修改内容详细界定达观文本挖掘接口 1

2 目录达观云服务文本挖掘... 1 接口文档... 1 概述... 3 接入流程方法概述... 3 步骤 1: 获取 AppId AppName... 3 步骤 2: 设置 IP 白名单... 3 文章自动标签提取... 4 文章自动归类... 7 文章自动审核 ( 政治色情等 )... 9 垃圾评论自动过滤

3 概述达观数据科技为应用方提供了功能强大使用灵活的文本挖掘服务, 通过简单易用的 HTTP 接口, 帮助应用方有效分析大量的文本数据, 提高应用方的处理效率达观文本挖掘系统提供四种文本挖掘服务 : 1 文章自动标签提取: 从文本数据中自动提取出较为重要的关键词标签 2 文章自动归类: 自动判别文章所属类别, 并给出相应的置信度, 比如判断一篇文章是属于娱乐八卦时事政治还是数码科技等 3 文章自动审核: 自动判别文章内容是否政治违规或者是否情色违规, 同时给出违规的严重程度 4 垃圾评论自动过滤: 自动判断用户评论数据是否为垃圾评论, 并给出置信度接入流程方法概述步骤 1: 获取 AppId AppName 企业开发者请向达观管理员申请账号, 使用申请账号登陆系统后台在后台的访问设置中可以获取 appid 和 appname ( 例如获得的 appid 为 ,appname 为 datagrand) 步骤 2: 设置 IP 白名单为了安全起见, 也请在访问设置中将您的 IP 加入白名单 ( 步骤 1 中截图中的 ip 白名单的位置 ) 我们的系统只允许在 IP 白名单的请求来调用, 保证您的服务和数据的安全 3

4 文章自动标签提取请求 URL: ($app_name 为要操作的应用名称 ) 支持格式 JSON HTTP 请求方式 POST 请求参数参数类型必需描述 appid int 是应用的 id text 是要提标签的文本数据返回结果参数类型描述执行结果,OK 为成功,FAIL 为失败,WARN 为有异常, status 请根据返回的错误信息进行排查 tag_list request_id 提标签结果, 为一个列表的 json 字符串, 列表每一项是一个文本标签和权重, 权重取值范围是 0~1000 该次调用的记录 id, 主要用于排查问题使用 errors 错误信息示例 : curl -i -X POST -H "Content_Type: application/json" -d 'appid=12345&text=alphago 首战胜李世石, 科学家 : 机器人超过人类很正常 ' ' 成功返回 : 4

5 "status":"ok", "tag_list": [ "tag": "alphago", "weight": 233 "tag": " 李世石 ", "weight": 156 "tag": " 机器人 ", "weight": 145 "tag": " 科学家 ", "weight": 113 "tag": " 人类 ", "weight": 103 "tag": " 战胜 ", "weight": 95 "tag": " 正常 ", "weight": 82 "tag": " 超过 ", "weight": 63 "tag": " 很 ", "weight": 11 ], "request_id":" ", 错误返回 : 5

6 "status":"fail", "errors": "code":1012, "message":"text not found" 警告返回 : "status":"warn", "tag_list": [ "tag": "alphago", "weight": 233 "tag": " 李世石 ", "weight": 156 "tag": " 机器人 ", "weight": 145 "tag": " 科学家 ", "weight": 113 "tag": " 人类 ", "weight": 103 "tag": " 战胜 ", "weight": 95 "tag": " 正常 ", "weight": 82 "tag": " 超过 ", "weight": 63 6

7 "tag": " 很 ", "weight": 11 ], "errors": "code":8012, "message":"some warning information" 文章自动归类请求 URL: ($app_name 为要操作的应用名称 ) 支持格式 JSON HTTP 请求方式 POST 请求参数参数类型必需描述 appid int 是应用的 id text 是要进行归类的文本数据返回结果参数类型描述执行结果,OK 为成功,FAIL 为失败,WARN 为有异常, status 请根据返回的错误信息进行排查 7

8 result request_id 归类结果, 为一个字典, 字典的键 (key) 是类别名称, 值 (value) 是属于该类别的置信度 (0 到 1 之间的浮点数 ), 值越大代表置信度越高该次调用的记录 id, 主要用于排查问题使用 errors 错误信息示例 : curl -i -X POST -H "Content_Type: application/json" -d 'appid=12345&text= 何润东夫妇婚后首度甜蜜同行 ' ' 成功返回 : "status":"ok", result : 娱乐 :0.7328, 时事 :0.1900, 科技 : "request_id":" ", 错误返回 : "status":"fail", "errors": "code":1012, "message":"text not found" 警告返回 : "status":"warn", result : 娱乐 :0.7328, 时事 :0.1900, 科技 : "errors": "code":8012, "message":"some warning information" 8

9 文章自动审核 ( 政治色情等 ) 请求 URL: ($app_name 为要操作的应用名称 ) 支持格式 JSON HTTP 请求方式 POST 请求参数参数类型必需描述 appid int 是应用的 id text 是要进行审核的文本数据 type_list 是为一个列表的 json 字符串, 列表每一项是要做审核的类型代号, politic 为政治类审核, porn 为情色类审核, 列表不能为空返回结果参数类型描述执行结果,OK 为成功,FAIL 为失败,WARN 为有异常, status 请根据返回的错误信息进行排查 result request_id 审核结果, 为一个字典, 字典的键 (key) 是审核类型代号, 值 (value) 是违规严重程度 (0 到 1 之间的浮点数 ), 值越大代表违规程度越严重该次调用的记录 id, 主要用于排查问题使用 errors 错误信息示例 : 9

10 curl -i -X POST -H "Content_Type: application/json" -d 'appid=12345&type_list=["politic","porn"]&text= 毛新宇 : 敌对势力借网络攻击毛泽东思想 ' ' 成功返回 : "status":"ok", result : "politic":0.5328, "porn":0.00 "request_id":" ", 错误返回 : "status":"fail", "errors": "code":1012, "message":"text not found" 警告返回 : "status":"warn", result : "politic":0.5328, "porn":0.00 "errors": "code":8012, "message":"illegal type" 垃圾评论自动过滤请求 URL: ($app_name 为要操作的应用名称 ) 10

11 支持格式 JSON HTTP 请求方式 POST 请求参数参数类型必需描述 appid int 是应用的 id text 是要进行垃圾评论判断的文本数据返回结果参数类型描述执行结果,OK 为成功,FAIL 为失败,WARN 为有异常, status 请根据返回的错误信息进行排查 score request_id 判定为垃圾评论的置信度 (0 到 1 之间的浮点数 ), 值越大代表是垃圾评论的可能性越大该次调用的记录 id, 主要用于排查问题使用 errors 错误信息示例 : curl -i -X POST -H "Content_Type: application/json" -d 'appid=12345&text= 借地打广告, 不喜可删 ' ' 成功返回 : "status":"ok", weight_ad :0.9328, // 广告评论权重, 0 到 1 之间数值越大, 该评论为广告评论的概率越大 is_ad :1, //0 为正常文本,1 为广告评论 weight_nonsense :0.0, // 无意义文本权重, 0 到 1 之间数值越大, 该评论为无意义文本的概率越大 is_nonsense :0, //0 为正常文本,1 为无意义文本 "request_id":" ", 11

12 错误返回 : "status":"fail", "errors": "code":1012, "message":"text not found" 警告返回 : "status":"warn", score :0.9328, "errors": "code":8012, "message":"some warning information" 12

同时, 用户可在系统后台查看到并且进行结果反馈操作结果反馈请点击右侧的操作按钮反馈结果会上传系统用于模型训练和效果提升如需将反馈结果实时响应给应用方, 可以添加回调地址回调地址是应用方提供的, 接受消息推送的地址添加回调地址之后, 一旦用户在系统平台提交结果反馈, 反馈结果会通过 POS

同时, 用户可在系统后台查看到并且进行结果反馈操作结果反馈请点击右侧的操作按钮反馈结果会上传系统用于模型训练和效果提升如需将反馈结果实时响应给应用方, 可以添加回调地址回调地址是应用方提供的, 接受消息推送的地址添加回调地址之后, 一旦用户在系统平台提交结果反馈, 反馈结果会通过 POS 文本挖掘接口文档概述达观数据科技为应用方提供了功能强大使用灵活的文本挖掘服务, 通过简单易用的 HTTP 接口, 帮助应用方有效分析大量的文本数据, 提高应用方的处理效率达观文本挖掘系统提供四种文本挖掘服务 : 1. 文章自动标签提取 : 从文本数据中自动提取出较为重要的关键词标签 2. 文章自动归类 : 自动判别文章所属类别, 并给出相应的置信度, 比如判断一篇文章是属于娱乐八卦时事政治还是数码科技等

目录 达观云服务文本挖掘... 1 接口文档... 1 概述... 3 接入流程方法概述... 3 步骤 1: 获取 AppId AppName... 3 步骤 2: 设置 IP 白名单... 3 文章自动标签提取... 4 文章自动归类... 7 文章自动审核 ( 政治 色情等 )... 9 垃圾

目录达观云服务文本挖掘... 1 接口文档... 1 概述... 3 接入流程方法概述... 3 步骤 1: 获取 AppId AppName... 3 步骤 2: 设置 IP 白名单... 3 文章自动标签提取... 4 文章自动归类... 7 文章自动审核 ( 政治色情等 )... 9 垃圾