同时, 用户可在系统后台查看到并且进行结果反馈操作结果反馈请点击右侧的操作按钮反馈结果会上传系统用于模型训练和效果提升如需将反馈结果实时响应给应用方, 可以添加回调地址回调地址是应用方提供的, 接受消息推送的地址添加回调地址之后, 一旦用户在系统平台提交结果反馈, 反馈结果会通过 POS

Size: px

Start display at page:

Download "同时, 用户可在系统后台查看到并且进行结果反馈操作结果反馈请点击右侧的操作按钮反馈结果会上传系统用于模型训练和效果提升如需将反馈结果实时响应给应用方, 可以添加回调地址回调地址是应用方提供的, 接受消息推送的地址添加回调地址之后, 一旦用户在系统平台提交结果反馈, 反馈结果会通过 POS"

串郦
7 years ago
Views:

1 文本挖掘接口文档概述达观数据科技为应用方提供了功能强大使用灵活的文本挖掘服务, 通过简单易用的 HTTP 接口, 帮助应用方有效分析大量的文本数据, 提高应用方的处理效率达观文本挖掘系统提供四种文本挖掘服务 : 1. 文章自动标签提取 : 从文本数据中自动提取出较为重要的关键词标签 2. 文章自动归类 : 自动判别文章所属类别, 并给出相应的置信度, 比如判断一篇文章是属于娱乐八卦时事政治还是数码科技等 3. 文章自动审核 : 自动判别文章内容是否政治违规或者是否情色违规, 同时给出违规的严重程度 4. 垃圾评论自动过滤 : 自动判断用户评论数据是否为垃圾评论, 并给出置信度注意事项您需要完成以下步骤后, 才可调用达观数据相关服务 1. 如您还没有开通达观账号, 请先开通, 账号开通请参考文档 :Step 1: 开通账号 ( start/step1) 2. 获取您的 appid 及 appname, 请参考文档 : 获取 AppId 及 AppName ( start/step1# 获取 AppId AppName) 3. 设置 IP 白名单, 请参考文档 : 设置 IP 白名单 ( start/step1# 设置 IP 白名单 ) 数据统计和结果反馈数据统计和结果反馈目前仅限于文章自动归类文章自动审核和垃圾评论自动过滤三种服务中在上述操作正确执行, 服务运行正常情况下, 可以登录到系统后台查看统计数据

2 同时, 用户可在系统后台查看到并且进行结果反馈操作结果反馈请点击右侧的操作按钮反馈结果会上传系统用于模型训练和效果提升如需将反馈结果实时响应给应用方, 可以添加回调地址回调地址是应用方提供的, 接受消息推送的地址添加回调地址之后, 一旦用户在系统平台提交结果反馈, 反馈结果会通过 POST 方式的 HTTP 请求, 推送到用户填的回调地址, 用户可以根据推送内容去进行相关处理反馈结果格式见各服务模块接口列表

3 文章自动标签提取 URL Http Method POST Http 返回格式 JSON Http 请求参数说明参数类型是否必需描述 appid int 是应用的 id text string 是要提标签的文本数据 title string 否要提标签的文本标题 textid string 否标记该文本的唯一 ID Http 返回结果说明字段类型描述 status string 执行结果,OK 为成功,FAIL 为失败,WARN 为有部分非重要字段异常, 请根据返回错误信息进行排查 tag_list string 提标签结果, 为一个列表的 json 字符串, 列表每一项是一个文本标签和权重, 权重取值范围是 0~1000 request_id string 该条上报记录的序号, 仅用于排查问题使用 errors string 错误信息示例 CURL 调用示例 : curl -i -X POST -d 'appid=12345&text=alphago 首战胜李世石, 科学家 : 机器人超过人类很正常 &title= 围棋比赛 &textid= ' ' and.com/tagging/meituan' 成功返回示例 :

4 "status": "OK", "tag_list": [ "tag": " 围棋比赛 ", "weight": 1000 "tag": "alphago", "weight": 233 "tag": " 李世石 ", "weight": 156 "tag": " 机器人 ", "weight": 145 "tag": " 科学家 ", "weight": 113 "tag": " 人类 ", "weight": 103 "tag": " 战胜 ", "weight": 95 "tag": " 正常 ", "weight": 82 "tag": " 超过 ", "weight": 63 "tag": " 很 ", "weight": 11 ], "request_id": " ", 错误返回示例 : "status": "FAIL", "code": 1012, "message": "text not found" 警告返回 :

5 "status": "WARN", "tag_list": [ "tag": " 围棋比赛 ", "weight": 1000 "tag": "alphago", "weight": 233 "tag": " 李世石 ", "weight": 156 "tag": " 机器人 ", "weight": 145 "tag": " 科学家 ", "weight": 113 "tag": " 人类 ", "weight": 103 "tag": " 战胜 ", "weight": 95 "tag": " 正常 ", "weight": 82 "tag": " 超过 ", "weight": 63 "tag": " 很 ", "weight": 11 ], "code": 8012, "message": "some warning information" 文章自动归类 URL Http Method POST Http 返回格式 JSON Http

6 Http 请求参数说明参数类型是否必需描述 appid int 是应用的 id text string 是要进行归类的文本数据 title string 否要进行归类的文本标题 textid string 否标记该文本的唯一 ID Http 返回结果说明字段类型描述 status string 执行结果,OK 为成功,FAIL 为失败,WARN 为有部分非重要字段异常, 请根据返回错误信息进行排查 result string 归类结果, 为一个字典, 字典的键 (key) 是类别名称, 值 (value) 是属于该类别的置信度 (0 到 1 之间的浮点数 ), 值越大代表置信度越高 request_id string 该条上报记录的序号, 仅用于排查问题使用 errors string 错误信息示例 CURL 调用示例 : curl -i -X POST -d 'appid=12345&text= 何润东夫妇婚后首度甜蜜同行 &textid= ' ' 成功返回示例 : "status": "OK", "result": " 娱乐 ": , " 时事 ": , " 科技 ": "request_id": " ", 错误返回示例 :

7 "status": "FAIL", "code": 1012, "message": "text not found" 警告返回示例 : "status": "WARN", "result": " 娱乐 ": , " 时事 ": , " 科技 ": "code": 8012, "message": "some warning information" 结果反馈推送 POST 请求格式参数类型描述 textid string 标记该文本的唯一 ID

8 feedback_info string 反馈结果 json 格式示例 : is_cate_entertainment :1, is_cate_ sports :1 其中 1 表示是文本属于该分类 ( 此处为娱乐分类 ) key 的形式如 is_cate_ 类别 key 包括如下 : 社会 : is_cate_society 财经 : is_cate_finance 健康 : is_cate_health 美食 : is_cate_food_num 时尚 : is_cate_fashion 教育 : is_cate_education 育儿 : is_cate_baby 房产家居 : is_cate_house 文化生活 : is_cate_culture 旅游摄影 : is_cate_travel 搞笑 : is_cate_humor 情感 : is_cate_emotion 娱乐 : is_cate_entertainment 科技 : is_cate_science 数码 : is_cate_digital 互联网 : is_cate_internet 游戏 : is_cate_games 汽车 : is_cate_automobile 体育运动 : is_cate_sports 文章自动审核 ( 政治色情等 ) URL Http Method POST Http 返回格式 JSON Http 请求参数说明参数类型是否必需描述 appid int 是应用的 id text string 是要进行审核的文本数据 title string 否要进行审核的文本标题 type_list string 是为一个列表的 json 字符串, 列表每一项是要做审核的类型代号, politic 为政治类审核, porn 为情色类审核, 列表不能为空

9 textid string 否标记该文本的唯一 ID userid string 否登录用户 ID cid string 否未登录用户 ID pc 用户是 cookieid, 安卓 APP 是 imei, 苹果 APP 是 UDID mac string 否用户的 mac 地址 user string 否用户名称或昵称 ip string 否文本提交 IP Http 返回结果说明参数类型描述 status string 执行结果,OK 为成功,FAIL 为失败,WARN 为有部分非重要字段异常, 请根据返回错误信息进行排查 result string 审核结果, 为一个字典, 字典的键 (key) 是审核类型代号, 值 (value) 是违规严重程度 (0 到 1 之间的浮点数 ), 值越大代表违规程度越严重 request_id string 该条上报记录的序号, 仅用于排查问题使用 errors string 错误信息说明 : (1) 如果调用时 type_list 里有 politic, 返回值的 result 将包含 politic ( 涉政程度 ) 和 reaction ( 政治违规程度 ) 两个 key, 返回值的 politic 表示文本与政治相关的程度有多少, 不表示文本是否政治违规, 需要知道文本的政治违规嫌疑程度有多大, 请使用 reaction (2) 审核分值解读 : 涉黄 (porn): 正常 (0 0.5), 涉黄 ( ), 严重涉黄 ( ) 涉政 (politic): 正常 (0 0.5), 涉政 ( ), 严重涉政 ( ) 反动 (reaction): 正常 (0 0.5), 反动 ( ), 严重反动 ( ) 示例 CURL 调用示例 : curl -i -X POST -d 'appid=12345&type_list=["politic","porn"]&text= 毛新宇 : 敌对势力借网络攻击毛泽东思想 &textid= ' ' i.datagrand.com/audit/meituan' 成功返回示例 :

10 "status": "OK", "result": "politic": 0.723, "porn": 0.088, "reaction": 0.00 "request_id": " ", 错误返回示例 : "status": "FAIL", "code": 1012, "message": "text not found" 警告返回示例 : "status": "WARN", "result": "politic": 0.723, "porn": 0.088, "reaction": 0.00 "code": 8012, "message": "illegal type" 结果反馈推送 POST 请求格式参数类型描述 textid string 标记该文本的唯一 ID feedback_info string 反馈结果 json 格式示例 : is_reaction :0, is_porn :null, is_politic :1 其中 1 表示是涉黄 / 涉政 / 反动,0 表示正常,null 表示未标记

11 垃圾评论自动过滤 URL Http Method POST Http 返回格式 JSON Http 请求参数说明参数类型是否必需描述 appid int 是应用的 id text string 是要进行垃圾评论判断的文本数据 title string 否评论的标题 textid string 否标记该文本的唯一 ID userid string 否发表评论的登录用户 ID user_type string 否用户类型, 包括 common ( 通用 ) 和 zhubo ( 主播 ) 默认是 common cid string 否未登录用户 ID pc 用户是 cookieid, 安卓 APP 是 imei, 苹果 APP 是 UDID mac string 否用户的 mac 地址 user string 否用户名称或昵称 ip string 否评论提交 IP type_list string 否垃圾评论识别种类, 包括广告 ( ad ) 和低质量文本 ( nonsense ), 该字段为 json 格式, 形如 [ ad, nonsense ] 或 [ ad ], 默认为 [ ad, nonsense ] 若指定该参数, 则返回结果只包含指定类型的识别结果 Http 返回结果说明字段类型描述 status string 执行结果,OK 为成功,FAIL 为失败,WARN 为有部分非重要字段异常, 请根据返回错误信息进行排查 score string 判定为垃圾评论的置信度 (0 到 1 之间的浮点数 ), 值越大代表是垃圾评论的可能性越大

12 request_id string 该条上报记录的序号, 仅用于排查问题使用 errors string 错误信息示例 CURL 调用示例 : curl -i -X POST -d 'appid=12345&text=3m 每天百分之 1 利息,60 元起步, 有需要可以联系我,Q , 或者关注百度贴吧, 老马平台吧!&title= 顶顶顶 &textid= &user= 巧儿 ' ' tuan' 成功返回示例 : "status": "OK", "weight_ad": , // 广告评论权重, 0 到 1 之间数值越大, 该评论为广告评论的概率越大 "is_ad": 1, //0 为正常文本,1 为广告评论 "weight_nonsense": , // 无意义文本权重, 0 到 1 之间数值越大, 该评论为无意义文本的概率越大 "is_nonsense": 0, //0 为正常文本,1 为无意义文本 "request_id": " ", 错误返回示例 : "status": "FAIL", "code": 1012, "message": "text not found" 警告返回示例 :

13 "status": "WARN", "score": , "code": 8012, "message": "some warning information" 结果反馈推送 POST 请求格式参数类型描述 textid string 标记该文本的唯一 ID feedback_info string 反馈结果 json 格式示例 : is_nonsense :1, is_ad :null 其中 1 表示是垃圾评论,0 表示非垃圾评论,null 表示未标记文本审核评论过滤合并接口 URL Http Method POST Http 返回格式 JSON Http 请求参数说明参数类型是否必需描述 appid int 是应用的 id text string 是要进行评论判断的文本数据 title string 否评论的标题 textid string 否标记该文本的唯一 ID userid string 否发表评论的登录用户 ID user_type string 否用户类型, 包括 common ( 通用 ) 和 zhubo ( 主播 ) 默认是 common

14 cid string 否未登录用户 ID pc 用户是 cookieid, 安卓 APP 是 imei, 苹果 APP 是 UDID mac string 否用户的 mac 地址 user string 否用户名称或昵称 ip string 否评论提交 IP Http 返回结果说明字段类型描述 status string 执行结果,OK 为成功,FAIL 为失败,WARN 为有部分非重要字段异常, 请根据返回错误信息进行排查 result string 返回结果,weight_ad is_ad reaction porn 和 politic 字段含义见文章审核和垃圾评论的返回 request_id string 该条上报记录的序号, 仅用于排查问题使用 errors string 错误信息示例 CURL 调用示例 : curl -i -X POST -d 'appid=12345&text=3m 每天百分之 1 利息,60 元起步, 有需要可以联系我,Q , 或者关注百度贴吧, 老马平台吧!&title= 顶顶顶 &textid= &user= 巧儿 ' ' re/datagrand' 成功返回示例 : "status": "OK", "result": "weight_ad": , "reaction": , "porn": , "is_ad": 1, "politic": "request_id": " " 错误返回示例 :

15 "status": "FAIL", "code": 8011, "message": "some warning information" "request_id": " " 警告返回示例 : "status": "WARN", "code": 8012, "message": "some warning information"

目录达观云服务文本挖掘... 1 接口文档... 1 概述... 3 接入流程方法概述... 3 步骤 1: 获取 AppId AppName... 3 步骤 2: 设置 IP 白名单... 3 文章自动标签提取... 4 文章自动归类... 7 文章自动审核 ( 政治色情等 )... 9 垃圾

目录达观云服务文本挖掘... 1 接口文档... 1 概述... 3 接入流程方法概述... 3 步骤 1: 获取 AppId AppName... 3 步骤 2: 设置 IP 白名单... 3 文章自动标签提取... 4 文章自动归类... 7 文章自动审核 ( 政治色情等 )... 9 垃圾达观云服务文本挖掘接口文档版本号更新日期修改内容 1.0.0 2015-12-30 详细界定达观文本挖掘接口 1 目录达观云服务文本挖掘... 1 接口文档... 1 概述... 3 接入流程方法概述... 3 步骤 1: 获取 AppId AppName... 3 步骤 2: 设置 IP 白名单... 3 文章自动标签提取... 4 文章自动归类... 7 文章自动审核 ( 政治色情等