基于社会媒体的观测与预测技术

Size: px

Start display at page:

Download "基于社会媒体的观测与预测技术"

恩柿降嵇
5 years ago
Views:

1 基于增强学习的股市涨跌预测技术丁效哈工大社会计算与信息检索研究中心 2018 年 8 月 3 日, 中国哈尔滨

2 哈工大社会计算与信息检索研究中心 2000 年 9 月 1 日, 成立信息检索研究室 HIT-IRLab 2011 年 5 月 18 日, 更名为社会计算与信息检索研究中心 HIT-SCIR SP 组正式成立技术理想以中文技术, 助民族复兴实验室口号理解语言, 认知社会实验室文化有爱力行乐学日新

3 实验室研究方向定位 Language Grounding ( 命令执行 ) 人机对话 ( 深度问答 ) 信息抽取与知识图谱 ( 大词林 ) 作文评阅与辅助写作人机对话 ( 聊天机器人 ) 阅读理解 ( 篇章级语义理解及推理 ) 社会媒体观测 ( 情感分析 ) 社会媒体预测 LTP 语言技术平台 ( 句子级句法语义分析 )

4 社会预测 ( SP ) 组研究方向事理图谱 ( 客观的事件 ) 消费意图识别 ( 人的主观意愿 ) 预测 ( 股市电影票房等 )

5 社会预测 ( SP ) 组人员组长 : 刘挺教授 / 博导 ; 副组长 : 丁效博士 / 助理研究员三名博士生六名硕士生两名本科生

6 目录 1. 背景介绍 2. 研究框架 3. 金融事理图谱构建及应用 4. 基于树结构的句子表示的股市预测 5. 总结

7 AI+ 金融成为热点金融科技 (FINTECH) 在 2011 年被正式提出之前,2016 年开始成为整个金融行业的主旋律 2017 年 7 月 20 日, 国务院印发新一代人工智能发展规划, 明确提出智能金融产业建设, 提升金融多媒体数据处理与理解能力, 创新智能金融产品和服务, 发展金融新业态 2017 年度各种 AI 会议上 FINTECH 也成为大家关注的热点

国内外金融科技发展现状文艺复兴公司 ( 大奖章基金 ) 通过模型对股票期货货币等主要投资标的的价格进行监控, 作出买入或卖出指令 94-14 年, 平均年化收益率 71.

5 亿美元收购量化交易方式已成为华尔街上的主流, 也将成为国内股票市场的发展趋势国内 IT 及金融公司布局智能金融业务公司名称腾讯阿里百度京东网易新浪小米滴滴金融业务微众银行 ; 和泰人寿 ; 众安保险 ; 理财通 ; 财富通 ( 微信支付 ); 腾讯征信蚂蚁金服 ( 网商银行国泰财险众安保险天弘基金

8 国内外金融科技发展现状文艺复兴公司 ( 大奖章基金 ) 通过模型对股票期货货币等主要投资标的的价格进行监控, 作出买入或卖出指令年, 平均年化收益率 71.8% 02 年底至 05 年底, 规模 50 亿美元大奖章基金已为投资者支付了 60 多亿美元回报 Kensho 公司利用自然处理技术从经济报告货币政策时政新闻等多方位研究市场动态 2013 年成立, 高盛投资 1500 万美元, 2018 年被 S&P GLOBAL5.5 亿美元收购量化交易方式已成为华尔街上的主流, 也将成为国内股票市场的发展趋势国内 IT 及金融公司布局智能金融业务公司名称腾讯阿里百度京东网易新浪小米滴滴金融业务微众银行 ; 和泰人寿 ; 众安保险 ; 理财通 ; 财富通 ( 微信支付 ); 腾讯征信蚂蚁金服 ( 网商银行国泰财险众安保险天弘基金蚂蚁财富支付宝花呗借呗芝麻信用网金社 ) 百度金融 ( 百信银行百度钱包百度理财有钱花白金交 ) 京东金融 ( 京东支付京东白条京东金条京保贝京东众筹京东财富 ) 网易理财网易支付立马理财网易有钱网易小贷新浪支付微财富房金所操盘宝小米支付新网银行小米理财小米小贷融资租赁汽车分期滴滴保险奇虎金融 ( 你财富私银家 360 淘金 360 借条 ) 58 同城 58 钱柜 58 贷款长银五八消费金融公司美团美团小贷美团支付吉林亿银银行搜狐搜狐金服 ( 搜易贷狐狸慧赚小狐分期 )

9 金融领域的发展变革人工处理 -> 智能计算分析海量的金融信息, 超过了人类处理的极限 20 世纪 90 年代, 一个基金经理把市场当天产生的研报舆情新闻交易数据看完, 大概需要 10 个小时 ;2010 年, 大概需要 10 个月的时间 ; 2016 年, 把当天市场信息看完, 需要 20 年的时间, 相当于整个职业生涯智能革命

10 研究框架股票融合预测模型知识图谱择时预测选股预测金融事件分析金融事理图谱金融文本处理与分析股票数据与形态技术分析深度学习自然语言处理数据挖掘数据实时获取 ( 文本数据, 股票数据 ) 数据采集

11 多源金融文本数据实时采集金融数据分析需求 : 信息充分, 多种来源的金融数据分秒必争, 实时采集与分析数据实时采集新闻论坛博客公告研报等多种金融相关信息金融数据采集与抽取结果

12 事理图谱的研究动机现有的知识库普遍是以概念及概念间的关系为核心的, 缺乏对事理逻辑知识的挖掘事理逻辑 ( 事件之间的演化规律与模式 ) 是一种非常有价值的常识知识, 挖掘这种知识对我们认识人类行为和社会发展变化规律非常有意义

13 什么是事理图谱? 事理图谱 :Event Evolutionary Graph 结构上 : 事理图谱是一个有向有环图, 节点代表事件, 有向边代表事件之间的顺承因果关系本质上 : 事理图谱是一个事理逻辑知识库, 描述了事件之间的演化规律和模式

14 事理图谱的应用事理图谱可应用于事件预测常识推理消费事件预测意图挖掘对话生成问答系统辅助决策等任务中辅助决策系统事理图谱常识推理大规模事理图谱将和传统知识图谱一样, 具有问答系统消费意图挖掘非常巨大的应用价值辅助对话生成

15 事理图谱与知识图谱的区别与联系事理图谱知识图谱研究对象谓词性事件及其关系名词性实体及其关系组织形式有向图有向图主要知识形式事理逻辑关系, 以及概率转移信息实体属性和关系知识的属性事件间的演化关系多数是不确定的多数实体关系是确定性的

16 事理图谱中的事件定义前人工作 : 事件是特定时间地点下的一个状态变化经典的事件抽取和分类任务, ACE 2005 话题检测与跟踪事理图谱中的事件 : 不是具体事件, 而是抽象事件表示为泛化语义完备的谓词短语或片段吃火锅, 看电影, 去机场是合理的事件表达去地方, 做事情, 吃是不合理或不完整的事件表达

17 事件间顺承关系顺承关系 (suquential) 是指两个事件在时间上相继发生的偏序关系吃过午饭后, 小明到前台买单, 然后离开了餐馆吃饭顺承买单顺承离开餐馆

18 事件间因果关系因果关系 (causal) 是指两个事件之间, 前一事件 ( 原因 ) 导致后一事件 ( 结果 ) 的发生因果关系是顺承关系的子集满足发生时间上的偏序约束核泄漏引起了严重的海洋污染核泄漏因果海洋污染

19 事理图谱的三种拓扑结构看电影场景下的链状事理图谱

20 事理图谱的三种拓扑结构结婚场景下的树状事理图谱

21 事理图谱的三种拓扑结构打架场景下的环状事理图谱

22 哈工大在事理图谱方面的探索金融领域事理图谱的构建与应用

23 样本分析财经新闻中包含大量事件之间的因果关系显式因果 ( 带关联词 ): 塑化剂事件导致白酒股大跌隐式因果 ( 不带关联词 ): 百度 Q2 财报 : 净利同比增 82.9%, 股价盘后上涨 7% 除因果关系外, 也存在大量事件顺承关系停牌了近半个月的科大讯飞 ( SZ) 复牌, 股价开盘即涨停

24 金融事理图谱构建目标目标针对金融领域, 从财经新闻中挖掘构建与经济变化情况 ( 尤其是导致股票涨跌变化 ) 相关的顺承因果事理关系, 形成金融领域的事理图谱方案因果顺承关系抽取将因果事件对形成图谱形态

25 因果对抽取方法利用因果触发词构造填充模板, 进行正则匹配, 得到 cause 和 effect 子句例如 :(.+)( 导致引起造成 )(.+)( 下跌上涨 ) 对 cause 和 effect 子句进行分词词性标注, 进行词性过滤, 得到动词名词和形容词构成的句子主干作为最终的 cause 和 effect Sendong Zhao, Quan Wang, Sean Massung, Bing Qin, Ting Liu, Chengxiang Zhai. Constructing and embedding abstract event causality networks from text snippets. WSDM 2017.

26 典型抽取结果实例中兴通讯利润下滑引发股价大跌中兴通讯天价赔偿传闻导致股票大跌双汇并购史密斯菲尔德消息使得双汇发展股价大涨肉制品产销量下降成本上升造成肉制品业务利润下降相关竞争对手进入导致产品毛利率市场份额下降

27 因果事件对到图谱通过对某些事件的合一, 将因果对形成图谱形态 A 与 D 合一 D: 业务利润下降 A: 利润下滑 A B B: 股价大跌 C D G H C: 产销量下降成本上升 E F Xiao Ding, Yue Zhang, Ting Liu, Junwen Duan. Deep Learning for Event-Driven Stock Prediction. IJCAI, 2015.

28 通过相似度计算, 实现事件的合一尝试多种事件相似度度量方法事件表示动词名词词袋动词名词形容词词袋所有词的 average embedding 动词名词形容词的 average embedding Event embedding Phrase embedding 相似度计算杰卡德相似度 cosine 相似度

29 金融事理图谱构建数据准备 : 财经新闻 (6.7G) 开放域新闻 (19G) 文件名文件体积 163_news.txt 1.1G by_news.txt 1.4G guba_extract_addtime.txt 419M hexun47w_time.txt 1.8G Resset_News_addtime.txt 16M tencentnetease_addtime.txt 2.1G news_paper.txt(2005~2014) 19G

30 金融事理图谱构建因果对抽取 : 给每一条因果边都加上所在的上下文 ; 给每一条因果边都加上该篇新闻发布的时间戳 ; 因果事件对抽取的精细化, 提升抽取效果 ; 1000 条人工标注句子上的抽取结果评估如下 : Accuracy Precision Recall F1 因果对事件抽取 62.1% 93.7% 59.3% 72.6%

31 金融事理图谱构建基于上述方法, 构建了第二版本的金融事理图谱主要改进 : 扩大数据源 ; 提升因果事件对抽取效果因果对数目事件数目第一版本金融图谱规模 154, ,926 第二版本金融图谱规模 1,873,140 1,542,516

32 金融事理图谱的样例

33 金融事理图谱 Demo

35 Constructing Narrative Event Evolutionary Graph for Script Event Prediction Zhongyang Li, Xiao Ding, Ting Liu. IJCAI 2018

36 任务给定事件上文, 从候选事件列表中选出接下来最有可能发生的事件

37 动机 1. 前人工作探索了如何利用 event pair 和 event chain 进行预测, 我们的工作探索如何利用 event graph 的稠密连接信息来帮助事件预测 2. 图结构学习到的事件表示更加利于预测 3. 图结构能克服事件之间的不连通性, 学习更好的事件关联

38 动机

39 方法我们提出了可扩展的图神经网络 (Scaled Graph Neural Network-SGNN) 来解决图上的预测推理问题重点解决了 GNN 在大规模图结构上无法进行推理的问题

40 实验

41 Learning Sentence Representations over Tree Structures for Target-dependent Classification Junwen Duan, Xiao Ding, Ting Liu. NAACL 2018

42 Motivation Tree structures are promising for target-dependent classification Capture long-distance interactions between the target and its contexts Avoid possible information loss over long sequences Limitation of previous work on tree structures Rely on external treebank annotations or syntactic parsers The tree structures are fixed

43 Our assumptions Shift-reduce parsing We can obtain a binarized tree by using only shift and reduce transitions Target-dependent Representation We can obtain different vector representations for the sentence given different composition orders

44 Our Approach 1. Transition Generator Encoder & Attention-Decoder Take the target into account at decoding 2. Composition Function Tree-structured long short-term memory network Compose words into sentence following the transition orders 3. Reinforce with self-critic baseline Reward the generated structures that benefits end tasks

45 Experiments Firm-specific Cumulative Abnormal Return Prediction Dataset:

46 Extracting Key Evidences from Financial News Documents for Stock Market Prediction Junwen Duan, Xiao Ding, Ting Liu

47 Motivation Financial news documents are promising for stock market prediction Title (Ding et al. 2014, 2015, 2016; Xie et al. 2013) Leading paragraph (Chang et al. 2016; Duan et al. 2018) Limitation of previous work on news documents based stock prediction The value of documents cannot be well explored Lack of interpretability

48 Method 1. Sentence Encoder Convolutional neural network based encoder 2. Reinforcement Learning Based Sentence Extraction The extracted sentences should be beneficial for predicting the stock market movement, so that we can take advantage of the stock returns as indirect supervisions to guide the extractions 3. Training Maximize the expected reward of the action sequence

49 Experiments Firm-specific Cumulative Abnormal Return Prediction Dataset:

50 Case Study Noise Information Redundant Information

51 总结自然语言处理 + 金融优势互补知识图谱在各个领域精耕细作, 逐渐显露价值, 事理图谱相关研究越来越吸引研究者关注未来工作 : 知识图谱与事理图谱的融合, 基于知识 / 事理图谱的金融市场分析, 让事理图谱在金融领域发挥更大作用

52 参考文章 Xiao Ding, Yue Zhang, Ting Liu, Junwen Duan. Deep Learning for Event- Driven Stock Prediction. IJCAI, Xiao Ding, Yue Zhang, Ting Liu, Junwen Duan. Using Structured Events to Predict Stock Price Movement: An Empirical Investigation. EMNLP, Xiao Ding, Yue Zhang, Ting Liu, Junwen Duan. Knowledge-Driven Event Embedding for Stock Prediction. COLING Sendong Zhao, Quan Wang, Sean Massung, Bing Qin, Ting Liu, Chengxiang Zhai. Constructing and embedding abstract event causality networks from text snippets. WSDM Zhongyang Li, Xiao Ding, Ting Liu. Constructing Narrative Event Evolutionary Graph for Script Event Prediction. IJCAI Junwen Duan, Xiao Ding, Ting Liu. Learning Sentence Representations over Tree Structures for Target-dependent Classification. NAACL 2018.

53 请批评指正! 主要合作者 : 段俊文李忠阳赵森栋

基于社会媒体的观测与预测技术

基于社会媒体的观测与预测技术基于文本表示学习的金融市场行情预测丁效哈工大社会计算与信息检索研究中心第十五届自然语言处理青年学者研讨会 (YSSNLP 2018)NSFC 论坛报告 2018 年 5 月 4 日, 中国南京目录 1. 背景及研究意义 2. 研究框架 3. 金融事理图谱构建及应用 4. 基于树结构的句子表示的股市预测 5. 总结 AI+ 金融成为热点金融科技 (FINTECH) 在 2011 年被正式提出之前,2016