CONTE NT 人工智能在量化投资中发展概况华泰人工智能选股研究体系简介人工智能选股模型对比实证

Size: px

Start display at page:

Download "CONTE NT 人工智能在量化投资中发展概况华泰人工智能选股研究体系简介人工智能选股模型对比实证"

富促堵
5 years ago
Views:

1 人工智能与量化投资林晓明华泰证券金融工程首席分析师执业资格证书 :S

2 CONTE NT 人工智能在量化投资中发展概况华泰人工智能选股研究体系简介人工智能选股模型对比实证

3 01 人工智能在量化投资中发展概况

4 人工智能 (AI) 的发展历程人工智能研究长短记忆 LSTM 认知计算感知机聚类算法决策树机器学习卷积神经网络深度学习 AI 搜索引擎基于规则的系统反向传播

人工智能与量化投资 2016 年 3 月, 举世瞩目的围棋人机大战中,Google DeepMind 团队的人工智能围棋软件 AlphaGo 以四胜一负的战绩击败世界冠军韩国棋手李世乭, 轰动围棋界 2017 年 5 月, AlphaGo 升级版在乌镇围棋峰会中以 3:0 完胜世界围棋第一人中国棋手柯洁, 又一次掀起社会上对于人工智能的热议而人工智能在量化投资界的热潮随着技术的发展也在不断兴起

5 人工智能与量化投资 2016 年 3 月, 举世瞩目的围棋人机大战中,Google DeepMind 团队的人工智能围棋软件 AlphaGo 以四胜一负的战绩击败世界冠军韩国棋手李世乭, 轰动围棋界 2017 年 5 月, AlphaGo 升级版在乌镇围棋峰会中以 3:0 完胜世界围棋第一人中国棋手柯洁, 又一次掀起社会上对于人工智能的热议而人工智能在量化投资界的热潮随着技术的发展也在不断兴起早期遗传算法支持向量机以及决策树算法的兴起, 使得投资者借助交易算法可以通过历史数据和统计概率预测未来机器学习算法人工智能投资热潮从 2006 年开始, 深度学习技术开始成熟, 计算机速度加快, 迎来了大数据时代考虑到动辄几千几万的金融数据维度, 深度学习方法在数据分析与数据预测准确度上显然更胜一筹深度学习传统投资顾问通过效率低下的人工方式完成, 只面向高净值人士开设 ; 由此, 使用 AI 技术对大量客户进行财富画像, 以人工智能算法定制的资产管理投资方案的智能投顾应运而生智能投顾

6 量化投资中的人工智能应用把握市场动态从数字推测模型对财务交易数据进行建模, 发现数据间相关性, 利用回归分析等传统机器学习算法预测交易策略机器学习算法监督学习 : 通过历史数据, 可以找到规律, 对未来进行预测 ; 无监督学习 : 聚类 / 因素分析 ; 深度学习 : 使用多层神经网络来分析事物背后的趋势 ; 强化学习 : 使用算法来探索和找到最有利可图的交易策略机器学习自然语言处理智能投顾 AI 知识图谱引入新闻, 政策, 社交网络中的丰富文本并运用自然语言处理技术分析, 将非结构化数据结构化处理, 并从中探寻影响市场变动的线索语义网络基于图的数据结构, 根据专家设计的规则与不同种类的实体连接所组成的关系网络减少黑天鹅事件对预测的干扰自学习的机器无法区分虚假的相关性所导致的, 这时候就需要专家设置的知识库 ( 规则 ) 来避免这种虚假相关性的发生

7 机器学习下的量化投资传统线性人工构建特征特征选择特征的非线性组合机器学习算法买卖策略寻找买入卖出阈值预测未来相对收益缩短了新因子的开发周期可以比较好地处理不同因子或者特征之间的信息重叠可以非线性地组合单独看来弱有效甚至无效的不同因子或者特征

8 深度学习下的量化投资不同来源的信息自动提取特征 x 1, x 2, x 3,, x n 传统因子技术图形事件驱动

9 02 华泰人工智能选股研究体系简介

10 人工智能系列报告人工智能选股框架及经典算法简介系列之一人工智能选股之广义线性模型系列之二人工智能选股之支持向量机模型系列之三人工智能选股之朴素贝叶斯模型系列之四人工智能选股之随机森林模型系列之五人工智能选股之 Boosting 模型系列之六人工智能选股之 Python 实战系列之七人工智能选股之全连接神经网络系列之八人工智能选股之循环神经网络模型系列之九正式推出人工智能选股周报, 跟踪对比各模型样本外表现

11 机器学习算法示例支持向量机 : 用超平面划分样本空间, 进行分类决策线性支持向量机遵循最大间隔分类原则, 确定最优的分类超平面核支持向量机将线性不可分数据通过非线性映射 x φ(x) 投影到高维空间, 然后使用线性 SVM 分类

12 机器学习算法示例随机森林 : 对数据集重复随机抽样, 使用多个决策树组成分类器弱分类器决策树随机森林 = 决策树 + Bagging

13 机器学习算法示例 AdaBoost: 将弱分类器以串行的方式组合起来训练弱分类器, 更新样本权值得到新的数据集, 重复操作, 每个弱分类器都可以计算出它的加权训练样本分类错误率, 将全部弱分类器按一定权值进行组合得到强分类器

14 机器学习算法示例全连接神经网络 : 含有两个隐藏层的神经网络在模型训练的过程中, 我们根据输入特征 x 计算隐藏层的值 f(x i j ), 再根据隐藏层的值算出输出层的预测值 y 模型训练的目标是寻取最优的权重参数 θ, 使得预测的均方误差最小

15 机器学习算法示例循环神经网络 : ht-1 ht ht+1 X + tanh X + tanh X + tanh σ σ X tanh σ X σ σ X tanh σ X σ σ X tanh σ X Xt-1 Xt Xt+1 循环神经网络与传统神经网络模型最大不同之处 : 加入了对时序数据的处理例如, 全连接神经网络是将股票的截面因子数据和截面对应的下期收益作为输入值, 所有截面同等对待 ; 而循环神经网络是将股票在较长一段时间内的因子时间序列数据和本期收益作为输入值, 通过一定方法挖掘因子时序特征与收益的预测关系

16 机器学习算法构建选股模型机器学习算法与多因子选股结合输入 : 基础数据特征提取选取有效因子数据转换输出 : 预测结果模型选择交互验证机器学习算法拟合前面我们介绍了几种不同的机器学习算法, 在使用上述算法构建选股模型时, 我们均基本遵循图中的基本框架与流程在华泰人工智能系列研报中, 我们对广义线性模型支持向量机朴素贝叶斯随机森林 Boosting 全连接神经网络循环神经网络等算法进行了选股模型构建与回测 ; 具体程序实现可参考人工智能选股之 Python 实战系列之七

17 机器学习算法构建选股模型滚动样本区间 : 滚动回测区间 : 股票池 : 沪深 300 内选股 / 中证 500 内选股 / 全 A 选股 ; 剔除 ST 停牌上市 3 个月以内的股票特征提取 : 选取之前报告里的 70 个因子作为特征预处理 : 对原始因子做中位数去极值, 缺失值填充 ( 行业平均 ), 行业市值中性, 标准化训练集和交叉验证集合成 : 全 A 选股中, 随机选取 90% 的样本内数据作为训练集, 余下 10% 样本作为交叉验证集成分内选股中, 可采用 10 折交互验证方法或如上重复 10 次使用随机森林对训练集进行训练

机器学习算法构建选股模型样本内训练 : 如上我们将样本和回测区间按年份各自划分出 7 个子区间, 因此需要对每个子回测的不同训练集重复构建随机森林模型训练交叉验证调参 : 选择第一区段 ( 样本内数据为 2005-2010 年 ) 训练模型, 使用该模型对交叉验证集进行预测

18 机器学习算法构建选股模型样本内训练 : 如上我们将样本和回测区间按年份各自划分出 7 个子区间, 因此需要对每个子回测的不同训练集重复构建随机森林模型训练交叉验证调参 : 选择第一区段 ( 样本内数据为年 ) 训练模型, 使用该模型对交叉验证集进行预测选取交叉验证集 AUC( 或平均 AUC) 最高的一组参数作为模型的最优参数样本外测试 : 确定最优参数后, 以 T 月月末截面期所有个股预处理后的特征作为模型的输入, 得到每个样本的 T+1 月的预测值 f(x)( 合成因子, 即随机森林中各决策树分类结果的投票平均值 ), 根据该预测值构建策略组合

19 03 人工智能选股模型对比实证

20 各类机器学习算法全 A 选股超额收益 700% 600% 500% 随机森林朴素贝叶斯 ANN LSTM GRU 线性回归 400% 逻辑回归 SVM 300% 岭回归 XGBoost 200% 100% 0% 2011/2/1 2012/6/ /10/ /3/ /7/ /12/6-100%

21 以 Boosting 模型为例以各类机器学习算法中全 A 选股超额收益表现最优的 XGBoost 模型为例

22 各种集成学习比较指数内选股

23 各种集成学习比较全 A 选股

24 利用 XGBoost 模型构建选股策略

利用 XGBoost 模型构建选股策略小结 XGBoost 具备不错的选股能力, 在预测正确率 AUC 指标超额收益和信息比率方面较滚动线性回归模型表现都略胜一筹而从回撤的角度看,XGBoost 模型相比于线性回归和朴素贝叶斯不具备明显优势, 很多时候回撤会更大 XGBoost 是 Gradient Boosting 方法的一种高效实现, 也是 GBDT 算法的改进和提高 XGBoost

25 利用 XGBoost 模型构建选股策略小结 XGBoost 具备不错的选股能力, 在预测正确率 AUC 指标超额收益和信息比率方面较滚动线性回归模型表现都略胜一筹而从回撤的角度看,XGBoost 模型相比于线性回归和朴素贝叶斯不具备明显优势, 很多时候回撤会更大 XGBoost 是 Gradient Boosting 方法的一种高效实现, 也是 GBDT 算法的改进和提高 XGBoost 通过对目标函数做二阶泰勒展开, 使得最终的目标函数只依赖每个数据点上损失函数的一阶导和二阶导, 进而容易实现并行综合各类算法测试结果来看 : 朴素贝叶斯模型原理简单, 计算速度快, 外部参数很少, 对样本量的依赖度小且鲁棒性强 ; 随机森林模型在样本内有较高的拟合精度, 但泛化能力较弱, 也即对于市场投资风格的转换适应性差 ; XGBoost 模型与随机森林模型效果相仿, 运算速度有明显优势 ; 神经网络模型对样本量要求比较高, 随着网络结构加深可以达到很高的拟合精度, 但是泛化能力也相应减弱

26 利用 XGBoost 模型构建选股策略人工智能应用于量化投资的思考不同的算法体现不同的风险偏好, 总体来说, 收益越高的模型风险也越大暂时没有发现一种机器学习算法在量化选股领域能够完美战胜线性回归线性回归作为一种退化的机器学习算法, 既不是最简单的 ( 对比朴素贝叶斯模型 ) 也不是最复杂的 ( 对比神经网络 ), 它的风险和收益属性相对均衡易于理解便于加入主观择时观点, 其应用度广是一件可以理解的事机器学习算法应用于量化选股的初步尝试并没有给人带来非常惊喜的结果, 其潜在原因可能有 : 因子池构建方式 : 目前已有的因子基本是通过 IC IR 筛选出来的,IC 本质上是线性相关系数, 即便有非线性因子也依据经验进行了纠正 ; 模型设置构建方法等存在局限, 没有充分利用因子的时序信息 ; 数据量太少, 机器学习算法普遍存在样本内过拟合泛化能力差的问题 ; XGBoost 模型与随机森林模型效果相仿, 运算速度有明显优势 ; 股市的规律不稳定, 理论上有一定的不可预测性, 复杂人工智能方法很可能本来就不适用

27 谢谢

目录决策树 Adaptive Boosting (AdaBoost) Gradient Boost Decision Tree (GBDT) TreeBoost XGBoost 总结

目录决策树 Adaptive Boosting (AdaBoost) Gradient Boost Decision Tree (GBDT) TreeBoost XGBoost 总结树模型的进化之路颜发才 facaiyan@gmailcom facaiygithubio 新浪微博算法平台 2017 年 3 月 11 日目录决策树 Adaptive Boosting (AdaBoost) Gradient Boost Decision Tree (GBDT) TreeBoost XGBoost 总结决策树决策树直观印象进化分支决策树直观印象 petal length

CONTE NT 人工智能在量化投资中发展概况 华泰人工智能选股研究体系简介 人工智能选股模型对比实证

CONTE NT 人工智能在量化投资中发展概况华泰人工智能选股研究体系简介人工智能选股模型对比实证