项目终期报告课程名称 : 数据挖掘组号 : 第 7 组成员 : 赵佰承王颖赵佳晨韩义龙

Size: px

Start display at page:

Download "项目终期报告课程名称 : 数据挖掘组号 : 第 7 组成员 : 赵佰承王颖赵佳晨韩义龙"

邑徽高
5 years ago
Views:

1 项目终期报告课程名称 : 数据挖掘组号 : 第 7 组成员 : 赵佰承王颖赵佳晨韩义龙

2 关联分析在商家营销决策中的应用终期报告赵佰承 : 王颖 : 赵佳晨 : 韩义龙 : 摘要对于给定某个时间段内商家的销售数据, 关联分析的目标是从销售数据库中找出各商品之间潜在的关联关系使用蛮力搜索的算法在寻找物品的不同组合时是一项十分耗时的任务, 所以计算代价很高, 为此我们采用 Apriori 算法来找出所有符合要求的频繁项集本文还在关联规则的基础上附加了利润因素, 由此辅助商家的营销决策, 实现利润最大化 1. 背景近年来我国的零售行业发展迅速, 越来越多的越多的大型企业或超市开始将目光投向数据挖掘技术, 有效的利用数据挖掘技术为企业提供信息是各大零售巨头核心竞争力的重要组成部分通过查看哪些商品经常一起购买, 可以帮助商家了解用户的购买行为这种从数据的海洋中抽取的知识可以用于商品的定价市场促销存货管理等环节其重要技术就是利用关联分析挖掘潜在用户, 提高销售额从大规模的数据集中寻找物品间的隐含关系被称作关联分析或者关联规则学习这里的主要问题在于, 寻找物品的不同组合是一项十分耗时的任务, 所需的计算代价很高, 蛮力搜索方法并不能解决这个问题, 所以需要用更智能的方法在合理的时间范围内找到频繁项集传统的关联规则的缺点就是没有考虑关联规则的商业价值如果采用传统的关联规则评价标准, 同时销售一瓶昂贵的红酒和一盒鱼子酱与销售一盒牛奶和一袋面包对于关联规则挖掘过程来说意义相差不大但事实上, 零售商会更倾向推销前者, 显然该组合能为企业带来比后者更大的净利润利用开放出来的超市购物蓝数据进行关联规则分析, 因为人们在选择购买商品的时候往往会购买多个商品, 如果这些商品摆放在一第 1 页 / 共 8 页

3 起, 就会增加用户购买的可能性我们在关联分析 Apriori 经典算法的基础上, 充分考虑了利润收益, 提出了运用频繁项目集中各个项目的加权利润之和来表示交叉销售的利润的思想评估关联规则价值, 并且在数据堂提供的实际电商销售数据上进行了频繁项集的挖掘, 提出各种捆绑销售模型, 具有很强的实用价值 2. 问题描述本文解决的问题归纳如下 : 在已知的销售数据集, 包括如买家 ID; 商品名称, 价格 ; 销售时间等信息的基础上, 进行关联性分析, 挖掘到频繁项目集, 给出频繁项目集的直方图, 从而进行合理的产品摆放和个性化推荐, 从而提高销售利润频繁项目集通常表示顾客一次购物时同时购买的商品组合, 因此评估一项商品的商业价值时, 除了考虑该商品本身所产生的独立利润外, 同时也应考虑由于交叉销售时带来的额外利润 3. 运行环境 Windows7 64 位 Python 3.6 支持包 numpy pandas xlrd matplotlib Levenshtein 4. 数据集及实现的技术方案为了实现频繁项集的挖掘, 本文利用 Apriori 算法来寻找不同的商品组合图 1 展示了本实验方案处理的流程第 2 页 / 共 8 页

图 1. 技术方案流程图 4.1 数据集介绍及预处理本实验选择网络收集的实际电商销售数据作为数据挖掘样本选择来自于数据堂的 65535 条数据, 其中包括了订单号产品名称付款时间付款金额付款类型以及支付类型等属性, 属于典型的电商购物型数据其数据格式如图 2 所示图 2.

4 图 1. 技术方案流程图 4.1 数据集介绍及预处理本实验选择网络收集的实际电商销售数据作为数据挖掘样本选择来自于数据堂的条数据, 其中包括了订单号产品名称付款时间付款金额付款类型以及支付类型等属性, 属于典型的电商购物型数据其数据格式如图 2 所示图 2. 数据集样本数据格式考虑数据集中存在商品中有赠品并且同一件商品由于颜色或尺寸的区分导致商品名称不同的情况对于这样的数据在频繁项集的挖掘之前需要进行预处理, 考虑采用的方法包括 : (1) 将商品中属于赠品的条目剔除 (2) 对于同一件商品由于颜色的不同导致的商品名字不同的情况, 第 3 页 / 共 8 页

5 将商品名均用其中某一个名称表示 (3) 对于同一件商品由于尺寸的不同导致的商品名字不同的情况, 将商品名均用其中某一个名称表示 4.2 频繁项集挖掘考虑数据集特点和计算硬件条件, 决定采用 Apriori 算法实现, 而 Apriori 算法的基本思想是首先是找出所有大于最小支持度的频繁项集, 然后由频繁项集产生关联规则, 这些规则必须满足最小支持度和最小可信度 Apriori 算法是用来发现频繁项集的一种方法 Apriori 算法的两个输入参数分别是最小支持度和数据集该算法首先生成所有单个物品的项集列表, 遍历之后去掉不满足最小支持度要求的项集 ; 接下来对剩下的集合进行组合生成包含两个元素的项集, 去掉不满足最小支持度的项集 ; 重复该过程直到去掉所有不满足最小支持度的项集 Apriori 算法流程图 3 所示图 3. Apriori 算法流程图第 4 页 / 共 8 页

6 Apriori 算法实现的伪代码如下 : 输入 : D: 事务数据库 ; min_sup: 最小支持度计数阈值输出 : L:D 中的频繁项集方法 : 1) L1 = find_frequent_1_itemsets(d); 2) for (k = 2; Lk-1 ; k++) { 3) Ck = aproiri_gen(lk-1,min_sup); 4) for each transaction t D{ // 扫描 D 用来计数 5) Ct = subset(ck,t); // 找出事务 t 中包含的所有候选 k 项集, 6) for each candidate c Ct // 对事务 t 包含的每个候选 k 项集的计数加一 7) c.count++; 8) } 9) Lk={c Ck c.count min_sup} 10) } 11) return L = klk; procedure apriori_gen(lk-1: frequent (k-1)-itemset; min_sup: support) 1) for each itemset l1 Lk-1 2) for each itemset l2 Lk-1 3) if (l1[1]=l2[1])... (l1[k-2]=l2[k-2]) (l1[k-1]<l2[k-2]) then { 4) c = l1 连接 l2; // 连接步 : 产生 candidates 5) if has_infrequent_subset(c,lk-1) then 6) delete c; // 剪枝步 : 移除非频繁的 cadidate 7) else add c to Ck; 8) } 9) return Ck; procedure has_infrequent_subset(c:candidate k-itemset; Lk-1:frequent (k-1)-itemset) // 使用先验知识 1) for each (k-1)-subset s of c 2) if c Lk-1 then 3) return TRUE; 4) return FALSE; 其中,Lk-1 表示频繁 k-1 项集 4.3 考虑交叉销售利润的频繁项目集挖掘在所得到的关联规则中, 留下符合最小支持度和最小置信度的规则, 并且根据每件商品的利润, 计算出每一条关联规则的所对应的利润设计优化的目标函数 ( 本实验中所采用的目标函数为 J sup port profit ), 第 5 页 / 共 8 页

7 在最小支持度与利润之间做出权衡 5. 实验结果本实验首先对数据集进行预处理, 将同一件商品由于尺寸或者颜色不同而导致的商品名称的差异进行一般化并将商品中的赠品项删除然后, 通过用户 ID 将销售数据合并成购物篮元组数据, 为下一步的关联规则挖掘做准备利用 Apriori 算法进行频繁项集的挖掘, 并且根据所挖掘到的频繁项集自动生成关联规则本实验中设置最小支持度 minsupport = 0.015, 最小置信度 minconf = 0.1 所挖掘得到的频繁项集的直方图如图 4 所示 : 图 4. 关联规则直方图尽管最小支持度和最小置信度阈值有助于排出大量无趣规则的探查, 但仍然会产生一些用户不感兴趣的规则, 故本实验中采用提升度 (lift) 来作为相关性的度量如果提升度的值小于 1, 则表示关联规则的前项和后项是负相关的, 如果值为 1, 则前项和后项是相互独立的, 如果值大于 1, 意味着前项和后项是正相关的计算出每一条规则对应的提升度, 并且根据利润表, 查询得到每一条关联规则各商品加权的利润, 将其一起写第 6 页 / 共 8 页

计算每一条规则对应的 J, 根据 J 的大下对关联规则进行排列, 如图 6 所示最后根据需求决定采用哪些关联规则应用于商家的营销决策中图 6 优化后的部分关联规则对于上列的关联规则, 商家可以选择, 将男士

8 入关联规则中最终得到的部分关联规则如图 5 所示 : 图 5 挖掘得到的部分关联规则对于所得到的关联规则, 将关联规则前项和后项是负相关或者独立的规则剔除 ( 即提升度 lift <= 1 的规则 ), 选取优化函数 J sup port profit, 此处可以将参数 β 设为 1, 优化函数 J 不变此时优化目标函数为 J sup port profit, 在本实验中, 选取参数 α 为 100, 计算每一条规则对应的 J, 根据 J 的大下对关联规则进行排列, 如图 6 所示最后根据需求决定采用哪些关联规则应用于商家的营销决策中图 6 优化后的部分关联规则对于上列的关联规则, 商家可以选择, 将男士 GANCIO 饰扣休闲皮鞋 + 女士深蓝色系带鞋 + 男士星际行者系列黑色幼线签字笔进行捆绑销售, 类似地, 可以做出一系列的营销决策, 并且可以后续的销售情况将参数 α 调节至合适的值, 以实现利润的最大化第 7 页 / 共 8 页

9 参考文献 [1] Jiawei Han, Micheline, Jian Pei. Data Mining: Concepts and Technology[D]. Morgan Kaufmann, [2] Peter Harrington, Machine Learning in Action[D]. Manning Publictions Co., [3] 于芳. 关联分析在超市商品捆绑销售中的应用 [J]. 商场现代化, 2010, 1: [4] Wes McKinney. Python for Data Analysis[D].O, Reilly Media, 第 8 页 / 共 8 页

Microsoft PowerPoint - ch6_association_rule [兼容模式]

Microsoft PowerPoint - ch6_association_rule [兼容模式] 第三章关联规则挖掘 Association Rule Mining 10 Data Mining Tasks Data Tid Refund Marital Status Taxable Income 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No Cheat 5 No Divorced

项目终期报告 课程名称 : 数据挖掘 组号 : 第 7 组 成员 : 赵佰承 王颖 赵佳晨 韩义龙

项目终期报告课程名称 : 数据挖掘组号 : 第 7 组成员 : 赵佰承王颖赵佳晨韩义龙