第 1 期齐连永, 等 : 一种上下文感知的 E-commerce 评级大数据赋权方法 37 1 E-commerce 评级大数据及其面临的挑战网络技术的普及推动了电子商务 (E-commerce) 的飞速发展, 越来越多的用户通过在线购物网站进行消费, 例如天猫商城在 2015 年 11 月 11

Size: px

Start display at page:

Download "第 1 期齐连永, 等 : 一种上下文感知的 E-commerce 评级大数据赋权方法 37 1 E-commerce 评级大数据及其面临的挑战网络技术的普及推动了电子商务 (E-commerce) 的飞速发展, 越来越多的用户通过在线购物网站进行消费, 例如天猫商城在 2015 年 11 月 11"

引祖锵危
7 years ago
Views:

1 第 22 卷第 1 期 2016 年 2 月 ( 自然科学版 ) JOURNAL OF SHANGHAI UNIVERSITY (NATURAL SCIENCE) Vol. 22 No. 1 Feb DOI: /j.issn 一种上下文感知的 E-commerce 评级大数据赋权方法齐连永 1,2, 窦万春 1, 周毓明 1 (1. 南京大学计算机科学与技术系, 南京 ; 2. 曲阜师范大学信息科学与工程学院, 山东日照 ) 摘要 : 电子商务 (E-commerce) 的飞速发展, 产生了大量针对商品的在线评级数据, 通过分析评级数据, 用户可以对商品的质量进行评估. 然而, 评级数据的海量性和差异性使得用户难以快速而准确地评估商品的质量. 鉴于此, 提出一种基于 E-commerce 评级的上下文感知赋权方法 (context-aware weighting approach, CWA), 以选出少数重要的评级数据并抛弃大多数不重要的评级数据, 从而确保商品质量评估的快速性和准确性. 最后, 通过一组实验验证了 CWA 的有效性. 关键词 : E-commerce; 用户评级 ; 大数据 ; 赋权 ; 上下文中图分类号 : TP 文献标志码 : A 文章编号 : (2016) A context-aware weighting approach for big data of quality ratings in E-commerce QI Lianyong 1,2, DOU Wanchun 1, ZHOU Yuming 1 (1. Department of Computer Science and Technology, Nanjing University, Nanjing , China; 2. School of Information Science and Engineering, Qufu Normal University, Rizhao , Shandong, China) Abstract: With the fast development of E-commerce, large amounts of quality rating data for commodities are generated online. By analyzing the rating data, users can evaluate the commodities quality. However, due to the massiveness and diversity of the rating data, it is a challenge for users to evaluate the commodity quality quickly and accurately. To this end, a context-aware weighting approach for E-commerce ratings, context-aware weighting approach (CWA) is proposed. With CWA, a few important rating data are selected and most unimportant data dropped. Thus the commodity quality can be evaluated quickly and accurately. A series of experiments validate effectiveness of the proposed CWA. Key words: E-commerce; user rating; big data; weighting; context 收稿日期 : 基金项目 : 国家自然科学基金资助项目 ( ); 江苏省重点研发计划资助项目 (BE ); 国家电网公司科技资助项目 ; 中国博士后科学基金资助项目 (2015M571739); 江苏省自然科学基金资助项目 (BK ) 通信作者 : 窦万春 (1971 ), 男, 教授, 博士生导师, 研究方向为服务计算大数据云计算. douwc@nju.edu.cn

2 第 1 期齐连永, 等 : 一种上下文感知的 E-commerce 评级大数据赋权方法 37 1 E-commerce 评级大数据及其面临的挑战网络技术的普及推动了电子商务 (E-commerce) 的飞速发展, 越来越多的用户通过在线购物网站进行消费, 例如天猫商城在 2015 年 11 月 11 日 ( 双十一 ) 的日销售金额达到 921 亿元. 然而, 由于电子商务的虚拟性, 用户无法直观地了解在线商品的质量, 这给用户对商品进行选择带来了巨大困难. 目前, 电子商务领域主要采取用户评级的方式 ( 如常用的 1* 5* 评级 ) [1], 对商品质量进行反馈, 以供新用户参考. 这样, 通过分析历史的用户评级数据, 新用户可以对商品质量进行评估, 进而作出购买决策. 然而, 目前基于用户评级的商品质量评估存在如下两方面的挑战. (1) 评级数据的海量性. 随着电子商务的发展, 在线购物逐渐成为广大用户的首选消费方式, 从而导致目前关于商品的在线评级数据量非常庞大. 例如, 在 2015 年 10 月这一个月中, 小米红米 Note2 在天猫商城的月销售量高达台, 相对应的在线用户评级数据高达条. 如此海量的评级数据使得新用户的商品评估及选择成本急剧上升. (2) 评级数据的差异性. 在线评级系统的众多评级数据中, 评级时间评级用户评级分值等方面存在较大差异. 这种差异性使得新用户难以准确评估商品的真实质量, 进而难以作出购买决策. 鉴于上述两方面挑战, 本研究提出一种针对用户评级的赋权方法, 在进行商品评估时, 仅仅选取对新用户较为重要的少数评级数据, 而抛弃绝大多数不重要的评级数据, 从而确保新用户可以较为准确快速地进行商品质量评估, 在评估准确性和评估速度之间取得一个合理的折衷. 2 用户评级的赋权方法 2.1 影响评级权重的上下文分析对于新用户而言, 对于某一评级数据的重视程度取决于该评级的多种上下文因素. 本研究考虑如下 3 种上下文因素. (1) 评级时间. 一般而言, 商品 ( 或服务 ) 的质量不会一成不变, 而是在不断变化, 因此同一商品 ( 或服务 ) 的多条评级数据在时间上符合挥发效应 [2], 即越新的评级越能反映商品 ( 或服务 ) 当前的真实质量, 而越旧的评级则没有过多参考价值. (2) 评级用户与新用户的偏好相似度. 用户对商品 ( 或服务 ) 的评级数据是一种掺杂了个人主观偏好的非客观数据, 因此如果一条评级数据所对应的历史用户和新用户具有相似的偏好, 那么该条评级数据对于新用户的商品评估具有较高的指导意义, 反之亦然. (3) 评级分值. 目前, 电子商务领域主要采用 1* 5* 的评级体系, 而评级分值的大小和该评级的重要程度往往具有相关性. 例如, 极端评级 ( 好评 5* 和差评 1*) 往往对用户的选择决策影响较大. 而且由于用户评级经常出现偏正向的特点, 新用户往往更重视较差的评级, 而轻视较好的评级. 2.2 CWA 基于多维上下文因素的评级赋权方法基于上述 3 种影响评级权重的上下文因素, 下面介绍一种针对用户评级的上下文感知赋权方法 (context-aware weighting approach, CWA), 具体研究框架如图 1 所示基于评级时间的评级赋权如前所述, 一个评级越新, 越能反映商品 ( 或服务 ) 的最新质量, 其对于新用户的参考价值也就越大. 此外, 根据评级时间对用户评级进行赋权时, 还应考虑时间的边际效应 [3-4], 即在权重 - 时间曲线的边际部分, 权重的变化应趋缓 ( 例如最新的两个评级的权重应差异不

3 38 ( 自然科学版 ) 第 22 卷大, 而最旧的两个评级的权重也往往比较接近 ). 基于上述分析, 采用 arctan 函数 w k = f(k) = α arctan(k β) + γ, 1 k L (1) 来刻画评级权重 - 时间之间的相关关系 ( 见图 2, 借鉴文献 [6] 中的单边嗅觉退化曲线 ). 式中, L 代表同一商品 ( 或服务 ) 的评级总数, k 代表该商品 ( 或服务 ) 的第 k 个评级 ( 按时间先后排序, k 越大代表评级越新, 反之亦然 ), w k 表示第 k 个评级的权重 ( 仅考虑评级时间 ), α, β, γ 为 3 个参数. 图 1 CWA 的研究框架 Fig. 1 Research framework of CWA 图 2 用户评级的权重 - 时间关系 Fig. 2 Relationship of weight-time for user ratings 接下来介绍如何求解 3 个参数 α, β, γ 的值. 首先, 根据图 2 曲线的对称性, 可得 β = (1 + L)/2. (2) 其次, 根据权重的意义, L 个评级的总权重等于 1, 可得 L w k = 1. (3) k=1 再者, 根据心理学的 Miller 法则 ( 人脑的短期记忆能力是有限的, 每次最多处理 7±2 件事情 ) [5], 最新的 9 个评级数据对新用户的参考价值最大, 这里结合 20/80 法则 [6], 设置前 9 个评级的权重和为 0.8, 可得 L w k = 0.8. (4) k=l 8

4 第1期齐连永, 等: 一种上下文感知的 E-commerce 评级大数据赋权方法 39 这样, 联立式(1) (4), 可以求得参数 α, β, γ 的值, 进而根据式(1), 可以求得各个评级的权重 wk (仅考虑评级时间) 基于偏好相似度的评级赋权根据评级用户的历史评级记录新用户的历史评级记录, 可以度量这两种用户的偏好相似度. 这里采用经典的协同过滤技术来计算新用户 Usernew 和历史评级用户 Userk (即第 k 个历史评级所对应的用户)的偏好相似度, 记为 Sim(Usernew, Userk ), 即 P (rnew,i rnew ) (rk,i rk ) i I rp, (5) Sim(Usernew, Userk ) = r P (rnew,i rnew )2 (rk,i rk )2 i I i I 式中, 集合 I 代表 Usernew 和 Userk 共同评价过的商品(或服务)的集合, rnew,i 和 rk,i 分别代表 Usernew 和 Userk 对商品 i 的评级分值, rnew 代表 Usernew 评价过的所有商品的评级均值, 而 rk 则代表 Userk 评价过的所有商品的评级均值. 一般而言, Userk 与 Usernew 的偏好越相似, Userk 的历史评级对 Usernew 的参考意义就越大, 二者之间存在一种正相关的关系. 本研究采用下式所示的简单线性相关来建模这种正相关关系, 即 ωk = λ Sim(Usernew, Userk ), (6) 式中, ωk 代表第 k 个历史评级的权重(仅考虑用户的偏好相似度), λ 为参数(λ > 0). 此外, 根据权重的意义, 可得 L X ωk = 1. (7) k=1 这样, 联立式(6)和(7), 可以求得参数 λ 的值. 进而根据式(6), 可以求得各个评级的权重 ωk (仅考虑用户的偏好相似度) 基于评级分值的评级赋权在 E-commerce 领域, 极端评级(好评 5*和差评 1*)对于新用户的选择决策往往影响更大. 此外, 用户的在线评级往往呈现双峰 J 形分布 (见图 3)及偏正向 (即用户倾向于给予好评, 而非差评; 当用户未进行评级时, 系统往往默认好评)的特点[7]. 因此, 对于新用户而言, 差评往往比好评更具有参照意义. 为了克服评级分值的双峰 J 形分布对可信评估的不利影图 3 E-commerce 用户评级的分值分布 Fig. 3 User rating score distribution in E-commerce

5 40 ( 自然科学版 ) 第 22 卷响, 本研究采用如表 1 所示的分段等差数列来刻画五种评级分值的相对重要性 ( 以差评 1* 作为参考基准, 其相对重要性 Score(1*) 设为 1). 表 1 中, r k 代表第 k 个评级的分值 (r k {1*, 2*, 3*, 4*, 5*}), 权重 ψ k 代表第 k 个评级的权重 ( 仅考虑评级的分值 ), p 为参数 (p > 0). 表 1 五种评级分值的权重设计 Table 1 Weight design of five rating scores 评级分值 r k 相对重要性 Score(r k ) 权重 ψ k 1* 1.0 p 2* p 3* p 4* p 5* p 那么根据权重的意义, 可得 L ψ k = 1. (8) k=1 通过求解式 (8) 可得参数 p, 进而根据表 1 可以求得各个评级的权重 ψ k ( 仅考虑评级的分值 ) 权重聚合前面分别得到了第 k 个评级的分权重 : w k ( 仅考虑评级时间 ) ω k ( 仅考虑用户的偏好相似度 ) 和 ψ k ( 仅考虑评级的分值 ). 接下来将通过线性加权的方式, 对上述 3 种分权重进行聚合, 进而得到第 k 个评级的综合权重 W k, 即 W k = a w k + b ω k + c ψ k, (9) 式中, a, b, c 为聚合系数, 且满足条件 a + b + c=1(0 < a, b, c < 1). 3 实验评估下面将设计一组实验来验证所提出的 CWA 的有效性. 3.1 实验数据集及实验部署本实验采用美国 Minnesota 大学计算机科学与工程学院的 GroupLens 项目组创办的 MovieLens 1M Dataset [8]. 该数据集收集了名用户对部电影的超过 100 万条历史评级记录, 是目前在线推荐系统所广泛采用的标准实验数据集之一. 在实验中, 随机选取 100 部电影, 即 Movie-set={M 1, M 2,, M 100 }; 对于其中每部电影 M i (i=1, 2,, 100)( 假设 M i 拥有 L 个历史评级, 且已按时间先后进行排序 ), 将第 L 个评级的真实分值 r L,i 作为实验的评估基准 ( 即 benchmark), 而用前面的 L 1 个历史评级来预测第 L 个评级的分值 r p,i ; 然后, 利用平均绝对误差 (mean absolute error, MAE) 来评估预测结果的准确性, MAE 越小, 说明预测越准确, 其计算公式如下 : MAE = r p,i r L,i. (10) 100 i=1

6 齐连永, 等: 一种上下文感知的 E-commerce 评级大数据赋权方法第1期 41 为了评估参数 L 对预测准确性的影响, 取 L=100, 200, 300, 400, 500. 实验硬件环境为 Lenovo 笔记本(2.50 GHz CPU, 1.0 GB RAM), 软件环境为 Windows XP, Matlab7.0. 每个实验执行 10 次并取其平均实验结果. 3.2 实验结果将 CWA 与另外两种赋权方法 Average[9] 和 Last-K [10] 进行实验比较, 其中 Average 方法考虑商品(或服务)的所有评级并赋予相同的权重, Last-K 方法仅考虑最新的 K 个评级(默认 K=4), 并为这 K 个评级赋予相同的权重. 而 CWA 仅考虑权重排名前 9 的评级(基于 Miller 法则), 且取式(9)中 a = b = c = 1/3. 接下来分别比较 3 种方法的预测准确性时间开销, 以及新用户在评估商品时需要参考的评级数量预测准确性根据 3 种评级赋权方法(CWA/Average/Last-K), 可以预测 benchmark 评级的分值, 进而根据式(10)计算该赋权方法的平均绝对误差 MAE, MAE 值越小, 说明预测越准确. 实验结果如图 4 所示, 其中历史评级的数量 L=100, 200, 300, 400, 500. 从图 4 可以看出, Average 方法的预测准确性较差, 这是因为该方法并未考虑各历史评级的上下文差异, 而对所有评级同等对待; Last-K 方法由于仅考虑了历史评级的时间信息, 使得其预测准确性较 Average 方法有所提高; 而 CWA 的预测准确性最高, 这是因为 CWA 综合考虑了历史评级的时间用户偏好评级分值等上下文信息, 能够更好地契合新用户的商品(或服务)选择偏好和习惯. 图 4 3 种评级赋权方法的预测准确性比较 Fig. 4 Prediction accuracy comparison of three rating weighting approaches 此外, 图 4 揭示了 3 种方法的预测准确性随历史评级数量 L 的变化趋势. 具体而言, 当 L 增大时, Average 方法的预测准确性不稳定; Last-K 方法仅考虑 K(默认 K=4)个历史评级, 所以其预测准确性保持不变; 而 CWA 方法的预测准确性随 L 的增大而略微提高, 这是因为当 L 增大时, CWA 方法所选出的 9 个历史评级的权重更高, 更加契合新用户对商品(或服务)的选择偏好时间开销比较 3 种赋权方法的时间开销随历史评级数量 L 的变化趋势, 结果如图 5 所示. 从图 5 可以看出, Last-K 方法的时间开销最低, 且与 L 无关, 这是因为该方法仅考虑最近的 K(默认 K=4)个历史评级, 而忽略剩余的 L K 个历史评级; Average 方法与 CWA 的时间开销均随 L 的增大而呈现近似线性的增长趋势, 这是因为两种方法在赋权时考虑了所有的 L 个历史评级; 此外, CWA 的时间开销较 Average 方法更大, 这是因为前者在计算各评级的具体权重时需要花费较多的时间. 不过, CWA 的时间复杂度近似线性, 且时间开销属于毫秒级, 基本能

7 自然科学版 42 第 22 卷够满足 E-commerce 领域中大多数用户的响应时间要求. 图 5 3 种评级赋权方法的时间开销比较 Fig. 5 Time cost comparison of three rating weighting approaches 新用户在评估商品时需要参考的评级数量假设一个商品(或服务)拥有 L 个历史评级, 而将新用户在评估该商品(或服务)的质量时需要参考的评级数量记为 n(显然 0 < n 6 L). 比较 3 种赋权方法的 n 值(见图 6), 可见 Average 方法中新用户需要参考所有的 L 个评级, 才能评估一个商品(或服务)的质量, 即 n = L; Last-K 方法中新用户仅需参考最近的 K(默认 K=4)个评级, 即 n=4; 而在 CWA 中, 新用户仅需参考权重最高的 9 个评级(基于 Miller 法则), 即 n=9. 图 6 3种评级赋权方法中新用户需要参考的评级数量比较 Fig. 6 Comparison of referenced rating number by new user of three rating weighting approaches 综上所述, 本研究所提出的 CWA 实际上是对 Average 方法和 Last-K 方法的一种折中, 虽然 CWA 耗费了较多的运行时间(见图 5), 但却减轻了用户端的负担, 大大降低了新用户在评估商品质量时的决策成本(见图 6), 同时保证了评估结果的正确性(见图 4). 4 相关工作及对比分析 E-commerce 的飞速发展使得商品(或服务)的在线评级数据量越来越庞大, 如何有效利用这些历史评级数据来为新用户的商品(或服务)评估提供决策支持, 成为目前 E-commerce 领域的热点研究问题之一. 而由于商品历史评级的海量性和差异性, 使如何对各个历史评级进行合理赋权和优化筛选, 以确保商品评估的准确性和快速性, 成为目前 E-commerce 领域所面临的

8 第 1 期齐连永, 等 : 一种上下文感知的 E-commerce 评级大数据赋权方法 43 一大挑战. 许多学者对这一问题进行了大量的研究, 并取得了部分阶段性成果. 文献 [11] 分析了服务时间与权重之间的相关关系, 但是缺少定量的权重计算模型. 文献 [9] 采用平均化的 Average 方法来评估商品 ( 或服务 ) 的质量, 但是该方法平等对待所有的历史评级, 并未考虑各个评级的上下文差异. 文献 [2] 和 [12] 分析了评级权重与评级时间之间的相关关系, 认为用户评级呈现某种挥发效应 (volatile effect), 即随着时间的推移, 一个评级将会变得越来越不重要. 但是, 上述文献仅仅对用户评级的权重 - 时间关系进行定性描述, 并未给出量化的权重模型. 文献 [10] 采用 Last-K 方法对用户的历史评级进行赋权, 对最近的 K 个评级赋予相同的权重 1/K, 而剩余评级的权重置为零, 该方法考虑了用户评级的挥发效应, 强调了最近评级的重要性. 文献 [4] 和 [13] 分别采用等比数列和等差数列, 按照用户评级的时间先后对评级进行赋权, 取得了较好的效果. 但是, 上述文献仅仅考虑了用户评级的时间信息, 并未考虑其他评级的上下文信息. 此外, 文献 [7] 经过大量的统计分析, 发现用户评级呈现偏正向的双峰 J 形分布, 因此为了弱化用户评级的偏正向效应, 将评级的分值大小作为评级权重的设计依据. 但是, 文献 [7] 侧重于对用户评级的偏正向现象进行解释和分析, 而并未给出具体的偏正向校正方案. 本研究在上述研究工作的基础之上, 提出了一种上下文感知的用户评级赋权方法, 不仅综合考虑了用户评级的时间用户偏好评级分值等多种上下文信息, 而且给出了定量的权重计算模型. 通过实验进一步验证了 CWA 的有效性, 实验结果表明 : CWA 的时间开销虽然稍大, 但却大大降低了新用户对商品 ( 或服务 ) 的评估成本, 同时获得了较高的评估准确性, 从而在时间开销评估成本评估准确性之间了实现了良好的折中. 5 结束语 E-commerce 评级数据的海量性和差异性使得新用户难以快速而准确地评估商品 ( 或服务 ) 的质量. 鉴于此, 本研究提出了一种上下文感知的评级大数据赋权方法, 本方法综合考虑了用户评级的时间用户偏好评级分值等多种上下文信息, 以选出少数重要的评级数据, 并抛弃大多数不重要的评级数据, 从而确保新用户可以对商品 ( 或服务 ) 进行快速而准确的质量评估. 最后, 通过一组实验验证了 CWA 的有效性. 在下一步的研究工作中, 将在 CWA 中引入更多的评级上下文信息, 以进一步提高权重设计的合理性和准确性 ; 此外, E-commerce 评级数据的更新速度很快, 未来将对用户评级的时效性问题进行更加深入的讨论和分析. 参考文献 : [1] Yin H Z, Cui B, Chen L, et al. Modeling location-based user rating profiles for personalized recommendation [J]. ACM Transactions on Knowledge Discovery from Data, 2015, 9(3): [2] Wan Y. The Matthew effect in online review helpfulness [C]//15th International Conference on Electronic Commerce. 2013: [3] Vickrey W. Measuring marginal utility by reactions to risk [J]. Econometrica, 1945, 13(4): [4] Wu Y, Yan C G, Ding Z J, et al. A novel method for calculating service reputation [J]. IEEE Transactions on Automation Science and Engineering, 2013, 10(3): [5] Miller G A. The magical number seven plus or minus two: some limits on our capacity for processing information [J]. Psychological Review, 1956, 63(2):

9 44 ( 自然科学版 ) 第 22 卷 [6] Gibbard A. A Pareto-consistent libertarian claim [J]. Journal of Economic Theory, 1974, 7(4): [7] Hu N, Kohb N S, Reddy S K. Ratings lead you to the product, reviews help you clinch it? The mediating role of online review sentiments on product sales [J]. Decision Support Systems, 2014, 57: [8] Minnesota University. MovieLens 1M Dataset [EB/OL]. [ ]. datasets/movielens/. [9] Qi L Y, Yang R T, Lin W M, et al. A QoS-aware web service selection method based on credibility evaluation [C]//IEEE International Conference on High Performance Computing and Communications. 2010: [10] Song R, Li B, Wu X, et al. A preference and honesty aware trust model for web services [C]//APSEC. 2012: [11] Zhong Y, Fan Y, Huang K, et al. Time-aware service recommendation for mashup creation in an evolving service ecosystem [C]//IEEE International Conference on Web Services. 2014: [12] 龙军, 刘昕民, 袁鑫攀, 等. 一种基于信任推理与演化的 Web 服务组合策略 [J]. 计算机学报, 2012, 35(2): [13] Liu J, Bai Y J, Patil M, et al. Selecting a list of network user identifiers based on long-term and short-term history data: U.S.,US B1 [P]

* CUSUM EWMA PCA TS79 A DOI /j. issn X Incipient Fault Detection in Papermaking Wa

* CUSUM EWMA PCA TS79 A DOI /j. issn X Incipient Fault Detection in Papermaking Wa 2 *. 20037 2. 50640 CUSUM EWMA PCA TS79 A DOI 0. 980 /j. issn. 0254-508X. 207. 08. 004 Incipient Fault Detection in Papermaking Wastewater Treatment Processes WANG Ling-song MA Pu-fan YE Feng-ying XIONG