1 学术期刊来源指标与影响力关系的实证研究 俞立平潘云涛武夷山 中国科学技术信息研究所北京 100038 摘要 : 对学术期刊来源指标与影响力关系进行研究, 总结其中潜在规律, 对期刊评价与期刊管理具有重要意义 从期刊来源指标的角度系统分析其与期刊影响力关系的研究不多 本文利用散点图 回归分析和分组统计三种方法相结合, 以中国科学技术信息研究所医学类学术期刊为例, 分析了基金论文比 平均引文数 平均作者数 地区分布数 引用半衰期 5 个期刊来源指标与期刊影响力之间的关系 发现期刊来源指标较好并不代表期刊影响力就很大 各期刊来源指标与影响力之间存在着较低的相关关系, 但是在不同数据段他们的相关程度又不一样 不同期刊来源指标与期刊影响力之间的关系各有特点 建议在期刊学术质量评价中舍弃来源指标 关键词 : 学术期刊来源指标中图分类号 :G304 Study on Source Indexes and influence in Academic Journal Evaluation Yu Liping, Pan Yuntao, Wu Yishan Institute of Scientific & Technical Information of China, Beijing, China,100038 Abstract: It s very important to study source indexes and influence in academic journal evaluation and to continue to summarize its rules, but there are rare studies in this area. Adopting the medical journals on institute of science and technical information of china, this paper analyzes the relationship among grant-supported papers in total papers, Average references per article, Average number of authors, Numbers of provinces, Citing half-life and Impact factor based on dot map, regression and grouped statistics. The results show impact factor and source indexes have lower correlations, but their correlation level is different at the different data segment. The relationship among different journals source indexes and impact factor has its own characteristic. The source indexes should be given up in academic journal quality evaluation. Keywords: academic journal; source indexes; impact factor 1 引言 学术期刊是一个国家科技发展水平的重要窗口, 是知识创新 科技成果转化为生产力的重要桥梁, 在推动社会科技进步发面发挥着不可替代的作用 期刊评价是文献计量学研究的重要组成部分, 它通过对学术期刊的发展规律和增长趋势进行量化分析, 揭示学科文献数量在期刊中的分布规律, 为优化学术期刊的使用提供重要参考, 同时可以提高学术期刊的内在 1 国家十一五支撑计划项目 (2006BAH03B05)(2007-2009) 基于海量信息的科技发展与科技评价的科学计量学研究 ; 国家自然科学基金资助 (70673019)(2007-2009) 强竞争与弱竞争态势下的科技发展与科技评价的科学计量学研究作者简介 : 俞立平 (1967-) 男, 江苏泰州人, 博士, 中国科学技术信息研究所博士后, 扬州职业大学副教授, 主要从事信息经济 科学计量领域的教学科研工作 Email: chinayangzhou@yahoo.com.cn 潘云涛 (1967-), 女, 中国科学技术信息研究所研究员, 主要从事科学计量学研究 武夷山 (1958-), 男, 中国科学技术信息研究所总工程师, 研究员, 主要从事科技管理领域的研究
质量, 促进学术期刊的健康成长和发展 美国著名情报学家加菲尔德博士在 20 世纪 60 年代对期刊文献的引文进行了大规模统计分析, 得到了大量被引用文献集中在少数期刊上, 而少量被引用文献散布在大量期刊中的结论, 这是国外期刊评价理论的起源 国内外学者在期刊评价中设计了许多评价指标, 典型的有 RCR(Schubert et al.,1983) [1] RI RW PI PW (Peter Vinkler,1986) [2] NMCR(Braun & Glanzel,1990) [3] FCSm(Moed et al.,1995) [4] H 指数 (Hirsch,2005) [5] 等 由于学术期刊评价的特殊性和复杂性, 这些指标又可以进一步分为期刊影响力指标与期刊来源指标, 所谓影响力指标, 就是指与期刊被引相关的指标, 如总被引频次 即年指标 学科影响指标 学科扩散因子 H 指数等等 ; 期刊来源指标, 就是指与期刊自身特性相关的一些指标, 如基金论文比 平均引文数 平均作者数 地区分布数等等, 期刊来源指标与期刊影响力之间存在着错综复杂的关系, 对此进行深入研究有利于弄清它们的内在规律, 从而对期刊评价工作进行指导 在学术期刊评价指标内在关系研究领域, 姜春林 (2007) [6] 研究了期刊 H 指数与的关系 刘雪立 董建军等 (2006) [7] 研究了中国医学期刊出版周期与即年指标关系 金碧辉 汪寿阳等 (1999) [8] 讨论了期刊学术质量与之间的关系, 认为期刊与论文学术质量有直接联系, 同时必须结合同行评议进行分析 以上研究基本上首先构建理论框架, 然后结合数据进行简单统计分析 从期刊来源指标的角度系统分析其与期刊影响力关系的研究不多 本文利用中国科学技术信息研究所的医学期刊数据, 系统分析基金论文比 (jj) 平均引文数 (yw) 平均作者数(zz) 地区分布数(dq) 引用半衰期(yy) 与期刊影响力之间的关系, 试图总结他们之间关系的一些规律 2 方法与数据 2.1 散点图与回归分析研究两个变量的关系, 最常见的方法是首先绘出它们之间的散点图, 看其中是否存在某些规律 然后再进行回归分析, 从定量的角度分析某个期刊来源指标与之间是否存在关系 什么样的关系 回归拟合优度如何等等 利用回归分析还可以分析所有期刊来源指标与期刊影响力之间的关系, 比较各来源指标回归系数的大小以及所有来源指标对期刊影响力的解释程度大小 2.2 分组统计分析由于散点图和回归分析总体比较粗糙, 为了进一步分析期刊来源指标与之间的关系, 本文首先根据各期刊来源指标进行排序, 然后对所有期刊进行分组, 分别计算每组期刊的平均和期刊来源指标平均值, 绘出它们之间关系的折线图, 这样可以较为精确地分析期刊来源指标在不同取值范围内与关系的特点 2.3 数据本文数据来自于中国科学技术信息研究所 CSTPC 数据库, 中国科学技术信息研究所从 1987 年开始对中国科技人员在国内外发表论文数量和被引情况进行统计分析, 并利用统计数据建立了中国科技论文与引文数据库, 同时出版 中国科技期刊引证报告 在分析期刊来源指标与关系时, 由于不同学科期刊之间不可比, 而在数据量较少的情况下进行研究又不具有代表性, 因此本文选取期刊种类相对较多的医学期刊数据进行分析 数据是 2006 年数据, 共 518 种期刊 此外由于许多期刊刊载海外论文数量极少, 因此舍弃了海外论文比指标 期刊影响力指标有总被引频次, 扩散因子等, 以最具有代表性, 因子选取 (yz) 作为期刊影响力指标
平均作者数 地区分布数 基金论文比 平均引文数 3 实证结果 3.1 散点图分析 1.0 35 0.8 0.6 30 25 20 0.4 0.2 15 10 5 0.0 0 图 1 基金论文比与 Fig1. Ratio of Funded Papers and impact factor 图 2 平均引文数与 Fig2. Average Citations Per Article and impact factor 9 8 7 6 32 28 24 20 5 4 3 2 1 图 3 平均作者数与 Fig3. Average Number of Authors per paper and impact factor 16 12 8 4 0 图 4 地区分布数与 Fig4. Numbers of provinces and impact factor
引用半衰期 9 8 7 6 5 4 3 2 图 5 引用半衰期与 Fig5. Citing Half-life and impact factor 各期刊来源指标与散点图如图 1~ 图 5 所示 基金论文比与散点图比较发散, 有的基金论文比很高但很低, 有的基金论文比很低但很高, 但基本可以看出二者之间存在正相关关系 平均引文数与散点图则相对集中, 以平均引文在 13 篇以下, 在 1.0 以下的期刊占绝大多数, 共 442 种, 占整个期刊的 85%, 二者之间存在正相关关系 平均作者数与也存在正相关关系, 以平均作者数在 2.5~5.5, 小于 0.8 的期刊为主, 共 451 种, 占 87% 地区分布数与散点图总体比较分散, 从图中可以看出, 地区分布数很高的期刊, 其不一定高, 但地区分布数较低的期刊肯定很低 总体上, 地区分布数与也存在正相关关系 引用半衰期与呈负相关关系, 散点图也较为集中, 以引用半衰期在 4.5~7.0, 小于 0.8 的期刊为主, 共 410 种, 占 80% 3.2 来源指标与影响力的回归分析将作为因变量, 期刊来源指标作为自变量, 回归分析结果如表 1 所示 除了基金论文比没有通过统计检验外, 平均引文数 平均作者数 地区分布数和引用半衰期在 1% 的水平上都通过了统计检验, 拟合优度 R 2 较低, 仅为 0.29, 说明期刊来源指标并不能代表期刊的影响力, 它们对期刊影响力的解释力较低 表 1 与期刊来源指标回归分析 Table1. Regression of impact factor and journal source indexes 常数项基金论文比平均引文数平均作者数地区分布数引用半衰期 0.099 0.062 0.012 *** 0.102 *** 0.012 *** -0.084 *** (0.986) (0.957) (4.060) (7.593) (6.493) (-6.949) 拟合优度 R 2 0.298 期刊数量 n 518 注 :*** 表示在 1% 的水平上统计检验显著分别将基金论文比 平均引文数 平均作者数 地区分布数 引用半衰期作为因变量, 作为自变量进行回归, 结果如表 2 所示 所有来源指标与之间的关系均比较显著, 在 1% 的水平上都通过了统计检验, 但总体上相关性并不是很大 5 个来源指标中,
平均作者数与关系最为密切, 其拟合优度为 0.137 基金论文比与的拟合优度最小, 仅为 0.026 从图 3 和图 1 中基本也能看到这种规律, 图 3 最为集中, 图 1 最为分散 表 2 期刊来源指标与分别回归分析 Table 2. Regression of per journal source index and impact factor 基金论文比平均引文数平均作者数地区分布数引用半衰期常数项 0.209 *** 7.808 *** 3.529 *** 20.547 *** 6.025 *** (13.284) (25.097) (52.728) (44.026) (88.830) 0.113 *** 3.301 *** 1.173 *** 4.721 *** -0.898 *** (3.719) (5.475) (9.038) (5.219) (-6.834) 拟合优度 R 2 0.026 0.055 0.137 0.050 0.083 期刊数量 n 518 注 :*** 表示在 1% 的水平上统计检验显著 3.3 分组统计分析 3.3.1 基金论文比与关系的分组统计分析首先根据基金论文比从小到大的顺序进行排序, 然后进行分组统计, 考虑到总共有 518 种期刊, 如果每组期刊过多, 则比较粗糙, 每种期刊过少, 又不具有代表性, 因此本文将期刊分为 18 组, 前 17 组每组 30 个期刊, 最后一组 8 种期刊, 这样共 518 种期刊 期刊分组后分别计算各组期刊基金论文比和的平均值, 最后绘出折线图, 如图 6 所示 图 6 基本上呈锯齿状, 基金论文比在 0.11 以下的期刊, 其基本在 0.4 以下, 只有当基金论文比极低的情况下, 其才相当低 ; 基金论文比在 0.11 以上的期刊, 其在 0.4~0.54 之间波动, 基金论文比与几乎无关 图 6 基金论文比的分组统计分析 Fig1. Group Analysis of Ratio of Funded Papers 3.3.2 平均引文数与关系的分组统计分析
图 7 平均引文数分组统计分析 Fig7. Group analysis of Average Citations Per Article 平均引文数与的关系如图 7 所示, 当平均引文数在 13 以下时, 与平均引文数呈明显的正相关关系, 虽然有一些波动 当平均引文数超过 13 时, 期刊略有下降, 基本维持在 0.5 左右 3.3.3 平均作者数与关系的分组统计分析 图 8 平均作者数的分组统计分析 Fig8. Group analysis of Average Number of Authors per paper 平均作者数与的关系如图 8 所示, 当平均作者数在 3.6 以下时, 在 0.35 左右波动 ; 当平均作者大于 3.6 时, 平均作者数与之间存在着明显的正相关关系, 虽然略有波动 3.3.4 地区分布数与关系的分组统计分析
图 9 地区分布数的分组统计 Fig 9. Group analysis of number of provinces 地区分布数与的关系如图 9 所示, 当地区分布数在 17 以下时, 总体较低, 并且相差不大, 平均在 0.28 左右, 这和散点图分析结果类似 ; 当地区分布数大于 17 时, 在 0.45 左右波动 地区分布数与几乎无关 3.3.5 引用半衰期与关系的分组统计分析 图 10 引用半衰期的分组统计分析 Fig 10. Group analysis of Citing Half-life 引用半衰期与的关系如图 10 所示, 总体上, 二者呈明显的负相关关系, 虽然中间存在波动, 引用半衰期越短, 期刊越高 4 结论与讨论 4.1 期刊来源指标与影响力相关程度总体较低基金论文比 平均引文数 地区分布数等期刊来源指标总体上对期刊影响力解释较低, 如果期刊影响力在一定程度上代表了期刊的学术质量的话, 那么即使期刊来源指标较好, 也不代表期刊学术质量和影响力就高 各期刊来源指标与均存在着不同程度的相关性, 但除了平均作者数与之间的关系超过 0.1 外, 其它指标与之间的关系均极低 4.2 不同来源指标与期刊影响力之间的关系各有特点基金论文比与期刊散点图最为发散, 有的期刊基金论文比很高, 但极
低 ; 有的期刊基金论文比很低, 但较高 总体上, 当基金论文比极低的情况下, 才相当低, 当基金论文比处于中等以上水平时, 基金论文比与几乎无关 平均引文数与期刊虽然总体上呈较低的正相关关系, 但当平均引文数在 13 以下时, 它与呈明显的正相关关系, 虽然有一些波动 当平均引文数超过 13 时, 期刊基本维持在 0.5 左右 平均作者数与之间的相关程度是 5 个来源指标中最高的 当平均作者数在 3.6 以下时, 在 0.35 左右波动 ; 当平均作者大于 3.6 时, 平均作者与之间存在着明显的正相关关系 地区分布数很高的期刊, 其不一定高, 但地区分布数较低的期刊肯定很低, 地区分布数与几乎无关 引用半衰期与之间总体上呈较低的负相关关系 4.3 散点图 回归分析与分组统计分析应结合使用散点图可以直观地进行分析, 而且能得出一些有意思的结论, 如地区分布数很低的期刊, 其必然很低, 不可能有特殊情况 采用回归分析, 可以总体上反映期刊来源指标与之间的大致关系, 但比较粗糙 采用分组统计分析, 可以较为直观地比较不同数据段之间期刊来源指标与之间的关系 需要说明的是, 所有分析都是在宏观层次进行的, 因此在宏观上有意义, 如果具体到某种期刊进行微观分析是没有意义的 这三种方法相结合也可以用来分析同一学科不同机构期刊来源指标与影响力之间的关系 4.4 期刊来源指标与期刊评价指标的关系期刊影响力是期刊的产出指标, 来源指标本质上是影响期刊产出的一些相关因素, 由于来源指标与期刊影响力关系较弱, 也就是说, 基金论文比 平均作者数 平均引文数等指标对期刊的产出影响较小 在期刊评价中, 如果重点从产出或影响力的角度进行评价, 那么是可以舍弃来源指标的 学术期刊评价重点往往是其学术质量, 影响力是学术质量的一个反映, 一般在期刊评价中会结合同行评议评价学术质量, 因此在期刊学术质量评价中也可以舍弃来源指标 4.5 评价中 你有政策, 我有对策 效应的预防在学术期刊评价中, 评价指标和方法一经公布, 部分期刊为了扩大自己的影响, 往往会通过人为手段提高一些 可操纵 指标的值 在期刊影响力指标中, 由于采取了他引率指标进行了限制, 因此, 期刊影响力指标基本上是无法人为操纵的 但是来源指标就不同了, 比如期刊编辑部可以通过鼓励发表基金论文 有意识增加期刊论文的地区分布 规定作者引用较新的论文和增加引文量 欢迎作者合作等手段人为提高来源指标值, 从这个角度讲, 也不适合用来源指标对期刊进行评价 4.6 本文研究方法具有一定的普适性遵循同类可比的原则, 对于同一学科的期刊, 可以采用本文的方法进行深入研究, 发现其中一些规律 需要说明的是, 本文的结论仅是本文选取数据的分析结果, 选取不同学科期刊 不同年代的数据结果也许会有所不同 期刊影响力指标有总被引频次 即年指标等, 它们各有侧重, 限于篇幅, 本文仅以为主进行分析, 进一步的研究可以在此基础上进行拓展 参考文献 [1]SCHUBERT A., GLANZEL W., Braun T. Relative citation rate:a new indicator for measuring the impact of publications. In: D.Tomov, L. Dimitrova (eds),proceeding of the first national conference with international participation on scientometrics and linguistics of scientific text, Varna[M]. 1983,PP80-81
[2]VINKLER P. Evaluation of some methods for the relative assessment of scientific publications[j]. scientometrics,1986(10):157-177 [3]BRAUN T., GLANZEL W. World flash on basic research. A topographical approach to world publication output and performance in science[j].1990,scientometrics,19:159-165 [4]MOED. H. F.,R.E. DE BRUIN.. New bibliometric tools for the assessment of national research performance[j]. Scientometrics,1995,33:381-422 [5]Hirsch,J.E. An index to qualify an individual s scientific research output. Proceeding of the national academy of sciences USA[M]. 2005,102:16569-16572 [6] 姜春林. 期刊 h 指数与之间关系的案例研究 [J]. 科技进步与对策,2007(78-80) [7] 刘雪立 董建军等. 我国医学期刊出版周期与即年指标关系的调查研究 [J]. 中国科技期刊研究,2007 (4): 597-599 [8] 金碧辉 汪寿阳等. 论期刊与论文学术质量的关系 [J]. 中国科技期刊研究,2000(11):202-205