Slide 1

Size: px

Start display at page:

Download "Slide 1"

赦登杭
7 years ago
Views:

1 医院科技影响力评价中的关键问题研究安新颖中国医学科学院医学信息研究所 2015 年 7 月

2 目录 1 评价概况科技评价基本方法数据采集与处理数据自动分类 5 评价结果未来展望 6

3 评价概况 (1) - 研究背景科技评价是科技管理和激励科技创新的重要手段许多国家和地区开展了多种形式的科技评价实践, 评价体系更加科学, 评价方法不断改进评价方法向多元化发展评价内容向多维度发展评价单元向学科评价转变评价方法从最初的单一手段逐渐转向同行评价和定量数据相结合的多元评价手段除了对科技产出维度进行评价外, 对科技投入科技影响和应用的评价也逐渐增加评价单元转变为以学科为对象, 与以机构为对象相比, 更具可比性

4 医学科技评价是衡量机构医学科技发展水平的重要手段医院科技影响力是将医院投入一定科技资源进医院作为国家医学科技创新体系的重要组成部分和医学研究的中坚力量, 必须不断提升科技创新水平, 以提高核心竞争力, 改进医疗服务质量行知识生产, 获得论文专利标准等形式科技产出并产生一定的学术影响的过程, 代表着医院的科技综合实力水平开展医院科技评价可以更好地满足医院科技管理的需要目前国内外开展的医院评价, 多针对医院医疗水平和服务质量, 对医院科技水平的评价也多局限于发表论文的数量及其引用情况等指标, 难以适应科技创新的需要

5 评价概况 (2) 目的与意义完善医学科技评价体系有助于完善医学科技评价体系, 形成激励医学科技创新的正确导向, 不断提高医院的科技发展水平和创新潜力满足医院科技管理的需要为各级医院科研管理部门卫生行政管理部门和科研基金资助机构了解医院科技水平提供重要信息, 也为医院科技管理提供新的手段和工具全面了解医院学科发展水平帮助医院全面了解自身的学科发展水平以及在学科领域中的地位, 为不同医院学科间的比较提供支持, 推动医院学科发展

6 科技评价基本方法 (1) 现有方法方法分类方法原理主要代表性方法主观评价指标主观赋权同行评议法德尔菲法调查研究法案例分析法层次分析法和定标比超法赋权权重由客观赋权法确定, 加权汇总熵权法变异系数法复相关系数法客观评价不赋权系统方法主成分分析因子分析 TOPSIS 等不一定赋权基于统计数据的方法文献科学计量法技术经济方法主客观相结合主观赋权, 系统方法综合多指标加权平均法软系统科学分析处理 ( 运筹学模糊数学模糊综合评价法 ELECTRE 法系统工程 ) PROMETHEE 法

7 科技评价基本方法 (2) 指标遴选原则科学性原则评价指标设置能客观真实公平地反映各个医院科技情况, 并经医院科研管理医学科研以及科技评价领域多方面专家联合论证目标性原则指标应符合本项目评价目的, 能够有效代表各医院科技投入产出和影响的特点和状况可比性原则所选取的指标和设计的指标体系应具有纵向可比和横向可比的功能, 能从时间上进行动态比较, 并能通过对不同医院的比较反映出各自特征和差异可行性原则指标具有可操作性, 指标来源数据应能够采集获取

8 科技评价基本方法 (3) 指标体系构建步骤通过文献调研法初步构建评价基本框架在收集整理医院评价相关文献, 调研国内外相关评价项目基础上, 明确研究现状以及常用方法和工具基于文献分析, 综合国内外医院科技评价相关的经验方案, 收集国内外科技评价指标, 初步构建了中国医院科技影响力评价基本框架, 构建医院科技影响力评价基本框架通过专家咨询法对初选指标进行论证邀请科研评价医院管理卫生管理等领域专家召开专家咨询会, 对指标体系框架进行充分论证, 探讨初选指标的适宜性和可操作性等, 对初步拟建指标框架进行, 结充分论证合专家的意见和建议, 探讨初选指标的适宜性可操作性等特点, 对指标体系框架进行修改通过德尔菲法确定指标体系按照德尔菲法步骤, 以调查表形式征询 25 名专家对各级指标的意见, 根据专家打分情况对指标体系进行修订开展 Delphi 专家咨询, 然后再进一步咨询相关领域专家意见, 选择科研评价和卫生管理等相关领域专家参与调查, 最终形成了中国医院科技影响力评, 对指标的重要性价指标体系和可行性进行打分, 结合指标的相关性分析, 形成了中国医院科技影响力评价指标体系通过层次分析法确定指标权重邀请科研评价医院管理卫生管理等领域专家召开专家咨询会, 对初步拟建指标框架进行基于评价指标体系, 利用层次分析法确定指标权重充分论证, 探讨初选指标的适宜性可操作性等特点

9 科技评价基本方法 (4) 指标体系确定根据德尔菲专家咨询结果, 对评价指标体系进行修订, 并进一步咨询了科技评价医院科研管理等领域的专家意见, 最终确定中国医院科技影响力评价指标体系, 包括 3 个一级指标,10 个二级指标,21 个三级指标科技投入主要有科研人员总数国家级科研项目数量国家重点实验室数量国家临床重点专科以及药物临床试验机构等指标科技产出主要有 SCIE 收录的论文数量和被引频次中文核心期刊论文数量和被引频次授权专利数量制定的国家标准数量以及国家级医学继续教育项目数量等指标学术影响主要有两院院士人数长江学者人数国家杰出青年基金获得者人数重要学会任职人数以及重要期刊编委会任职人数等指标

10 表 : 医院科技影响力评价指标体系一级指标二级指标三级指标人力资源科研人员总数科研项目 973 项目数量国家自然科学基金项目数量科技投入国家级重点实验室数量科研基地部级重点实验室数量国家临床重点专科数量药物临床试验机构专业数量论文数量 SCIE 收录论文数量中文核心期刊论文量 SCIE 收录论文总被引频次论文质量中文核心期刊论文总被引频次科技产出专利和标准发明专利授权量国家标准数量学术影响教育培训杰出人才学术任职学术交流国家级医学继续教育项目数量国家杰出青年基金获得者人数长江学者人数两院院士人数重要学会任职中华医学会系列期刊任职国际合作论文比国内合作论文比

11 科技评价基本方法 (5) 指标权重确定应用层次分析法对指标体系进行连续性分解, 得到各层目标, 并以最下层作为衡量目标达到程度的评价指标根据 25 位专家对同级同类指标的相对重要性进行两两比较做出判断并按照 Saaty 1-9 标度方法评分, 以分值大小确定指标权重计算各权建立层次构造判断矩阵计算权重向量一致性检验重系数结构模型

12 科技评价基本方法 (6) 标准化处理与综合计算标准化医院科技影响力是多指标的综合评价, 指标范围较广, 各个指标间缺乏统一的度量标准计算根据评价指标的类型, 采用正向型指标无量纲化的标准函数, 对其进行标准化处理总分将评价指标的无量纲化值与相应指标权重系数的乘积相加, 以百分制形式计算每家医院的科技影响力分值

13 数据采集与处理 (1) 数据来源表 : 医院学科竞争力评价数据来源说明统计资料数据类型国际论文数据数据来源 SCIE 数据库国内论文数据 SinoMed 数据库中国专利数据中国专利信息中心数据库内部资料数据来源国内外数据库中国标准数据国家自然科学基金项目国家标准化管理委员会标准查询数据库国家自然科学基金委员会科学基金网络信息系统两院院士中国科学院和中国工程院院士库长江学者长江学者奖励计划官方网站医院网站重要学会任职中华医学会中华口腔医学会等一级学会及其专业委员会官方网站重要期刊编委会任职中华医学会系列期刊网站编委会

14 表 : 医院学科竞争力评价数据集合数据说明由于数据库收录的时滞性, 为确保全面获取医院 2013 年相关指标数据, 本研究数据采集时间为 2014 年 4 月统计的论文数据为 2013 年 SCIE 收录的论文数量以及中文核心期刊论文数量 ; 论文引用数据为 2012~2013 年发表的论文截至 2014 年 4 月的累计被引频次 ; 专利数据为 2013 年授权的发明专利数量 ; 科研项目为 2013 年立项的项目数据库论文库专利库项目库学者库机构库标准库其他数据量 23 万条 SCI 论文数据 136 万条中文核心期刊论文数据条专利数据 4 万条项目数据 74 万条学者数据 1021 条机构名称条目 6357 机构规范条目 3300 条标准 7600 项继续教育项目 3300 条学术委员会任职 700 条学术期刊任职

15 数据采集与处理 (2) 数据采集研发数据采集工具内部 DNS 解析互联网自主研发数据采集工具, 实现对 SCI 中文论文数据科研项目数据标准数据继续教育项目数据等信息的自动采集选取链接链接选取 Link selector 域名解析发送抓取任务网页抓取 Crawler system 返回抓取网页网页抓取存储网页结果和处理后的结构数据采集工具模块数据采集工具包括多个模块 : 链接存储链接选取 DNS 解析网页抓取网页分析链接分析与拓展网页存储等链接数据库 Linkdb 链接更新 Link saver 定期合并 link 库提交链接库跟新发送网页中扩展的链接网页提取 ec 链接过滤 Link filter Web link

16 代码解析数据入库 02 抓取代码

17 数据采集与处理 (3) 数据清洗全面核查原始数据, 利用数据清洗工具抽取转换和装载数据, 实现多数据源的集成, 建立数据间的逻辑联系, 解决数据输入错误不同来源数据引起的不同表示方法无效值和缺失值等问题, 进一步保障和提高数据质量数据处理工具重复数据不一致问缺失数据数据聚集数据规范化集成多源数据, 建立逻辑联系题数据清理数据转换数据集成人工审核

18 数据采集与处理 (4) 机构名称规范规范名称曾用名称 ( 广州医科大学曾用名广州医学院 ) 合并名称 ( 重庆市第一人民医院并入重庆市中医院 ) 非规范名称 ( 解放军总医院的非规范名称包括 301 医院和三零一医院等 ) 北京大学人民医院上级机构 ( 北京大学 ) 下级机构 ( 北京大学血液病研究所 ) 30 万英文地址记录 54 万中文地址记录 dcx 层级规范机构官方网站 30 万英文地址记录 54 万中文地址记录机构名称规范

19 词表规范层级规范数据来源数据来源

20 表 : 广东省人民医院中文科技论文产出广东省人民医院科技论文比例规范名称广东省人民医院 % 合并名称广东省医学科学院 % 下属机构广东省心血管病研究所 381 广东省老年医学研究所 110 广东省肺癌研究所 60 广东省精神卫生研究所 % 广东省眼病防治研究所 25 广东省神经科学研究所 26 总计 4268

21 数据采集与处理 (5) 基金名称规范针对一篇论文资助信息中的多个基金项目进行拆分, 并对格式进行规范, 建立起科研投入 ( 项目 ) 与科研产出 ( 论文 ) 的关联, 为分析研究机构的科研效率提供基础

22 序号国家自然科学基金名称规范国家自然科学基金的多种写法 1 The National Nature Science Foundation 2 Program of the National Natural Science Foundation of China 3 NSFC 4 China Natural Science Foundation 5 6 National Science Foundation of China for Excellent Young Scientists State Program of National Natural Science Foundation of China for Innovative Research Group 7 National Natural Science Foundation of China Major Program

23 数据采集与处理 (6) 作者名称规范基于社会网络的重名消解系统

24 数据采集与处理 (7) 数据集成与关联 SCI 中文论文自科基金学会任职期刊任职专利 author 作者负责人委员编辑发明人科研人员 ID 编制多来源多格式评价数据的唯一标示符 : 科研人员 ID 基于 ID 号将机构,SCI 中文论文作者, 基金项目负责人, 学委会期刊任职, 专利等数据关联起来, 为学科竞争力评价提供数据基础

25 数据自动分类 (1) 存在问题现有学科分类中存在的问题 :: 分类体系复杂不同来源数据分类体系复杂, 无法与学科分类与代码建立完整对应关系缺少有效的学科标识信息许多数据缺失可用于表征学科分类的信息, 只能根据内容确定其分类人工标引无法实现总数据量达到 300 万, 学科覆盖医学所有领域, 仅靠人工标引难以实现

26 基于编辑距离理论, 计算医学专业分类表与学科分类与代码的类目相似度, 建立类目之间的映射关系表医学专业分类表学科分类与代码

27 数据自动分类 (2) 学科分类标准自科基金数据自科基金申请学科代码分类体系 SCI 论文数据专利数据国内论文数据 Web of Science 学科分类国际专利分类 (IPC) 中国图书分类法医学专业分类表国家标准学科分类与代码继续教育项目国家标准学科分类与代码国家标准数据国际标准分类法 (ICS) 本研究的学科分类采用国家标准学科分类与代码 (GB/T ), 学科范围为该标准临床医学下二级类目, 以及内科学和外科学两个二级类目下的三级类目

28 数据自动分类 (3) 文本自动分类的原理文本自动分类 (Automatic Text Categorization,ATC), 在给定的分类体系下, 根据文本的内容用计算机程序确定文本所属类别的过程一般采用机器学习方法进行自动文本分类即 : 基于训练集的文本自动分类 ( 有监督的分类 )

29 数据自动分类 (4) 现有文本分类方法传统方法 Bayes 线性分类决策树及 KNN 等方法模型简单, 效率较高, 但能力相对较弱常用分类方法主题模型方法目前常用的分类方法有支持向量机 (SVM) LSI 等, 分类效果较好 LDA 是近几年兴起的主题模型方法, 更适合在大规模语料库上构造文本表示模型 LabeledLDA 是基于 LDA 构建的有监督的自动分类模型在本研究中, 我们主要采用了 LabeledLDA 方法

30 数据自动分类 (5) 学科分类的基本思路基于数据内容的学科自动分类系统论文数据标准数据 LDA 国家标准学科分类与代码项目数据人员数据 50 万条人工标注文献的训练集合主题模型方法人工核查专利数据机构数据

31 基于数据内容的学科分类 : 标题主题抽取期刊机器学习算法摘要候选分类确定关键词地址加权判别分类准确率 :90% 以上最终分类

32 训练数据集 50 万条论文数据半监督的主题模型方法覆盖 102 个国标分类人工辅助反馈生成自动分类模型

33 自动分类过程 200 万中文论文 150 万英文论文自动分类模型分类结果人工反馈

34 分类结果分类准确率 :90% 以上, 并在持续改进中基于分类结果构建了基于学科分类代码的医院科研成果实时查询系统

35 学科分类结果 : 完成了 300 万条评价数据的分类学科分类结果实现了多源数据的有效关联 LDA 构建了学科竞争力评价的数据基础

36 数据加工系统机构名称规范系统

37 数据加工系统国家自然科学基金协同加工系统

38 数据加工系统专利数据加工系统

39 数据加工系统数据质量审核系统

40 数据加工系统科研人员辅助标引系统

41 评价结果 (1) 评价对象以国家卫生计生委官方网站公布的 705 家三级甲等医院名录为基础, 增加部队医院 56 家中医院 85 家, 共对 846 家三级甲等医院进行科技影响力评价西部地区 195 家东部地区 :390 家中部地区 :261 家

42 评价结果 (2) 学科界定评价涵盖 20 个学科 : 儿科学眼科学肿瘤学呼吸病学消化病学血液病学肾脏病学传染病学骨外科学妇产科学口腔医学皮肤病学精神病学心血管病学神经外科学泌尿外科学整形外科学耳鼻咽喉科学内分泌病学与代谢病学风湿病学与自体免疫病学

43 评价结果 (3) 综合排行 2014 年度中国医院科技影响力排行 ( 综合 ) 排名医院名称科技投入科技产出学术影响总分 1 四川大学华西医院中国人民解放军总医院中国医学科学院北京协和医院上海交通大学医学院附属瑞金医院华中科技大学同济医学院附属同济医院第四军医大学西京医院复旦大学附属中山医院东部 70 家 8 浙江大学医学院附属第一医院中山大学附属第一医院华中科技大学同济医学院附属协和医院中部 14 家西部 16 家中国医院科技影响力百强地区分布图 ( 综合 )

44 评价结果 (4) 学科排行 2014 年度中国医院科技影响力排行 ( 口腔医学 ) 排名医院名称科技投入科技产出学术影响总分 1 四川大学华西口腔医院北京大学口腔医院上海交通大学医学院附属第九人民医院第四军医大学口腔医院武汉大学口腔医院首都医科大学附属北京口腔医院中山大学光华口腔医院江苏省口腔医院中国医科大学附属口腔医院南京市口腔医院中国医院科技影响力百强地区分布图 ( 口腔医学 )

45 2014 年度中国医院科技影响力排行 ( 心血管病学 ) 排名医院名称科技投入科技产出学术影响总分 1 2 中国医学科学院阜外心血管病医院首都医科大学附属北京安贞医院复旦大学附属中山医院中国人民解放军总医院上海交通大学医学院附属瑞金医院四川大学华西医院武汉大学人民医院山东大学齐鲁医院华中科技大学同济医学院附属协和医院北京大学人民医院中国医院科技影响力百强地区分布图 ( 心血管病学 )

46 2014 年度中国医院科技影响力排行 ( 呼吸病学 ) 排名医院名称科技投入科技产出学术影响总分 1 2 广州医科大学第一附属医院首都医科大学附属北京朝阳医院四川大学华西医院复旦大学附属中山医院中国人民解放军总医院中国医科大学第一附属医院上海市肺科医院中国医学科学院北京协和医院华中科技大学同济医学院附属同济医院江苏省人民医院中国医院科技影响力百强地区分布图 ( 呼吸病学 )

47 发布会在 2014 年 12 月 30 日召开的首届中国医学科学发展论坛上, 中国医学科学院医学信息研究所发布了 2014 年度中国医院科技影响力排行, 这在国内尚属首次, 对推动我国医院科技创新和临床科研工作具有重要意义

48 媒体报道中国科学报光明日报凤凰网人民网科学网等众多媒体对中国医院科技影响力发布进行了报道和转载

49 专家访谈曹雪涛院士 : 科技评价引导医疗品质提升医学科技评价工作对于推动医学科学技术事业持续健康发展提高医学科学技术管理水平具有重要意义 ; 临床实践和医学科技是不可分割的, 科研是医院学科建设的重要组成部分, 三甲医院是我国医学界的临床医疗主干力量和医学科技创新的重要基地代涛 : 科研与临床须双管齐下科研是医院学科建设的重要组成部分, 医疗技术水平也是衡量医院综合实力的最为重要的标志之一只有建立科研课题来源于临床研究成果用于临床的良性机制, 才能不断提高医疗服务的质量和水平

50 医院关注中山大学厦门大学四川大学重庆医科大学中南大学等高校以及北京朝阳医院阜外医院中国医学科学院血液病学研究所四川大学华西口腔医院上海交通大学医学院附属第九人民医院中山大学肿瘤防治中心广西医科大学第一附属医院等多家医院都在其官方网站上报道了该单位在医院科技影响力排行中的排名情况并对评价结果表示了肯定和支持

51 社交媒体评论本次医院科技影响力排行结果在微博微信等社交媒体中被广泛转载引用, 引起医药卫生界的关注和热议

52 医院调研 2015 年 3 月 -6 月, 课题组赴北京上海广州长沙武汉和天津等地访谈各医院科研管理专家, 针对指标体系的设置收集相关意见与建议, 沟通交流评价过程中的存在问题和可行的解决方案, 挖掘各医院科技评价需求所属大学医院所属大学医院北京协和医学院中国医学科学院阜外心血管病医院武汉大学武汉大学人民医院中国医学科学院肿瘤医院武汉大学中南医院北京大学北京大学口腔医院北京大学人民医院北京大学第一医院首都医科大学首都医科大学附属北京天坛医院首都医科大学附属北京朝阳医院首都医科大学附属北京东直门医院 ---- 中日友好医院 ---- 首都儿科研究所中南大学中南大学湘雅医院中南大学湘雅二医院华中科技大学华中科技大学同济医学院附属同济医院华中科技大学同济医学院附属协和医院武汉大学口腔医院同济大学上海市同济医院上海交通大学上海交通大学医学院附属仁济医院中山大学中山大学肿瘤防治中心中山大学附属第一医院中山大学孙逸仙纪念医院 ---- 广东省人民医院广州医科大学广州市精神病医院天津医科大学天津医科大学第二医院天津市眼科医院

53 医院调研武汉大学人民医院广东省人民医院中山大学肿瘤防治中心天津医科大学第二医院

54 广州市脑科医院中山大学附属第一医院中山大学孙逸仙纪念医院北京中医药大学东直门医院

55 评价服务依托于医院科技影响力评价工作, 提供以下服务 : 医院科研管理数据统计与分析报告定制化的学科竞争力分析报告潜在优秀人才遴选国内外同行科研成果分析报告基于海量数据的信息分析系统

56 谢谢邮箱 : an.xinying@imicams.ac.cn 电话 :

传染科医院 5 河南省人民医院获提名医院中南大学湘雅二医院武汉大学人民医院武汉大学中南医院耳鼻喉科医院 3 武汉大学人民医院 5 华中科技大学同济医学院附属同济医院获提名医院中南大学湘雅二医院中南大学湘雅三医院湖南省人民医院放射科医院 2 华中科技大学同济医学院附属协和医院 5 中南

传染科医院 5 河南省人民医院获提名医院中南大学湘雅二医院武汉大学人民医院武汉大学中南医院耳鼻喉科医院 3 武汉大学人民医院 5 华中科技大学同济医学院附属同济医院获提名医院中南大学湘雅二医院中南大学湘雅三医院湖南省人民医院放射科医院 2 华中科技大学同济医学院附属协和医院 5 中南华中区综合实力排行榜排名医院专科声誉科研学术总得分 80.000 20.000 100.000 2 华中科技大学同济医学院附属协和医院 68.184 17.071 85.255 3 中南大学湘雅医院 64.194 18.300 82.494 4 中南大学湘雅二医院 50.384 19.489 69.873 5 郑州大学第一附属医院 48.389 16.616 65.005 6 武汉大学人民医院