医学科研项目评估方式范文

医学科研项目评估就是依据一定的标准,应用科学的方法从不同层面对医学科学研究项目进行价值判断的过程。课题为科研项目的组成部分,故广义上的科研项目评估应包括课题的评估。科研项目评估在国外开展较早。我国对科技项目的评估起步较晚,直到上世纪90年代才受到关注[1]。本文采用系统评价的原理和方法,全面检索关于医学科研项目评估方法的研究,并评估其质量,为科研管理者了解科研项目评估的内容提供帮助。

1材料与方法

1.1检索

1.1.1电子数据库选择检索中国科技期刊数据库(维普,VIP),中国知网数据库(CNKI),中国科技论文与引文数据库(万方,CSTPCD),中国生物医学文献数据库(CBM),检索年限从数据库创始至2010年8月,中文检索词采用:“科研项目、评估方法和评估体系”,英文检索词采用“medicalresearch,management,as-sessment,evaluation”。根据不同数据库的特点制定检索策略进行检索。

1.1.2手工检索手工检索《中华医学科研管理杂志》中关于研究项目评估方法的文献。

1.1.3网络搜索采用Google高级搜索功能,在官方网站上搜索关于医学科研项目评估方法相关的信息。

1.1.4其他检查纳入文献的参考文献,从题目判断是否符合纳入标准,如不能从题目判断是否相关,则获取全文后决定是否纳入。咨询相关领域的专家或管理人员,询问医学科研项目评估方法相关问题。

1.2文献筛选和数据提取由两名研究者独立筛选文献和提取数据,不一致的地方讨论后解决。如果讨论后仍不能达成一致,则请第三方裁决。数据提取采用统一的数据提取表格,但根据文献类型和内容有所不同。主要分两个部分:建立评估指标体系和选择评价内容,前者包括:评估指标筛选、评估指标确定、指标值的标准化和权重分配方法;后者包括立项评估、项目过程评估、项目验收评估和项目绩效评估。

1.3数据分析对个案报告或经验总结的文献采用主题分析方法的定性分析方法,提炼各评估方法或措施的主要内容和核心词汇,将不同科研项目评估方法纳入确定的主题下。对相同或相似的措施合并,或用能涵盖两者意义的词语代替。

1.4研究质量评价采用2006年中国循证医学中心针对管理领域的证据分级标准,反应本研究提供的证据强度[2]。

2结果

2.1筛选结果共检出65篇文献,经筛选后最终纳入17篇文献[3~19],其中立题评估5篇,过程评估3篇,验收评估2篇,成果评估4篇,全程评估3篇。证据等级方面,有两篇文献为综述或专家经验介绍,属D级证据[12,15],其他有明确的研究方法,属C级证据。

2.2建立评估系统的方法科研项目评估较常用的是德尔菲法和综合评价法。指标的筛选及选择主要采用下面两种途径实现:①专家评议法:根据指标的重要性打分,按加权总分值从大到小排序来取舍指标。②现场调查法:通过一定数量的样本调查对备选指标进行实际测量,再对各项备选指标的实测值做统计处理,根据统计分析的结果筛选指标。常用的分析方法有:变异系数法、相关系数法、多元回归法、主成分分析法、因子分析法、聚类分析法及判别分析法。指标评价标准的确定:①使用上级部门提出的各项标准与要求。②参考有关机构提出的有关目标与指标;③根据历史上一段时期的指标值,经统计处理而获得评价标准,即根据被评价样本的均值或最优值为标准。指标值的标准化要采用累计概率法、指数法、线性插值法、等级划分法对指标值进行量化处理。确定指标的权重,处于不同层次水平的各项指标,在整个指标体系中的贡献并不相等,根据各指标在评估中的重要程度,科学、合理地确定每一项指标的权重是保证指标体系在评估中切实可行的关键。可通过直接经验法、特尔菲法、百分权重法、层次分析法、排序法、连环比率法和集值迭代法。其中百分权重法和层次分析法是较为常用的确定权重方法。综合评价方法主要有加权求和法、单纯求积法、对数形式的加权平均法、几何平均法、分组乘积求和法(综合指数法)、分组相加求积法(综合系数法)、模糊数学综合评判法、交叉积差法和Ridit法等。各种综合评价的方法都有其优缺点和适用条件,在实际应用中根据具体情况选择使用。

2.3评估内容5篇文献介绍了立题评估的方法[4,7,10,11,14]。立项评估按照公开、公平和竞争的原则,对科研项目进行的评判活动。主要内容包括:立项的必要性、研究目标及技术路线的可行性、成果的应用前景、课题实施的人员、设备及组织管理等条件。总的来说立项评估就是通过对项目的立题依据、研究方案、研究基础、研究队伍及经费等的评价,来反映项目是否具有科学性、创新性、可行性和实施的必要性。3篇文献介绍了过程评估的方法[12,17,18]。项目过程评估为了解、控制并及时对项目进行调整,管理部门或人员必须跟踪项目进展并对其进行评估。过程评估是根据项目需要而进行。由于缺乏及时的项目信息交流手段和有效的监控办法,管理部门难以掌握项目的动态情况,使得过程评估成为科研项目评估的难点。项目实施过程中的评价和调控仍是我国科技项目管理中的薄弱环节,也是容易被忽视的环节[1]。2篇文献介绍了验收评估的方法[5,19]。在项目结束后进行,主要根据项目任务书的内容做最终结题检查。各种科技计划及基金项目都有明确的要求,如国家自然科学基金项目结题报告包括研究计划执行情况、研究工作主要进展和所取得的成果、国内外学术合作交流与人才培养情况、经费使用情况的说明、存在的问题、建议及其他需要说明的情况。4篇研究介绍了绩效评估的方法[3,6,8,10]。项目绩效评估多在项目结束一定时间后进行,一般以投入产出来评价项目的绩效,投入指人力、物力、财力和信息资源,产出包括论文论著、人才培养、科学成果、发明专利和技术服务等。由于该系统多指标量化困难,实际评估中多以易获得的指标来分析投入产出,投入指标常为人力和经费,前者包括学历、职称等,产出为科研成果、鉴定成果、论文论著、人才培养、专利及学术交流,通过构建投入产出分析系统,来量化评估项目绩效。有研究试图从社会效益和经济效益方面进行评价。3篇文献介绍了同时对两个以上环节进行评估[13,15,16]。

3讨论

本研究采用循证医学系统评价的原理和方法,全面总结了科研项目评估不同环节的评估方法和评估体系。虽然科研项目评估一直受到管理科学研究者的关注,但还存在以下问题:首先在科研项目管理中,人们更关心投入-产出比,对项目进展与中间过程关注不够。如何掌握项目动态情况并对项目实施过程进行监督和评估是科研管理部门急需重视和解决的问题。其次采用综合全程评价的方法较少,没有从项目整体评估思路、项目管理决策的角度看待评估问题。项目评估是一个整体,应将项目选择、项目阶段评估、项目绩效评估有机地联系起来,从而把握项目的全貌,做出更为客观的评价。再则,目前科研管理的量化评估研究仍是难点,在评估中如何减少主观性增加客观性,至今尚无公认的评价方法和模式。评估活动趋向于提高量化程度,但定性指标定量化处理缺乏严密的边界限定,仍受主观因素的影响。虽然有新的方法试图减少主观因素的影响,如模糊数学模型和不精确信息模型,但仍不能很好地解决主观性问题。因此客观量化方法也不能完全取代主观评估,需用非定量的方法评价科研工作的水平及价值。因此,正确处理定量评价与定性评价的关系也是科学评估中必须重视的问题。本研究纳入文献证据等级按2006年中国循证医学中心针对管理领域的证据分级标准多数研究有明确的研究方法,但缺乏系统评价或政府法律文件等高级别证据。本研究虽全面总结分析关于评估医学科研项目方法,但实际工作中科研项目评估常由科研管理机构执行,有些评估方法可能以政府文件或报告的形式出现,而未发表,所以仍有部分研究未能纳入。本研究未发现不同评估方法相互比较的研究,不能确定不同评估方法的优劣,为使用者提供推荐意见。

4结论与建议

本研究纳入的评估体系主要针对科研项目课题立项和绩效评估,但评估体系对项目进展与中间过程关注不够。所有评估系统中未将几个方面整体考虑,且量化评估仍有局限性。今后可以尝试对不同评估方法或体系进行对比研究,进一步评估医学科研项目评估体系是否真实反映了医学科研水平。