苏州大学论坛苏大论坛 → 典型的高校排名做法与借鉴意义研究
查看完整版本:典型的高校排名做法与借鉴意义研究
2012/5/14 6:48:34

胡泽文1 武夷山2 袁军鹏3
(1.南京信息工程大学经济管理学院江苏南京210044; 2.中国科学技术发展战略研究院北京100038;3.中国科学技术信息研究所北京100038)

摘要:科学合理和公正的评估体系能够激励科研,优化科研资源配置,提升个人、机构和国家的科研实力和学术影响力。鉴于此,本文在简要综述国内外高校排名研究现状的基础上,选择五个较具代表性的高校排名实践,通过对比分析它们在评估时采用的特色指标和特色评估方法,为国内高校评估实践提出一些建议和未来展望。如评估单元应该细化到具体学科和专业,不同评估单元应该有不同的指标和权重;应注重科研商业化活动的评估;量化评估与同行评议应该结合起来;评估应该考虑市场化因素;评估时不仅要注重存量指标,也应该注重流量指标;高校评估应考虑一些负面指标、平衡指标和经济效益类指标;高校评估还应考虑高校的行业性质和定位。
关键词:高校排名实践; 科研评估;外部评估; 案例分析; 评估指标与方法;评估建议和展望
中图分类号: G647 文献标识码:A

Classic RankingPractices for Colleges and Universities:Cases and Implications
Hu Zewen1 Wu Yishan2 YuanJunpeng3
(1.School of Economics andManagement, Nanjing University of Information Science & Technology,Nanjing, Jiangsu 210044, China; 2.Chinese Academy of Science and Technology forDevelopment, Beijing 100038, China; 3.Institute of Scientific & TechnicalInformation of China, Beijing 100038, China)

Abstract: Scientific,rational and impartial evaluation system can stimulate scientific research,optimize the allocation of R & D resources, and improve research strengthand academic impact of individuals, organizations and countries. After reviewingthe related studies at home and abroad. Then we discussed in detail typicalexternal evaluation practices executed by five well-known university-rankingorganizations. Finally, through the comprehensive analysis on distinguishing evaluationindicators and evaluationmethods, we gave some recommendations andexpectationson how to improve evaluation practices of domestic universities.
Key words: Ranking Practice for Colleges andUniversities; Research Evaluation; External evaluation; Caseanalysis; Evaluation indicator and method; Recommendations and expectations


一、引言
高校评估分为内部评估和外部评估[1]。高校排名属于外部评估,指高校外部评估组织(没有直接参与被评估对象发展与运作的组织,包括第三方的非政府评估组织和第三方的政府评估组织)根据特定目的,遵循预先经过科学论证的评估标准(或称评价指标体系)和评估方法(包括同行评议、文献计量或两者相结合的评估方法),对高校的科研活动和科研成果进行分类评估或综合性整体评估,然后给出分类排名或整体排名,为学生择校、高校应聘者、政府资助、高校自我认识和改进提供一个基准参考或价值尺度[2]。由于评估主体没有既得利益存在,评估过程和结果比较客观,能够从一个新的观点看待评估对象中存在的问题。
随着高校科研队伍的不断扩大,科研资源和预算虽然在增加,但分配到每个高校的科研资源和预算有可能变得越来越少。有效和科学合理的资源配置是解决这种僧多粥少境况的有效方法。将高校排名结果作为资源分配基本标准和科研政策决策依据的方式或许是一种科学合理的方式,当然,前提是所用的评估指标和方法必须科学合理。高校排名结果能够为高校管理者自查不足、未来成长与发展、人才资源建设、优先资助领域、外部形象和寻求拨款支持等提供有广泛而价值的信息。许多高校和研究机构为了保持竞争力,正积极地参与高校外部排名实践,并根据排名指标和结果,增强自己的优势和改进自己的不足。设计合理的高校排名指标体系和方法能够促使高校管理人员出台更好的科研管理措施促进本校职员产出高水平的科研成果,而且成果的数量也不会落下。而设计不合理的排名指标体系和方法也许会显著提升高校的科研成果产出数量(我们已定量化地验证过:中国高校“理工科研究生必须发表SCI论文方能参加答辩”的科研管理措施对中国的SCI论文产出数量影响最大[3]),但无助于产生高水平的、有重大社会和经济影响的成果。什么样的排名指标体系和方法是合理的、值得借鉴的?恐怕目前还无法找出答案,但国际上代表性高校排名实践应该是值得我们深入研究和借鉴的。
二、国内外高校排名研究现状
高校排名方面的研究开始于1978年发表的一篇高校生产力排名的文章[4],此后,从1978年至2013年9月18日,国外学者共发表了237篇高校排名论文[?]。近10年(2004-2013.9.18)发表了167篇高校排名论文,占过去36年间所发论文总和的近70%。说明近10年国外学者比较关注高校科研排名方面的研究。如:西班牙作者Aguillo,IF等人(2010)使用一系列相似度测量的方法对上海交通大学世界一流大学研究中心、《泰晤士高等教育》(以前叫《泰晤士高等教育副刊》)及QS公司、台湾财团法人高等教育评比中心基金会、西班牙国家研究委员会下属网络计量学实验室(CybermetricsLab)和荷兰莱顿大学科学技术研究所发布的大学排名进行计量比较研究,发现《泰晤士高等教育》及QS公司和网络计量学实验室对欧洲大学的排名结果差异较大,而台湾财团法人高等教育评比中心基金会和荷兰莱顿大学科学技术研究所提供的欧洲大学排名结果相似度较高[5]。但文章主要进行数据验证,并未对比分析各排行榜评估指标及评估方法之间的差异。Torres-Salinas,D等人(2011)按学科领域对西班牙大学进行一个排名比较研究[6]。法国学者 Barreto, PD(2013)认为高校排名可能会导致资助的偏见[7]。
国内学者对国际性高校排名实践的关注较少,最早开始于1999年章仁彪和樊秀娣对参与国际高校排名榜利弊的分析[8]。此后,胡晓进(2010)简单分析了《美国新闻与世界报道》的全球大学排名指标和法学院排名指标,并探讨了排名结果引发的争议及启示[9]。许甜(2012)通过分析国外两大排名系统——《美国新闻与世界报道》全球大学排名和《泰晤士报》高等教育排名的学术声誉评价过程,总结出国外声誉评价的基本特点,但仅分析众多评价指标中的一个指标,不够系统全面[10]。田锋(2014)通过比较两个世界一流大学排行榜的特征及国内部分高校的排名情况,得出一些启示:重视科学研究和积极推进学术的国际化,不过提出的这些启示不够新颖,是目前高校排名中较常见的指标[11]。中国科学技术大学高教研究所“大学评价研究课题组”基于武书连课题组公布的指标体系和算法,对其发布的《2010 中国大学评价》结果进行重新测算,测算结果显示:国际一流高校加州理工大学的“人才培养得分”、“研究生培养得分”和“本科生培养得分”都在2分以下,无法进入中国大学人才培养前500名[12]。原测算结果都在40分以上,位列中国大学第一名,两者相差巨大,显然前者与事实和认知逻辑不符。此后,武书连课题组对加州理工大学的得分和排名结果重新测算了一遍,并公开发表,验证了其排名结果的科学性和合理性[13]。赵晓冬(2014)以客观数据的完备性、检验方法的针对性和检验结论的确定性为数据检验原则,以“观点或结论”的原有引证数据为基础对中国科学技术大学评价课题组论文的结论进行检验,发现文中的结论缺乏真实性[14]。本文主要在前人研究的基础,系统性分析当前国际代表性高校排名实践在评估指标设置和评估方法上的特色之处及其之间的差异,以及国内高校评估如何借鉴它们。
三、典型的高校排名做法
目前已经出现很多政府机构或公益性组织主导的第三方外部高校排名实践。如:《美国新闻与世界报道》(U. S.News & World Report)自1987年开始的“美国最佳大学”排名实践。《亚洲周刊》自1997年开始的亚洲最佳大学排名实践。上海交通大学世界一流大学研究中心自2003年开始的世界大学学术排名(AcademicRanking of World Universities,简称ARWU)实践。自2004年起至2009年,《泰晤士高等教育》(TimesHigher Education,简称THE)委托QS公司收集数据,两家单位在每年秋季共同发布的世界大学排名。2010年起,《泰晤士高等教育》开始与汤森路透集团(ThomsonReuters)合作,采用WOS数据,推出新的世界大学排名。QS公司2009年终止与《泰晤士高等教育》的合作,从2010年起,开始沿用原来THE-QS世界大学排名的方法单独推出全球大学排名。台湾财团法人高等教育评比中心基金会(HEEACT)自2007年开始的世界大学科研论文表现排名(PerformanceRanking of Scientific Papers for World Universities)实践。
(一)《美国新闻与世界报道》的美国最佳大学排名
《美国新闻与世界报道》(U.S. News & World Report)自1987开始每年发布美国最佳大学排名,涵盖“美国最佳大学”排名和“最佳研究生院”排名[15]。其中“美国最佳大学”排名将大学分为研究型大学、文理学院、综合性大学以及硕士型大学等分别进行排名。“最佳研究生院”排名按学科分类对不同细分学科专业的最佳研究生院进行排名。如法律最佳研究生院(耶鲁大学最好)、医学最佳研究生院(哈佛大学最好)、图书情报学最佳研究生院(伊利诺伊大学厄尔巴拿—香槟分校最好),等等。并且各学科的“最佳研究生院”排名还会告诉您该学科中具体专业的最佳研究生院排名,如图书情报学专业:信息系统方向的最佳研究生院排名(雪城大学排第一)、文档与保存的最佳研究生院排名(德克萨斯大学奥斯汀分校排第一)和数字图书馆的最佳研究生院排名(北卡罗来纳大学教堂山分校排第一)。《美国新闻与世界报道》在对不同类型大学、不同学科和不同学科专业的研究生院进行排名时所使用的评估指标体系各不相同。比如图书情报学研究生院的排名仅基于2008年一个调查问卷的结果;医学和法律的研究生院排名所采用的指标比较多,并且医学研究生院排名与医学一个具体专业:初级护理的研究生院排名所采用的指标及其权重也不相同。医学和法律研究生院排名所采用的指标及权重如表1和表2所示。
表1 2012年医学研究生院排名所采用的指标及其权重
一级指标 二级指标 指标描述 权重
科研质量 同行评价分 基于调查问卷(李克特五分量表法)获得的评价分 20%
住院医主任(residency directors)的评价分 基于调查问卷(李克特五分量表法)获得的评价分 20%
科研活动 科研活动总量 按美国国立卫生研究院2010-2011年期间对医学研究生院及其附属医院资助的总金额进行测算 15%
每个教职工的平均科研活动量 按美国国立卫生研究院2010-2011年期间对医学研究生院及其附属医院中每个全时当量教职工资助的金额进行测算 15%
学生认可程度(StudentSelectivity) 医学院平均入学考试分 各医学院2011年录取学生的平均入学考试分 13%
平均GPA成绩 各医学院2011年录取学生的平均GPA成绩 6%
入学率 入学申请人数量与被接受入学人数之间的比例 1%
师资力量 按2011年科学和临床方面的全时当量教职工数量与全时当量医学博士或硕士之间的比例 10%

表2 2012年法律研究生院排名所采用的指标及其权重
一级指标 二级指标 指标描述 权重
科研质量 同行评价分 基于调查问卷获得的评价分 25%
律师和法官的评价分 基于调查问卷获得的评价分 15%
学生认可程度(StudentSelectivity) 法学院平均入学考试分 各法学院2011年录取学生的平均入学考试分 12.5%
学生本科成绩平均积点的中间值 2011年法学院新收全职和在职博士的本科成绩平均积点的中间值 10%
入学率 2011年法学院新收全职和在职博士人数与申请人数量之间的比例 2.5%
成功就业 博士毕业生的就业率 毕业时的就业率 4%
毕业后9个月的就业率 14%
律师考试通过率 2%
师资力量 每个学生的平均开支 学生指导、图书馆和后勤服务的平均花费 9.75%
所有其它支出项目,包括助学金 1.5%
师生比 学生与教职工之间的比例 3%
图书馆资源 2011财年末法学图书馆的图书总量 0.75%
从表1和表2可以看出,针对不同学科及专业的研究生院,《美国新闻与世界报道》设计了不同的评估指标及权重。如:医学研究院的科研活动较多,并且美国国立卫生研究院对这类科研活动的资助力度较大,因此采用了科研活动指标,并设置了30%的权重,而法学研究生院没有这样的资助单位,并且法学学科的实践性更强,科研活动相对较少,因此没有设置科研活动指标,而是设置了成功就业指标,赋予20%的权重,这是很多排名指标所没有的。另外,两个排名都非常重视科研质量,都赋予40%的权重;同时也比较重视学生对学校认可程度的评估,分别占20%和25%的权重。
(二)《亚洲周刊》的最佳大学排名[16-17]
《亚洲周刊》是国际上较有影响的刊物, 从1997年开始进行亚洲最佳大学的评比活动,排名采用调查分析和同行评议的方式对亚洲综合类和理工科类院校进行评估和排名。《亚洲周刊》最佳大学排名采用的指标及权重如表3所示。
表3《亚洲周刊》最佳大学排名采用的指标及权重
一级指标 二级指标 指标描述 权重
学术声誉 学术声誉 同行评价的平均分 20%
学生认可度 预期入学率 同意接收的学生数量与总申请数之比 25%
实际入学率 入学的学生数与同意接收的学生数之比
入学成绩中值 国家或大学入学测试成绩的中值
师资资源 博士学位教师和研究人员数量 博士学位的全时当量教师或研究人员 25%
硕士和博士学位教师或研究人员数量 硕士和博士学位的全时当量教师或研究人员
师生比 入学申请人数量与被接受入学人数之间的比例
薪酬与花费 职员薪酬的中值和每个职员的平均花费
科研 论文被引频次 ISI收录期刊论文的被引频次 20%
论文和书籍数量 论文包括期刊和会议论文
科研资助
研究生数量
财政资源 每个学生的总花费和图书花费 10%
互联网宽带大小
公共计算机和接入点数量
从表3可以看出,与其它排名指标不同的是:《亚洲周刊》比较重视高校学术声誉的评估,设置了20%的权重。此外,单独设置一个包括学生总花费和图书花费、互联网宽带大小、公共计算机和接入点数量的财政资源指标也是《亚洲周刊》特色指标。与《美国新闻与世界报道》的排名指标相比,两者都较重视学生对学校认可程度指标的评估。不过《亚洲周刊》更重视对师资力量的评估,设置了20%的权重,并且评估的内容较多,包括教师薪酬与花费,而《美国新闻与世界报道》对这项指标考核相对较少,设置不到15%的权重。此外,《亚洲周刊》对科研指标不够重视,总共设置了20%的总权重,不过考核的内容较多,除了论文被引频次和数量外,还包括图书发表量、科研资助和研究生数量。
(三)《泰晤士高等教育》与QS公司合作的THE-QS排名
《泰晤士高等教育》(TimesHigher Education,简称THE)与QS公司合作推出的THE-QS世界大学排名起止时间是2004-2009。在2010年两个机构终止合作,分别推出各自的排名。《泰晤士高等教育》开始与汤森路透集团(ThomsonReuters)合作,基于教学(Teaching,占30%)、研究(Research,占30%)、论文引用(Citation,占32.5%)、企业经费(IndustryIncome,占2.5%)和国际化程度(Internationalmix,占5%)5个大项和13个具体指标,推出新的世界大学排名。QS继续沿用原来THE-QS世界大学排名的指标及权重,使用学者调查(权重40%)、企业雇主调查(10%)、外籍教授比例(5%)、留学生比例(5%)、师生比(20%)和师均论文引用(20%)6项评比指标,单独推出全球大学排名。2009年THE-QS世界大学排名的指标及其权重如表4所示。
表42009年THE-QS世界大学排名的指标及其权重
一级指标 二级指标 指标描述 权重
科研质量 学术同行评价 学术同行评价结果的综合得分 40%
师均论文引用 2004-2008年期间教师科研表现得分的平均值(基于Scopus数据库) 20%
毕业生就业能力 企业雇主评价 基于招聘人员的评价结果计算得分 10%
教学质量 师生比 学生与教师的比例 20%
国际化 外籍教师比例 外籍教师占总教师数量的比例 5%
留学生比例 留学生占总学生数的比例 5%
从表4可以看出:THE-QS世界大学排名比较重视科研质量,它的指标权重达到60%;在评估科研质量时,更多的是采用同行评议,权重占40%,这也是该排名引起众多争议的原因;除了重视科研质量外,该排名也考虑到了毕业生就业能力和高校国际化程度的评估,两项指标的权重分别占10%,不过,像中国和印度这样的发展中大国,教育国际化程度肯定较低,而欧洲小国的国际化程度肯定较高,因此用突出国际化的指标来评价中国和印度这样的发展中国家就不合适;另外,该排名统计教师人均论文引用次数指标时,采用的是Scopus数据库,这与其它排名基于Webof Science数据库有所不同。
(四)台湾财团法人高等教育评比中心基金会(HEEACT)的世界大学科研论文表现排名
世界大学科研论文表现排名,又称“世界大学科研论文质量评比”(PerformanceRanking of Scientific Papers for World Universities)是由台湾财团法人高等教育评比中心基金会(HEEACT)发布的年度论文数据统计排名,自2007年开始。排名的量化数据来自国际上两大著名的科学引文数据库(SCI)和社会科学引文数据(SSCI),数据按照大学职员数量和高校规模进行标准化。排名所有的指标及其权重如表5所示。
表5 世界大学科研论文表现排名的指标及权重
一级指标 二级指标 权重
学术生产力 过去11年发表的国际论文总量 10%
当年发表的国际论文总量 10%
学术影响力 过去11年所发论文的总被引量 10%
过去2年所发论文的总被引量 10%
过去11年所发论文的平均被引量 10%
学术卓越性 过去2年的“h指数” 20%
过去11年高被引论文的总量 15%
当年在国际高影响学术期刊上发表的论文总量 15%
从表5可以看出,排名使用的指标高度强调科研质量(占科研绩效分的80%)和短期科研表现(占绩效分的55%)。由于人们对排名结果的争议较大,台湾教育当局已经宣布政府不在支持台湾财团法人高等教育评比中心基金会做2012年世界大学科研论文表现的排名[18]。从表5可以看出,台湾财团法人高等教育评比中心基金会采用的评估指标体系既考虑流量指标(如当年指标值),又考虑存量指标(过去11年的指标值),并且非常重视学术卓越的评估,如将学术卓越性指标的权重设置为50%。不过该排名在数据收集上困难较大,主要因为世界上很多高校有不同的名称(多个曾用名和现名),各种不同的附属单位(不同的附属实验室、附属医院等)。
(五)上海交通大学一流研究中心的“世界大学学术排名”
上海交通大学世界一流大学研究中心(Centerfor World-Class Universities, 简称CWCU)基于第三方公开数据,采用客观透明的评价指标体系和排名方法,对世界一流大学进行排名,自2003年开始,每年都会发布世界大学学术排名。由于其评价体系的客观透明、评价指标的独特和国际可比性、以及数据的公开性,引领了国际大学排名的浪潮,确立了大学评价的中国话语体系,在世界各地得到了广泛报导和引用。“世界大学学术排名”包括世界一流大学的总排名、分领域排名和分学科排名。上海交通大学世界一流大学研究中心采用的排名指标及其权重[19],如表6所示。


表6 “世界大学学术排名”的指标及权重
一级指标 二级指标 代码 权重
教育质量 获诺贝尔奖和菲尔兹奖的校友折合数 Alumni 10%
教师质量 获诺贝尔科学奖和菲尔兹奖的教师折合数 Award 20%
各学科领域被引用次数最高的科学家数量 HiCi 20%
科研成果 在《Nature》和《Science》上发表论文的折合数 N&S 20%
被科学引文索引(SCIE)和社会科学引文索引(SSCI)收录的论文数量 PUB 20%
师均表现 上述五项指标得分的师均值 PCP 10%
从表6可以看出,上海交通大学世界一流大学研究中心采用的指标都是硬指标,具有国际可比性,并且从开始到现在,它的评估指标及其权重从未变过,任何评估个体和评估组织都可以根据这些指标及权重进行核查,同时可以基于每年的排名结果看出高校学术质量的变化,到底是进步了还是退步了。不过欧美国家高校在这些指标上占有较大优势,比如欧美国家几乎垄断了所有诺贝尔奖和菲尔兹奖,并且在Nature、Science、SCI和SSCI收录期刊上发表论文较多。而非英语系发展中国家在这些指标上几乎全无优势,如中国目前仅有一个诺贝尔文学奖得主,其它大部分非英语系发展中国家都没有诺贝尔奖和菲尔兹奖获得者,因此,诺贝尔奖和菲尔兹奖这个指标似乎过严了。另外,很多获奖者并非因为对所评高校做出突出科研贡献而获奖;另外,由于语言障碍,非英语系国家发表Nature、Science、SCI和SSCI收录期刊论文的难度较高,并且由于语言习惯,很多国家学者更倾向于发表本土期刊论文;该排名也存在不同高校因有不同名称和不同附属单位而导致收集的数据不能真实反映高校论文数量的问题[20]。
四、上述高校排名做法为国内高校评估与排名带来的启示
(一)应该考虑到不同学科或专业的差异
高校排名实践应该考虑到不同学科或专业的差异,并且不同的评估单元应该有不同的评估指标及权重。比如:理工科发表SCI和SSCI论文比较容易,而人文学科在这方面不占优势,其更倾向于出版富有影响力的论著和本土期刊论文。如果使用同一套指标及权重去评估所有对象,势必会引起争议。像中国和印度这样的发展中大国,教育国际化程度肯定较低,而欧洲小国的国际化程度肯定较高,THE-QS世界大学排名用突出国际化的指标来评价中国和印度这样的发展中国家就不太合适。上海交通大学一流研究中心的世界大学排名用获得诺贝尔奖和菲尔兹奖的校友和教师折合数作为一个指标,也引起很多争议。而《美国新闻与世界报道》的美国最佳大学排名对美国大学进行整体排名和分专业排名,并且整体排名和不同专业排名使用不同的评价指标及权重,这应该是值得借鉴之处。
(二)应注重科研商业化活动的评估
科研商业化活动能够为高校带来一笔不小的收入,在一定程度上可以缓解高校科研经费紧张的问题。因此高校评估时应该设置科研商业化活动方面的量化指标,如高校专利数及其商业化活动带来的收入额,项目成果转化带来的收益等,这样可以促使高校向这方面努力,出台鼓励政策提升高校专利、项目和成果的商业化水平。然而,从上述各高校排名指标,可以看出,各高校排名组织对科研成果应用与商业化评估方面尚不够重视,未发现这方面的指标。德国学者Bornmann(2012)也认为应该将科研的社会产品、产品的社会应用及其产生的经济效应纳入高校评估与排名中,评估时应该考虑技术商业化(如专利授权与应用、技术许可、许可收入等指标)、企业活动(如创办的孵化公司数量及其效益等指标)和对外专家咨询服务等[21]。
(三)量化评估应与同行评议相结合
量化评估虽然客观,但无法从内容上评估科研成果的质量。再说,论文数量及被引频次也偶尔会出现人为操作的现象。同行评议虽然能够从内容上评估科研成果质量,但也存在缺陷,比如主观性过强,同行的知识面不能涵盖所评估的所有领域和一些交叉学科领域,有些同行对被评估人员的研究领域了解不太深,等等。因此量化评估与同行评议融合起来能够克服两者的缺陷,形成更加科学合理、公正和富有激励作用的评估体系,不过权衡设置两者的权重较难。比如:THE-QS世界大学排名在评估科研质量时,将量化指标(师均论文引用)和同行评议(学术同行评价得分)结合起来,并且毕业生就业能力的评估也采用雇主评价的方式,不过同行评议指标的权重过高,也使它每年的排名结果变化较大,引起很大争议[22]。
(四)高校科研评估应该考虑市场化因素
学生对高校的认可度、高校人才培养与就业、科研成果应用与商业化是反映高校市场认可、社会责任和贡献的一个重要方面。目前国际上一些评估组织在对高校进行评估时考虑了这个因素。如:《美国新闻与世界报道》和《亚洲周刊》大学排名实践非常重视学生对高校认可程度的评价,设置了20%-25%的权重。另外,为推动高校人才培养与就业,《美国新闻与世界报道》设置了20%权重的成功就业指标;THE-QS世界大学排名也设置了10%权重的毕业生就业能力指标。如4.2部分所说,科研成果与商业化也未受到重视。
(五)应同时考虑存量指标和流量指标
目前高校科研评估对流量指标的考虑较多,而对存量指标的考虑较少,而恰恰是存量指标最能反映科研水平和实力的积累。比如:台湾财团法人高等教育评比中心基金会采用的所有评估指标既考虑流量指标(如当年指标值),又考虑存量指标(过去11年的指标值)。这一做法值得倡导。
(六)高校评估应考虑一些负面指标、平衡指标和经济效益类指标
从上述表1至表6列出的高校排名指标可以看出,高被引或高影响力、成功就业、学生认可和学术声誉等正面指标都被考虑在内,而一些负面指标,如零被引[23-24]、造成恶劣社会影响的事件(如学术论著中的严重抄袭和造假)、代写代发论文数量[25]、极不受学生欢迎的教师数等都被忽略,这应该值得注意。负面指标的引入能够让高校看到自己不好的一面,也许有当头棒喝之效,促使其改进,起到的效果绝不亚于正面评估指标。此外,高校评估时,还应该考虑平衡指标(如经费额度、学校性质和规模的差异对高校排名的影响)和经济效益类指标(如科技成果的转化及其产生的经济效益)。比如:一所高校的科技投入非常高,专利产出也非常高,但如果专利的转让率、许可率及其产生的经济效果非常差,那么该高校的科技投入是否合理和有价值?
(七)高校评估应考虑高校的行业性质和定位
上述高校排名指标,都是世界一流或最佳大学的评估指标,对于国内争创世界一流的高校极具借鉴意义,评估此类高校时更应该注重学术科研和基础应用研究类指标(如ESI论文数量和质量、国际一流人才数量和质量、国际化程度、《Nature》和《Science》上发表论文数、诺贝尔奖和菲尔兹奖获得者数量、各领域被引次数最高的科学家数、优越的科研环境、等等)。这样更可能促使此类高校培养出世界一流的领军人才和产出世界一流的重大理论成果。如果他们能够培养出一个诺贝尔奖获得者,则此高校极有可能会晋级为世界一流高校行列。而对于一些行业特色类高校,承担着培养行业领军技术人才,服务于行业振兴与发展的重任,更应该注重技术类和工程类指标(比如:专利数量和质量;专利转让率、许可率及其产生的经济效果;培养的高水平技师、专业技术人员和工程师数量和质量;等等)。

参考文献:
[1] External and internal evaluation[EB/OL].[2012-10-24].http://www2.rgu.ac.uk/celt/pgcerttlt/
evaluating/eval4.htm
[2] Huang, Mu-Hsuan, Chang, Han-Wen andChen, Dar-Zen. Research evaluation ofresearch-oriented universities in Taiwan from 1993 to 2003[J].Scientometrics, 2006, 67(3): 419–435.
[3] 胡泽文,武夷山.科技产出影响因素分析与预测研究――基于多元回归和BP神经网络的途径[J].科学学研究,2012,30(7):992-1004.
[4] LEVIN, JR; PETERSON, PL; PRESSLEY, M.University productivity rankings: A psychologist by any other name[J]. AMERICANPSYCHOLOGIST, 1978,33(7) : 694-695.
[5] Aguillo, IF; Bar-llan, J; Levene, M; etal. Comparing university rankings [J]. Scientometrics,2010, 85(1):243-256.
[6] Torres-Salinas, D; Delgado-Lopez-Cozar,E; Garcia-Moreno-Torres, J; et,al. ISI rankings of universities in Spainby scientific field[J]. PROFESIONAL DE LA INFORMACION,2011,20(1): 111-118.
[7] Barreto, PD . University Rankings CouldBias Funding[J]. SCIENCE, 2013, 339 ( 6125):1274-1275.
[8] 章仁彪, 樊秀娣.参加国际高校排名榜调查:利多弊少[J].中国高等教育,1999,(04):23.
[9] 胡晓进.《美国新闻与世界报道》的大学与法学院排名[J].高教发展与评估,2010,26(06):15-18.
[10] 许甜.国外大学排名中的学术声誉评价理念及方法[J]. 中国高教研究, 2012, (09):52-58
[11] 田锋.我国重点大学建设世界一流大学的奋斗方向研究——基于两个著名世界一流大学排行榜的视角[J]. 江苏高教, 2014(01):52-54
[12] 中国科学技术大学大学评价课题组.基于公信力视角的大学排名研究--对《2010中国大学评价》指标体系及算法的质疑[J]. 中国高教研究, 2012, (05):5-11
[13] 武书连.加州理工学院在中国能排第几名?——复中国科学技术大学大学评价课题组[J]. 高教发展与评估,2012,28(05):10-22.
[14] 赵晓冬.大学评价研究的检验--检验《基于公信力视角的大学排名研究》的结论[J]. 高教发展与评估,2014,30(02):29-41.
[15] BestColleges[EB/OL].[2012-12-6].http://www.usnews.com/rankings
[16] Casal G.B., Martínez O.G., Sánchez M.P.B., Mu?oz O.V. Comparative study of international academic rankings ofuniversities[J]. Scientometrics, (2007), 71 (3):349-365.
[17] Asiaweek [EB/OL].[2012-12-6].http://edition.cnn.com/ASIANOW/asiaweek/features/
universities2000/index.html
[18] PerformanceRanking of Scientific Papers for World Universities[EB/OL].[2012-12-6].http://en.wikipedia.org/wiki/Performance_Ranking_of_Scientific_Papers_for_World_Universities
[19] RankingMethodology. [EB/OL].[2012-11-6].http://www.arwu.org/ARWUMethodology
2009.jsp
[20] NianCai Liu,Ying Cheng. The Academic Ranking ofWorld Universities[J]. Higher Education in Europe,2005, 30(2):127-136.
[21] Bornmann L.What is societal impact of research and how can it be assessed? a literaturesurvey[J].Journalof the American Society for Information Science and Technology,2012,64(02):217–233
[22] C Phil Baty.THE“世界大学排名”的新方法[J].国际高等教育,2010,3(4):124-126.
[23] Zewen Hu, YishanWu. Regularity in the time-dependent distribution of the percentage ofnever-cited papers: An empirical pilot study based on the six journals. Journalof Informetrics, 2014,8(01): 136–146.
[24] 胡泽文,武夷山. 零被引研究文献综述[J].情报学报,2015,34(02):213-224
[25] 胡泽文,武夷山.论文代写代发现象之研究[J].中国软科学,2012(07):78-89





[*]基金项目:国家自然科学基金资助(项目编号:71373252);国家自然科学基金资助(项目编号:71473236);江苏高校哲学社会科学研究一般项目“论文低被引影响因素及其评价应用研究”(项目批准号:2015SJB068);江苏省高校自然科学研究面上项目资助(项目编号:15KJB110015);南京信息工程大学人才启动基金资助(2014r062)
通讯作者:中国科学技术发展战略研究院武夷山研究员
作者简介:胡泽文(1985-),男,江苏南京人,讲师,管理学博士,研究方向:科学计量学与科技评价。武夷山(1958-),男,研究员,研究方向:科技管理与评价。袁军鹏,男,研究员,研究方向:科学计量学与科技评价。
[?]TI=(rankings) AND TI=(university ORcollege)数据库=SCI-EXPANDED, SSCI, CPCI-S, CPCI-SSH 时间跨度=1978-01-01 – 2013-09-18



2012/5/14 9:39:26

原来是手速过快发重了?



2012/5/14 10:48:24

写得非常好,亲


Powered by ZuoJu X5.0
Processed in 0.03 second(s)