更新时间:2023-12-12 21:37
学术评价实际上就是要将学术研究成果排排座吃果果,分成三六九等。学术评价的基本方法有两种,一是基于内容的学术评价,即基于学术发展的内在规律和学科本身的逻辑结构的评价方法;另一种是基于形式的评价方法,即游离于学术研究之外,客观描述学术研究成果的外在特征和学术成果之间的形式联系,从而描绘出学术研究的形式化图景,从而达到学术评估的目的。这来两种方法显然有主次之分,但又是相辅相成的,基于内容的评价显然是一种最符合逻辑的评价,形式化评价本质上是基于内容分析的评价方法的一种工具和补充方法。
望文生义,基于内容的评价模式就是以学术成果的内容特征来评价学术成果。显然,基于内容的评价模式是最符合逻辑的学术评价方式。基于内容的评价模式的先决条件是评价人应该能够读懂和理解学术成果的内容,应该对相关的学术领域有深刻地了解和非凡的洞察力。而要满足这样的条件,评价人非该领域的专家莫属。所以,基于内容的学术评价本质上就是专家评价,或同行评价。许多学术刊物采用的专家审稿就是一种典型的基于内容的学术评价方式。
在各种基于内容的学术评价方法中,最典型的评价模式是学术综述,这是学术评价的最好方法。某一学科里的专家将近期这个领域里的研究情况作一总结,分析出某一时期本学科的重要进展和未来发展趋势,显而易见,这本身也是一种学术研究。学术综述之所以是最好的评价方法,其原因有两条:
一是,写综述的学者本身就是这个领域的研究者,甚至是领先的研究者,他们对所讨论的研究课题有比较深刻的理解,具有比较敏锐的学术洞察力。
二是,学术综述是基于研究内容的评估,遵循的是学科本身的内在逻辑和研究范式,可以比较准确地描述出该学科研究的现状和发展趋势,由此可以比较准确地对学术研究成果作出评价。
另外,学术综述的目的是回顾学术研究本身的发展历程,描述学术研究的现状和预期未来的发展方向,从目的上讲,学术综述的评价目的比较学术化,比较单纯,这样就使得学术综述更加客观,并确保综述的价值中立。所以,学术综述是一种比较好的学术评价方式。
基于内容的评价是最符合逻辑的学术评价方法,其本质是同行评议。但是,这种方法也具有一定的局限性,主要体现在这种评价方法往往受到评议人主观因素的影响。基于内容的评价主要依托在评价人对内容的理解,这往往受制于评价人学识、兴趣、情感等等个人因素的影响。这些因素会降低学术评价的准确性、公正性。为了尽量降低这种主观因素的影响,基于内容的评价往往需要多个评价人从不同的方面进行评价,就像一篇论文会有若干个专家评审一样,这样会有效降低主观因素对学术评价所产生的负面影响。
基于形式的学术评价和基于内容的评价方法相反,它主要利用学术研究成果的客观性参量来描述学术成果的客观特征及其与其他成果之间的相关关系,从而达到评价的目的。这些客观性参量主要包括三个方面:数量参量,聚类参量和关联参量。
数量参量描述了学术成果的数量特征,即同一个研究者的相关研究成果的数量。这里需要强调的是相关研究成果。相关研究成果是指和评价目标相关的研究成果,比如,我们的评价目标是这位研究人员总体的研究水平,那么相关就是指这位研究人员和从事研究的成果,这要是研究成果,都是相关的。如果评价的是这位研究人员在某一领域的研究成果,比如说,数字图书馆,那么其相关性就是其所有和数字图书馆行馆的研究成果,显然,他关于读者学的研究成果就不相关了。数量特征描述了该研究者的研究经验。如果我们评价一项成果,那么通过数量特征,我们可以估计该研究成果的研究者在这个领域中的研究经验,这项成果是一个在相关领域研究多年,并有多项成果,具有丰富研究经验的的研究者,还是初次涉足该领域的研究者。如果评价一个学者的研究水平,那么数量特征可以描述该研究者的总体研究经验。
所谓聚类关系指的是学术成果是否聚类于相关的研究成果,这项指标描述了学术成果被同行认可的程度。布拉德福定律告诉我们,学术文献的分布具有聚类分布的特征,如果说学术文献是学术成果的表现形式,那么,学术成果研究也具有聚类的特征。学术成果的聚类特征就是指该项学术成果是否能够发表在专业性学术杂志上。比如,图书馆学的论文发表在语文杂志上,其聚类特征显然是很低的,因为语文杂志的论文主要是语言文字方面的,其目的是交流语言文字方面的学术研究成果,而不是图书馆方面的研究成果,其学术评价机制和图书馆学研究的评价机制有很大的不同,读者对象也大相径庭,这篇文章很难和语文杂志其它文章聚类。所以,我们可以假设,学术成果发表在越专业的学术期刊上,其聚类性特征就越强。根据布拉德福定律,一个专业领域的学术期刊可分为核心期刊和非核心期刊,显然,发表在核心期刊上的专业研究成果,其聚类性要强于发表在非核心期刊上的成果。
相关关系是指学术研究成果与其他研究成果的相关关系, 这个参数描述了该项研究成果对其他研究成果的影响,即描述了这项成果的影响力。我们知道,学术研究不是闭门造车,也不是脑袋一拍的事情,而是在别人研究的基础上不断地延伸发展起来的,正如牛顿所说,是站在巨人的肩膀上的。任何学术研究都离不开别人的研究成果,但是,一个学术研究成果却不一定能够成为别人进一步探索的基础。其原因主要是:
(1) 该项研究成果缺乏新颖性,不是一个前沿性的研究成果,自然不能成为进一步探索的出发点。
(2) 该项成果缺乏启发性,不能引起其他学者的关注和进一步研究的兴趣。
(3) 该项成果有游离于学术界的研究兴趣之外,或者说,该项成果不被学术界认为是值得研究的。
(4) 该项研究成果游离于学术界的研究范式之外,比如很多民间科学家的研究。
(5) 该项研究成果是无意义的和无价值的。
反过来说,如果一个学术研究成果和其他研究成果有密切的相关关系,那么至少可以说,这样成果是为学术界认可的。
研究成果的相关性指标主要是通过研究论文的引文特征表征出来的。我们知道,一个符合学术规范的研究论文总有引文部分来指示该论文和其他论文的逻辑关系,这是现代学术研究的基本范式。通过引文关系我们可以清楚地描绘出一个研究成果的相关性脉络:两个基本面和两个维度。
两个基本面
第一,该研究成果与以前的研究成果的相关性,表现为该成果引证先前的相关研究成果,即引用率指标。一个研究成果如果没有引文,其学术性会引起非常大的争议,进一步而言,如果一个研究成果引证的是相关研究非主流的研究成果,而没有印证主流研究成果,那么这个研究成果的价值也是可疑惑的。所以,我看论文首先看引文,如果该论文的引文的质量不高,我自然会怀疑该作者是否认真研读过相关领域里的重要论文,进而怀疑该论文的质量。
第二,该研究成果与以后的研究成果的相关性,表现为该成果被别的成果引证的情况, 即为被引率指标。一般说来,被别的成果引用得越多,说明这个成果可能具有越强的新颖性,启发性,越能说明该项成果能够成为进一步研究的出发点,具有较高的学术价值。一个学者,如果其研究成果被别人广泛引用,那么可以认为这个学者对学术的发展有比较大的贡献。当然如果一个研究成果完全是错的,其被引率也会很高,比如时下一本《道德经浅释》被广泛批评,并不说明该成果具有很高的学术价值,而是说明该成果具有很高的荒谬性。所以,被引率往往要和内容评价结合在一起,才能客观地描述出研究成果的价值。
两个维度
第一是历时性维度。历时性维度有两个时间方向:前向性和后向性。
前向性是指该项成果和以前已完成的研究成果的相关性。任何学术研究都如牛顿所说的,是站在巨人的肩膀上的,都是在前人的研究基础上进一步探索的结果。所以,一个学术成果和前人的研究成果的相关关系,显然可以作为判断该成果价值的依据。我们可以通过该成果的前向时间维度,来评估该项研究是不是建立在前人研究基础上的进一步探索,还是重复别人已有的成果。研究成果的前向历时性可以通过该成果的论文中的引文表现出来,我们可以通过这项成果引证他人的研究成果的情况来判断这项成果的新颖性,可以判断这项成果是否站在前人已有的研究成果上继续探索,可以判断该作者是否做了全面的文献综述。
后向性是指该成果对以后的研究是否具有参考价值。 我们知道,学术成果是有生命周期的,学术生命周期主要是指该项研究成果对以后学术研究成果具有参考价值的时间长度,也就是说,该成果发表后多少时间内,能够持续地对后续的研究产生影响。一些成果的生命周期长些,甚至长至百年;一些的短些,可能发表出来就结束了。学术成果的生命周期造就了学术相关性评价的理论基础之一。学术成果生命的最好度量是通过引文实现的,举例说来,一篇论文发表后的5年内被其他论文持续大量引证,以后逐渐减少,直到没有,这一个时间周期就表征了该学术成果的生命周期,同时也是描述该成果与其他成果相关性历时性特征的重要依据。学术成果的生命周期是非常容易定量估算的,但是怎样估算,据我了解还没有很好的估算公式,我们图书馆界研究这个问题具得天独厚的条件,我们不妨试着研究一下。特别是叶鹰教授搞的抽象图书馆学是不是能在这方面找到应用价值?猜想一下。
第二是共时性纬度,这个维度表征了该成果和同时期的研究成果的相关性,这个维度同样由来个时间方向,前向性和后向性。共时性可以通过该研究成果最近的引证别人的论文和别人引用该成果的引文来表征出来,例如,该成果最新的一篇引文是半年前的成果,发表后第一篇被引的论文发表于半年后,那么其共时性特征前向性是半年,后向性也是半年。显然,共时性维度是表征研究成果新颖性和重要性的重要描述指标。