摘 要：本文通过利用二级权重指标体系对江汉大学图书馆进行数字资源评价实验，发现在实操中存在指标过多、评分细则模糊、评价主体结构失衡、数据不全面、时间成本过高等问题，并尝试提出相应的改良办法。
　　
　　关键词：高校图书馆 数字资源评价 指标体系 实证研究
　　
　　一、高校馆数字资源评价综述
　　
　　网络、存储、阅读终端的发展改变了知识获取方式以及读者行为需求，慕课（MOOC）、微课（Micro Learning Resource）等教学形式相继出现，来源多样、类型丰富的数字信息资源已成为高校图书馆馆藏建设主流，采购商业化学术资源是其建设最主要的途径。随着图书馆对数字信息资源建设的资金投入日益增长，对其进行绩效评估成为图情研究热点，IFLA、North Umbria等国际学术会议进行了相关主题的探讨[1];美国研究图书馆协会（ARL）主持的E-Metrics、芬兰国家数字图书馆FinElib、网络电子资源在线使用统计（COUNTER:Counting Online Usage of Networked Resources）等项目陆续启动，相关标准的制定以及统计系统的使用为图书馆数字资源评价提供了实践指导[2].
　　
　　相比之下，我国相关研究起步较晚，成果主要集中在两个方面：研究综述；评价方法、模式以及指标体系研究[3].独立研究居多，合作少；多数研究仅停留在理论层面，与高校图书馆数字馆藏资源建设的实际工作脱节，指导实践意义有限。中国高等教育文献保障系统（CALIS）管理中心“十五”期间成立了“资源与服务”评估子项目组，其制定的评估指标体系相对权威并具有普遍指导意义。然而由于其需要涵盖单馆、联盟、引进、自建等多个资源评价应用层面，指标体系庞杂，因此，高校馆在对本馆数字资源进行评价时仍需根据实际情况建立评估模型，选取适合自身评价需求的指标与方法，并确定合理权重[4].
　　
　　二、评价体系的构建实验
　　
　　1.数字资源评价指标体系。2014年全国本科院校图书馆平均电子文献资源购置费为346.73万元，占文献资源购置费的66.06%[5].数字资源馆藏的建设越来越受到各高校馆的重视，投入经费持续增长，而作为常规业务流程的采购决策却缺乏统一、权威的数字资源评价指标体系作支撑。因此，笔者尝试构建了适用于单一高校馆数字资源评价的二级权重指标体系，并以江汉大学图书馆为例，对此指标体系进行了评估实验。各项指标及权重详见表1.
　　
　　2.评价对象、方法及参与主体。2016年，江汉大学图书馆通过采购商业化学术资源取得的数字资源馆藏共计46个，包括42个数据库及4个软件。其中中文数据库29个，子库78个；外文数据库13个，子库78个。其资源类型涵盖电子图书、期刊全文、索引、流媒体、图片库、专题数据库、学科导航、发现系统、自主学习考试系统、软件平台等；采购形式为集团采购和自主付款。上述各类型数字资源为评价实验的对象。
　　
　　此次评价实验根据指标定义以及对评分人工作岗位性质、专业背景、评分立场的要求，选取了部分馆员、学院专家以及在校学生作为参与主体，综合运用多指标综合评价法[6]、层次分析法（AHP）[7]、德尔菲法（Delphi）[8]和抽样调查法，并通过Excel表格对量化评分数据进行汇总并加权计算，评价结果以百分制得分形式呈现。其算法公式为：
　　
　　一级指标得分=∑选用的二级指标得分×相应的二级指标权重系数
　　
　　电子文献的总得分=∑选用的一级指标得分×相应的一级指标权重系数
　　
　　具体指标以及对应评分部门/小组详见表2.
　　
　　（1）资源建设部：负责纸质文献资源的采访，对资源内容质量以及组织方式拥有专业权威的审核判断。数字资源的内容特征与信息组织方式方法在本质上与传统纸质资源并无二致，因此在此采纳了资源建设部门对A电子文献的内容、B检索系统及功能项指标的评分。
　　
　　（2）读者服务中心：是我馆与读者直接接触最多的部门，在多年的沟通交流中总结了读者对于资源的反馈意见，更为熟悉读者对资源的需求、利用偏好，在一定程度上能够代表绝大多数读者对资源的评判意见，因此本次评估采用了读者服务中心对A电子文献的内容、B检索系统及功能项指标的评分来衡量我馆数字资源的内容质量以及用户界面友好程度。
　　
　　（3）网络技术部：为数字资源的建设与使用保障提供了硬件、软件技术支持以及长期的维护保障。在数据更新与维护过程中与电子资源出版商/代理商合作较多，可以比较客观全面地对其所提供的服务响应速度、技术支持等作出评判；同时，网络技术部馆员的计算机专业背景有利于对数字资源的组织、标引、访问性能、存档情况做出权威的评判。本次评估采用了其对B检索系统及功能、C访问性能、D供应商服务、G电子文献的存档这四项指标的评分。
　　
　　（4）信息服务中心：不仅负责数字资源的建设、采购、使用量统计分析，也需要经常对我馆拥有的数字资源进行利用、加工，从而为我馆读者提供信息服务，另外还承担着读者信息素养培训的职责，因此能很好地对A电子文献的内容、B检索系统及功能、D供应商服务、E电子文献的使用情况、F电子文献的价格因素这五项指标进行评分。
　　
　　（5）学科馆员：隶属于信息服务中心。由于其工作的特殊性，在此单列。五位学科馆员在此次评估评分中并不发表个人意见，而是内访各对口学院，通过问卷形式对学院专家、在校学生的意见进行采集总结，汇总之后给出平均分。为此，我们针对被采集意见对象专门设计了简短易评分的调查表格，详见表3.
　　
　　三、问题及其优化
　　
　　1.评价实验中遇到的问题。此次对江汉大学图书馆数字资源的评价实验取得了合理结果，通过对统计数据的进一步分析，可以用图形、报表等方式多维度展示数字资源建设格局，并对续订、停订、新增荐购等给予有效的决策支持。限于篇幅，不在本文详述。对于评价过程中遇到的一系列问题，总结如下。
　　
　　（1）复杂的指标体系造成评价主体困扰。此次评价对象为46个数据库及软件，每个数据库均有24个二级指标需要评分，因此，对于每一位评估主体，要填写一份完整的问卷表格需要给出1104个分值。对其数字资源的熟悉程度、评估工作的严谨程度均要求过高，容易造成问卷表格的回收率低、分值数据的客观性差。（来源：上海论文 SHLUNWEN.COM）同时，随着高校馆对数字资源馆藏的重视与经费投入加大，评价对象数量每年仍在增长，导致通过软件开发或问卷平台增强评分界面友好性、简化评价主体工作的想法更加难以实现。
　　
　　（2）对评分细则的不同理解影响指标得分。以二级指标A3数据来源情况（0.2）为例，其评分细则规定：数据来源于权威机构、学术性较强的出版社或专业学会100分，否则随权威性、学术性或专业性的下降减分；其评价预期是通过90、60、40等分值形式体现数据库的内容质量。而许多评价主体给出98、92.5等分值，在经过加权计算后每个数字资源对象的得分差距非常微小，难以区分内容质量优劣。
　　
　　（3）评价主体结构合理性难以控制。除数字资源价格、访问性能等相对客观的数据严格对应馆员评价主体之外，学科馆员通过内访学院专家、组织学生填写问卷所得的有效问卷回收率难以预期，抽样调查中馆员、学科带头人、教师、学生读者所占比例的合理性不易进行干预和控制；容易造成评价结果对部分用户群体意见的放大或对其他用户意见的遗漏和忽视。
　　
　　（4）数据全面性、标准性难以保证。主观指标客观化的方面体现在：对回收的问卷数据进行统计分析时发现，许多评价主体，特别是非馆员主体在对数字资源的各项二级指标进行评分时，对经常使用、较熟悉的资源评分全面，而对于专业不对口、利用少甚至未用过的则不予评分，造成有效问卷比例偏低。客观指标取值方面则表现在：不同类型数字资源无法以统一格式全面地提供访问、检索、下载量。即使是能提供全面数据的，在规范性上也参差不齐。例如，IEEE Xplore[9]、Elsevier Science Direct[10]等数据库的自有统计平台除能提供符合COUNTER[11]标准的全文使用量（JR1）报告外，更能查询到检索次数、访问人数、平均停留时间、被拒文摘访问量等深层次用量指数，而其他资源特别是多数中文数据库甚至连JR1报告都无法提供，使数字资源的横向深入评价难以实现。
　　
　　（5）评价时间成本高，与采购业务流程的紧迫性互相矛盾。高校馆的数字资源采购业务工作一般以自然年度为单位开展，分为采购准备、采购进行、使用跟踪评价三个阶段。在采购准备阶段需要进行询价、试用、撰写评估报告并提出初步采购方案[12].其中评估报告及采购方案均需以评估结果数据为前提，业务流程环环相扣，如无法及时获得评估结果，会阻碍其后的数字资源招标采购流程，无法保证读者对资源的正常访问，甚至对次年数字资源采购经费的划拨造成不良影响。
　　
　　2.评价工作的优化策略。鉴于以上问题，需要从下述方面对评价指标体系及方法进行调整。
　　
　　（1）进一步改良指标体系。精简指标体系有利于降低评价成本，提升评估结果的效度和信度。对于评价内容有所重复的指标可以择优选用，例如，A1与本馆重点采选学科的匹配程度与A2电子文献适用对象这个两个二级指标有很强的正相关，对本校学科的覆盖率很大程度上决定了读者群体的广泛性，因此可以仅保留A1指标，剔除不易精确量化的A2指标。增强指标的表达性，例如，一级指标E电子文献的使用情况（0.1）和F电子文献的价格因素（0.2）能以比率数据形式合并为一个一级指标：电子文献的使用成本（0.3）= F电子文献的价格/E电子文献的使用情况。
　　
　　（2）改进评分细则，调整分制。评分细则的表达需要更加清晰严谨，边界明确，能够让评价主体无障碍地对应准确分值；百分制是等距数值，虽然具有高区分度、精确和易于统计的优势，但无法有效拉开多个评价对象之间的差距，因此可以选取能有效评价非认知领域难以量化的复杂事物的等级制评分制度[13],通过等级数值增加评价对象区分度，而等级制评分对于评价主体也有更强的操作性，有利于减少评分细则歧义，增加评价问卷友好性。
　　
　　（3）为评价主体提供帮助与支持。包括技术支持、建立FAQ[14]、实时在线咨询以及阶段性小组集中讨论等。例如向馆员提供本校重点专业列表，汇报学科资源建设成果，传达当年资源建设侧重点；向学院专家、学生提供数据库介绍以及必要的信息素养培训等。同时注意搜集评价主体在前、中、后三个阶段提出的问题、意见等反馈，其对指标体系的优化提升以及评价工作的顺利进行均有着重要意义。
　　
　　（4）对数据采集进行规范控制。可以从以下两个方面入手：①选取合适的评价主体：在不违背评价主体构成全面性的原则下，选择具有一定信息素养、经常利用图书馆电子文献信息资源的主体，提高数据可信度；②鉴于各数字资源提供方对资源利用率统计分析的平台不同、角度各异，图书馆方面可以提供标准的统计模板，请数字资源提供方按照要求统一提供相关数据并对其真实性、可靠性做出保证。
　　
　　（5）建岗建制，优化业务流程。调整组织结构、改革岗位设置、制定相应的工作规范是高校馆数字资源评价工作持续深入开展的有力保证。上海交通大学图书馆在学科资源建设上的经验与创新值得借鉴。该馆设置资源建设型学科馆员岗位，围绕相关的职责范围、工作内容、工作流程、标准要求等对馆员进行竞聘选聘，并拟定相关指导方案、总体要求和操作指南，从人力、制度上保障了学科资源建设的规范性和持续性[15].数字资源评价工作与采购工作联系紧密却又需要相对独立，从而保证评价结果的客观性，因此更需要从规章制度上明确各自的职责范围；同时，递进式的数字资源建设业务流程对评价工作有更强的时效性要求，在制定规章时需要总结规律与经验，明确阶段性业务时间节点，合理配置资源。
　　
　　图书馆对如何展示数字资源价值的研究越来越有兴趣，伦敦大学学院（University College London）开展的研究表明，电子期刊使用率、研究成果与科研资助之间存在强的关联[16].因此，高校馆的数字资源评价值得进一步深入探索与不断尝试创新，从评价体系、方法、组织结构调整、规范业务流程等方面寻求突破，从而优化数字资源建设格局，提高利用率，更好地满足用户需求，推进科研产出。

　　参考文献

　　[1]浮肖肖，冯艳艳. 高校图书馆数字资源绩效评估研究现状综述[J].科技视界，2014（30）：211.
　　[2]杨梁彬，姚晓霞，冯英，等. CALIS评估指标体系构架初探[J].大学图书馆学报，2006（4）：42- 47.
　　[3]赵俊颜. 国内外数字资源绩效评价研究综述[J].高校图书馆工作， 2012（2）：62-66.
　　[4]肖珑，李浩凌，徐成.CALIS数字资源评估指标体系及其应用指南[J].大学图书馆学报， 2008（3）：2-8.
　　[5]朱强.数字资源深度利用现状与趋势[EB].[2017-07-19].
　　[6]邱东.多指标综合评价方法[J].统计研究，1990，7（6）：43-51.
　　[7]高起蛟，严凤斌，池斌.层次分析法（AHP）在数据质量评估中的应用[J].信息技术， 2011（3）：168-169.
　　[8]徐蔼婷.德尔菲法的应用及其难点[J].中国统计， 2006（9）：57-59.
　　[9]IEEE Xplore数据库统计报告平台[EB].[2017-07-19].
　　[10]Elsevier Science Direct 数据库统计报告平台[EB].[2017-07-19].
　　[11]COUNTER [EB].[2017-07-19].
　　[12]马彦波.高校图书馆电子资源采购工作策略研究[J].现代情报，2010（5）：94-96.
　　[13]邓伟，唐子龙，宣华.百分制和等级制的对比分析与应用思考[J].中国电力教育，2013（32）：63-64.
　　[14]王晨俊，叶春峰.FAQ在图书馆的应用及前景分析[J].现代情报，2013，33（6）：73-77.
　　[15]黄琴玲，宋海艳， 高协， 等. 高校图书馆学科资源建设的创新举措与思考：以上海交通大学图书馆为例[J].图书馆杂志，2017（3）：46-51.
　　[16]Elsevier中国. 浅谈利用平台和数字资源评价图书馆资源[EB].[2017-07-19].

TAG标签： 江汉     数字资源     评价