【作者】 吴平; 孟立霞;
【Author】 WU Ping;MENG Li-xia;Kaili University;
【机构】 凯里学院;
【摘要】 分析学术期刊网站评价指标体系研究的意义,从学术期刊网站评价指标体系构建的原则出发,根据学术期刊网站涉及到的有关质量评价环节,探讨学术期刊网站评价指标体系构建。提出学术期刊网站评价指标体系应由内容评价指标、技术评价指标、管理评价指标、效用评价指标作为一级指标的三层指标体系构成,通过专家问卷调查确定各指标分解因子并进行分析,同时利用层次分析法对各级指标因子赋予权重,最终形成学术期刊网站评价指标体系。
【关键词】 学术期刊网站; 指标体系; 德尔菲法; 层次分析法; 权重;
【基金】 中国高等学校自然科学学报研究会基金资助课题(课题编号:GBJXC0829)
近年来，学术界对网站评价进行了大量的相关研究，就目前国内研究情况来看，大多数是针对全体网站共性进行评价，虽然也有针对某类网站进行评价的，如对图书馆网站、政府网站、教育网站、电子商务网站和学校网站的评价研究，但对学术期刊网站进行评价的研究却非常欠缺，涉及到这方面的研究成果不多。与此相反，国外的关注重点则是对某类网站的评价研究，更强调各类型网站的特性，注重针对性评价，即更重视评价研究的实用性[1]。但遗憾的是，国外对学术期刊网站评价的研究仍然不多。因此，在这种情况下探讨学术期刊网站指标体系的构建无疑具有一定的实践意义和理论价值。
一、构建学术期刊网站评价指标体系的原则
评价指标的设计是构建网站评价指标体系的关键一步，指标设计是否合理直接影响到评价指标体系的科学性和实用性。因此，在指标选取和设计时遵循明确的原则和清晰的思路是十分必要的。在构建指标体系时应遵循以下原则:
( 一) 科学性原则
每个指标都要有明确的含义和目标导向，从不同侧面反映学术期刊网站本身的特点与宗旨，避免指标交叉重复、含义模糊，指标选择与层次划分要符合逻辑思维，不能犯子项相容、划分标准不一、越界划分等错误，指标应紧密结合网站发展的客观要求，表达其核心内容，注意客观评价与主观评价相结合。
( 二) 全面性原则
指标体系要能够全面反映被评价对象的各个方面，在设计评价指标体系时，要抓住能反映学术期刊网站质量的主要因素，既能反映直接效果，又能反映间接效果。筛选具有代表性和高度概括性的主导指标，以准确、灵敏、如实地反映网站最本质的表现，只有全面的指标才能构成有机整体。另外，各指标之间应互为联系、互相补充、交互作用。
( 三) 可测性原则
要求指标体系的内容和操作简易、易于理解和实施，既便于主观和客观评判，又便于定性与定量的分析，定性和定量指标相结合。
( 四) 内容第一的原则
网站在构建和运行过程中，应用各种先进技术来保证网络信息服务的快捷与安全，但对于具体网站来说，准确而有用的信息更为关键，内容在很大程度上更加重要。因此，在设定评价指标体系时，指标的权重要向内容倾斜，体现内容质量第一的原则。
( 五) 定性与定量分析相结合的原则
有些因素往往需要评价者给出主观判断，有些则通过客观存在的数值加以反映，因此在评价中，要尽量将定性分析和定量分析结合起来，凡是能量化的指标尽可能量化，不能量化的可进行间接测评，使定性和定量指标优势互补。
二、学术期刊网站评价指标的构建
( 一) 构建学术期刊网站评价指标体系层次模型评价的目的要以评价的对象做出有价值的判断，因此评价指标体系的建立应对网站能够给出具体、可测的、行为化和可操作化的判断[2]。立足于学术期刊网站评价指标体系设计的原则、学术期刊网站的基本功能和学术期刊网站信息资源的特点，以“学术期刊网站评价指标体系”为总体目标，从网站的内容、技术、管理、效用4 个方面来评价，将其定为二级指标，然后分别从这4 个方面出发，将其分解成更具体的三级、四级指标，建立1 个四级指标体系模型结构，如图1。
( 二) 学术期刊网站评价指标因子的确立
1. 确定初步的评价指标体系
依据学术期刊网站指标体系结构模型，对第三级指标体系进行细化，这个过程需要按照一定的要求设定学术期刊网站评价因子。利用国内外检索系统搜索有关网站评价、评价指标体系、学术期刊方面的文献以及对国内学术期刊网站进行调查与了解，通过小组讨论的方式和文献调研，并借鉴现有网站评价指标的可取之处，对评价指标进行设计和提取，得到初步的学术期刊网站评价子目标。
2. 专家评议
指标体系的设计是否科学、完备、可操作性，专家应从不同角度对学术期刊网站评价指标提出最直接的修改意见，使其更具有科学性与指导实践的价值。德尔菲法正是充分利用了专家的知识、经验和智慧，在一定程度上平衡了个人的某种偏向，成为解决非结构化问题的有效手段[3]。因此，学术期刊网站评价指标可采用德尔菲法获得专家评价意见，确立评价指标体系。借助专家问卷调查的方式，选择熟悉该研究领域、有着深厚的专业理论和丰富的实践经验的专家参与问卷调查，对初步的学术期刊网站评价进行专家评议。根据初步的评价子目标设计了第一轮调查表。在第一轮评议问卷中，专家对各个指标描述的明确性、必要性、准确性要有针对地提出修改意见，补充未考虑到的指标、提出整个体系的意见等。在第二轮专家评议中，向各位专家反馈关于第一轮评议必要性的统计数据和专家本人在第一轮评议中的选择，请专家在参考其他专家的意见的基础上再次判断每个指标的必要性等级，在第二轮专家评议的基础上，对部分指标的必要性属性进行修订。若专家意见差异较大，则进行第三轮问卷调查。通过几轮征询和反馈，专家意见逐渐集中最后获得有统计意义的专家集体判断结果，最终形成学术期刊网站评价指标体系。
( 三) 学术期刊网站评价指标分析
1. 内容评价指标
内容是评价和选择的核心，是反映学术期刊网站信息资源本质特性的参量。学术期刊网站的内容一般包括基本内容、重点内容和扩充内容。基本内容为期刊介绍、期刊信息、利用指南、机构动态等。重点内容:发布期刊最新目次、文摘或全文，提供近期重点特色专业学术动态;介绍重点学科或专业相关期刊，并与它们建立友情链接;开展论文写作知识讲座;提供投稿指南、稿件在线处理( 投稿、审稿、查稿等)、征订指南、电子函件表列服务等。扩充内容，主要包括网络导航、友情链接、公告栏、信息反馈、在线通报、建立编读交流的平台等。针对不同的内容，其评价指标包括:全面性、权威性、可靠性、时效性、独特性。
(1)全面性。学术期刊网站信息资源的总量、种类以及齐全的功能，能够衡量出网站的规模和质量水平。信息内容涉及主题的深度和广度，即收录的主题信息的详细程度和覆盖学科主题范围的广度。广度是指学术期刊网站所涵盖的信息资源类型、提供原始文献、相关资源的导航链接、相关索引等。而深度则体现在向作者提供详细的信息服务指南，如在投稿须知中包括稿件类型、编排格式、审稿及修改过程、投稿方式等较为详尽的信息;作者在线稿件查询;文章版权声明;作者与编者在线交流;提供论文模板等。全面性包括三级指标3 个:广度、深度、提供原始文献。
(2)权威性。指网站作者和发布者的权威性以及网站信息来源的权威性。学术期刊网站提供的内容必须是准确的、科学的，这将关系到网站的形象与权威。包括信息的提供者是否为该学科的权威，信息的出版、发布机构是否有一定的权威和知名度，网上著名评价站点和搜索引擎对信息的评价如何，信息的发布或转载是否已获得版权许可，权威性包括三级指标2 个:可靠和可信度、信息提供者声望。
(3)准确性。准确性是衡量网站内容真实客观的重要指标。首先，学术期刊网站内容的可靠源于其内容的真实，也用可信度来标记。而可信度则取决于学术期刊网站的创建者、信息作者及身份、信息来源的出处、网站创建者或管理者的联系地址等要素;其次，网站内容的准确性则取决于事实、数据来源的原始性、来源渠道的合法性以及事实、数据本身的一致性。准确性包括三级指标4 个:主题明确、内容正确客观、语法和拼写正确度、链接准确。
(4) 时效性。时效性是指网站内容从发布、传递、接收到进入利用的时间间隔及效率，是衡量内容价值的重要参数，它所提供的信息是否能始终保持最新状态，是否能定期更新，更新周期长短，是否有明确的标识等，网站能否提供及时、最新的信息是网站能力强弱的重要反映，也直接关系到网站的生存状况。可以通过信息的更换频率或信息分布的日期或信息的有效期来判定。时效性包括三级指标2 个:更换频率、更新日期。
(5)独特性。有特色才能使自己的网站在茫茫的信息网海中占有一席之地。学术期刊网站主要从网页设计、特色栏目和互动功能来反映其独特性。优秀的学术期刊网站追求页面设计的美观度和友好度，突出“个性化”特点;特色栏目是网站内容的重点、精华，体现在网站提供的信息具有特色，是其他网站无法获取的独家资源，具有其他网站所没有的优势、特征及附加价值;而强调互动性则是学术期刊网站个性化服务特征。独特性包括三级指标2 个:个性化和特色化。
2. 技术评价指标
技术是网站正常运行的保证，也是网络信息使用先进性和效率的体现。学术期刊网站技术一般包括:硬件技术和软件技术、信息组织技术、管理维护技术、安全保障技术、检索使用技术等。评价指标包括:安全性、功能性、快捷性、易用性和吸引性。
(1)安全性。网络安全是对学术期刊网站评价的一项重要指标，是网站正常运转的首要因素，一个成功的网站应采取一定的措施防范病毒，对于敏感内容应采用专用服务器，同时减少黑客和用公开浏览器的漏洞进行攻击的机会。安全性包括三级指标2 个:网站设施安全、网站信息安全。
(2)功能性。学术期刊网站功能是否完备，是衡量网站质量的一个重要指标。学术期刊网站的功能包括帮助使用功能、导航功能、检索功能、交互功能。网站是否有使用帮助使用说明，导航设计中内部链接是否丰富，所链接的资源是否保持新颖，所链接的资源是否与主题、学科相关，是否提供多种途径检索和高级查询方式(如布尔逻辑、截词检索)，是否为编者之间、编者与作者读者之间的交流提供了一个服务多样的互动平台，如通过电子邮件、留言薄、BBS 论坛、在线投稿和问答等方式，提供投稿相关事项咨询、稿件录用与否的信息咨询、对编辑部工作的建议等互动式的交流。功能性包括三级指标5 个:具备导航系统、检索方式多样性、提供多种交互界面、提供站内搜索引擎、提供相关网站链接。
(3)快捷性。快捷是体现信息服务效率的重要指标，对学术期刊网站的生存和发展至关重要。快捷性主要体现在容易登录、连通迅速，等待时间短、响应速度快、下载速度快、链接迅速等。快捷性包括三级指标3 个:响应速度快、下载速度快、链接迅速。
(4)易用性。易用性是体现网站建设以人为本、用户至上的标志。如用户界面友好，具有实用的在线帮助;铵钮和菜单的设计实用、方便;对浏览器和PC机没有特别要求;无需安装专门软件( 或插件);非个性化服务资源无需注册;具有打印文档、页面或其中部分内容的功能。易用性包括三级指标3 个:界面友好、方法简便、帮助信息清晰。
(5) 稳定性。稳定性是指网站的维护水平。网站系统是否稳定，可以从掉线、网页无法打开等情况出现的次数，网站服务器是否能全天候工作以及网页更新频率是否稳定，错误链接的数量等方面来综合分析。稳定性包括三级指标3 个:网站维护程度、稳定提供资源、网址稳定程度。
(6)吸引性。如何从众多网站中脱颖而出，吸取更多用户的目光是网站是否成功的重要标志。从网站本身的设计来看，具有吸引力的网站应该是设计风格与学术期刊出版宗旨相符，图案简洁、色彩搭配协调、版块安排合理、信息组织层次分明、重点突出。体现出其特有的严谨、简洁、大方，体现出网页结构、文字图像、色彩搭配、文本方式的有效组合，营造较好的视觉效果。吸引性包括三级指标3 个:版式编排合理、色彩协调、层次结构清晰。
3. 管理评价指标
管理是网站安全、连续正常运作的重要措施，是网站可持续发展的必要条件。管理技术表现在管理方式和手段的科学化、标准化、合法化。学术期刊网站管理一般包括:建站管理和日常管理、人员和用户管理、内容管理、技术管理、反馈管理等。评价指标包括:管理规范性、安全稳定性、更新经常性[4]。
(1)管理规范性。网站管理的规范性可以表现在几个方面:站点设立与站名规范、域名规范、信箱规范、站点信息与网页格式规范;是否对网站经常维护更新内容、删除垃圾、优化性能、加强安全、增强稳定性与信息的可靠性，网站是否有专人维护，网址是否经常变化，变化时是否有通知等。包括三级指标3个:管理制度、规范化、专人维护。
(2)安全稳定性。安全稳定性就是对信息资源和系统安全进行有效管理，是网站管理结果的表现。网站的管理和维护应该保护良好状态，网站要有专人维护，防止黑客、病毒入侵，做到网页稳定、性能可靠，被用户长期信赖，提供全天候的服务，保证系统安全稳定;同时，资源提供要稳定，网址有变化要通知，资源被稳定地访问，信息能够可靠地查找，保证信息资源稳定。安全稳定性包括三级指标2 个:系统安全稳定、信息资源稳定。
(3)更新经常性。主要考虑是否对信息资源添加更新、网页设计、版面修改和Web 技术的更新等。包括三级指标3 个:信息资源、版面修改、保持技术先进性。
4. 效用评价指标
学术期刊网站的评价最终目的要看用户使用后所产生的效用大小。因此，效用评价是衡量网站质量的根本指标，也是反映目标导向性原则的直接体现。评价指标包括:用户访问量、互动性、网络影响因子。
(1)用户访问量。指该网站在一定时间段内用户访问的总的页面数，它反映学术期刊网站被用户重视的程度和网站的地位，同时，用户访问量随时间的变化规律还可以很好地反映网络的管理运行状况[5]。通过网站的点击次数，Web 服务器中的Web 日志记录用户登陆网站和退出网站的时间，浏览和使用网站的人的数量，一定时间段内用户访问的总的页面数，每个用户在一次访问时间内所浏览和获取的该网站网页数。用户访问量包括三级指标3 个:点击率、用户停留时间、网站浏览量。
(2)互动性。学术期刊网站的功能及特点决定了网站需要用户( 编者、作者和读者) 的积极参与，提高用户的参与程度，无疑是学术期刊网站发展必须强调的。用户参与程度的高低反映出网站对用户的影响力、回应力以及学术信息生产和消费的能力。因此，网站的交互性也就成为网站评价的重要指标。包括两个方面:一是网站是否提供了丰富便利的交流的手段(如E - mail 地址、mailing、list、讨论区);二是利用以上手段发生交流的实际情况，如利用这些交流手段的用户比例、总使用量、提问反应力等。互动性包括三级指标3 个:用户参与度、注册用户数量、用户提问反应力。
(3)网络影响力。是评价网站绩效的重要量化评价指标。它被定义为“在某一时间，来源于外部和自身内部指向特定国家或网站的网页数与该国或网站中的网页数之比”。通常认为，网络影响因子越大，网站的学术影响力就越大，质量就越高[6]。通过其他网站链接的数量，网站在主要搜索引擎的排名、在友情链接中出现的频率等客观指标都会直接或间接影响用户对网站的关注。站点被其他站点链接的数量，包括三级指标3 个:被链接率，用户访问深度，引擎上的出现率。
( 四) 学术期刊网站评价指标因子权重的确立指标构建完成后，就要考虑指标因子在体系中的相对重要性，即权重的分配。邀请15 名专家根据自己的知识与经验，对评价指标层次结构中的每一层中
的各因素相对重要性给出判断数值列表形成判断矩阵。采用T. L. Saaty 提出的基于1 - 9 标度的层次分析法(AHP)来计算各指标的权重[7]，权重的计算过程全部采用Matlab6. 5 软件实现。具体步骤如下:
1. 计算每一项指标的重要性得分
统计收回的调查问卷结果，根据专家5 分制( 给每个重要性层次设定一个分值:最重要的分值为K1= 5，以下依次为K2 = 4，K3 = 3，K4 = 2，K5 = 1) 打分结果，计算每一项指标的重要性得分。计算公式为:
。其中，S 为某项指标综合得分;s 为变量，s1、s2、s3、s4和s5分别代表针对该指标选择不同重要性的人占总人数的比例。计算得出学术期刊网站评价指标体系各因子得分，最高分为4. 833，最低分为3. 000。2. 构造成对判断矩阵
根据Saaty 1 - 9 标度( 表1)，将指标最高分与最低分差值1. 8333 区分为8 个区间，分别与1 - 9 标度值相对应，结果见表2。然后，根据层次分析法，对各指标差值在表2 中相应的标度值，按照左上角的原则，依次比较左侧第一列与最上行的各个指标，然后再比较第二列与最上行指标，依此类推，构造各判断矩阵。
3. 计算权重并做一致性检验
计算出各判断矩阵的最大特征值λmax和其相应的特征向量ω，并做一致性检验。判断一致性比率CR = CI /RI < 0. 1。CI = ( λmax - n) /( n - 1)。CR <0. 1 时，认为判断矩阵具有满意一致性;否则需要修正前面的判断。各阶判断矩阵RI 值对照表见表3。目标A 的判断矩阵和权重如表4，因篇幅有限其他矩阵略。对建立的指标体系的各判断矩阵的层次单排序的一致性检验最终结果见表5，均通过一致性检验，即结果具有较好的一致性。
4. 计算组合权重并做组合一致性检验
利用层次单排序的权重值，用上层指标的权重加权，得到下层各指标相对于指标体系最高层的组合权重值，结果见表7。同层次指标比较所用尺度基本一致，但各层之间的比较尺度会略有差异，而且这种差异会随层次总排序积累，最终影响判断结果的一致性，因此，还需进行层次总排序结果的组合一致性检验。根据公式
，做组合一致性检验，若CR' < 0. 1，说明该判断矩阵经层次总排序后仍具有满意的一致性，否则需要重新考虑模型或重新构造判断矩阵。根据表6 中各判断矩阵的一致性检验指标，进行组合一致性检验，得CR'= 0. 0335 < 0. 1，说明学术期刊网站评价指标体系构
建获得满意的一致性。
( 五) 学术期刊网站评价指标体系的确立通过评价指标层次模型的建立，调查问卷设计和实施以及权重的计算，最终得到学术期刊网站评价指标体系。如表7 所示。
三、结果与讨论
从一级指标的权重分配来看，内容评价(0. 5189)排第一位，技术评价(0. 3373) 排第二位，之后依次为管理评价(0. 0871) 和效用评价(0. 0566 )。由此看来，学术期刊网站的信息内容是至关重要的，它应该准确、时时更新并且具有较高的完整性，只有这样，才能从根本上保证学术期刊网站的可持续发展。网站技术评价具有较高的权重，说明了网站技术是学术期刊网站正常运行的保证，是网络信息使用先进性和效率的体现。快捷性(0. 3797)所占较高的权重分值，说明了这一问题。学术期刊网站应该加强硬件设施建设，选择性能较好的服务器、出口带宽要达到一定的宽度，以保证网络使用的快捷。在功能性方面，检索功能(0. 4043) 和交互功能(0. 2923) 较高的权重数，说明了学术期刊网站服务功能的进一步发展是走向成熟之路的必需，是学术期刊网站发展必须强调的。学术期刊网站应该在网上与作者、读者以及编辑的交互提供更方便和安全快捷的方式，并引入技术上先进的具有在线投稿、在线审稿、在线查询等复杂功能的稿件在线处理系统，提供细致周到的深层次、个性化的服务功能。同时在网站稳定性方面要进行有效技术支持和控制，保证网站正常运转。信息内容、网站技术对网站的整体评价结果影响较大，因此，学术网站的建设应优先考虑这两方面的质量，以这两方面的建设为重点。
另外在一级指标中的管理评价和效用评价的权重值都小于0. 1，相比之下重要性明显偏低，但作为网站可持续发展的必要条件，对网站连续正常运作的管理也是一个很重要的问题。因此，在管理方式和手段上力求科学化、标准化、合法化。网站安全稳定性(0. 5469)权重较高，体现了是学术期刊网站对安全稳定的管理是网站存在和发展的必要条件，网站不但需要保证系统自身的安全，具有防病毒与黑客攻击的能力，而且需要保证注册用户信息的安全。效用评价指标反映网站被关注与使用程度，其程度高低反映出网站对用户的影响力，在很大程度上反映了网站的建设水平。其中“互动性”指标占有0. 5396 的较高权重，进一步说明了学术期刊网站在交互性方面的重要程度，说明了交互功能够提升用户访问网站的积极性，网站服务的针对性强，对用户的吸引力大。
对学术期刊网站进行评价不仅可以发现各个学术期刊网站的优劣以及不同网站之间各个方面的对比，同时在学术期刊网站的建设过程中，可以运用这个指标体系来衡量和关注学术期刊网站的各个侧面，然后通过合理配置资源使学术期刊网站的建设与使用效果达到最优。建立一个客观科学的学术期刊网站评价指标体系能更好地促进学术期刊现代化的建设和发展，为期刊上网相应的决策、评估提供依据。
参考文献:
[1]贺婷婷，闫永君. 国内外网站评价研究比较及分析[J].图书与情报，2006(3):30.
[2]黄微，毕胜男，贾春华. 网站系统综合测评方法的研究[J]. 情报科学，2003，21(8):852.
[3]田军，张朋柱，王刊良，等. 基于德尔菲法的专家意见集成模型研究[J]. 系统工程理论与实践，2004(1):57.
[4]石玉华，邓汝邦. 社会科学核心网站的评价标准与方法[J]. 情报资料工作，2005(6):41 - 46.
[5]赵仪，赵熊，张成昱. 专业网站的评价指标分析[J]. 现代图书情报技术，2002(4):45.
[6]王知津，李明珍. 网站评价指标体系的构建方法与过程[J]. 图书与情报，2006(3):48.
[7] 赵焕臣. 层次分析法——— 一种简易的新决策方法[M]. 北京:科学出版社，1999.
