Advanced
A Study on Performance and Prediction Factors in College and University Libraries using Statistical Analyses
A Study on Performance and Prediction Factors in College and University Libraries using Statistical Analyses
Journal of the Korean BIBLIA Society for library and Information Science. 2014. Sep, 25(3): 191-214
Copyright © 2014, Korean Biblia Society for Library and Information Science
  • Received : September 09, 2014
  • Accepted : September 09, 2014
  • Published : September 30, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
기영 김
연세대학교 문헌정보학과 조교수(gkim@yonsei.ac.kr) (제1저자)
윤희 최
연세대학교 문헌정보학과 대학원(yh_choi@yonsei.ac.kr) (공동저자)
재연 강
연세대학교 문헌정보학과 대학원(jaemi325@naver.com) (공동저자)
평진 고
연세대학교 문헌정보학과(koh1459@naver.com) (공동저자)
Abstract
본 연구는 한국교육학술정보원(KERIS)이 운영하는 학술정보통계시스템(rinfo.kr)의 2010-2013년간 대학도서관통계를 대상으로 지속가능성에 기반한 경영자원 확보를 성과요소로 한 탐색적 통계분석을 목표로 한다. 이를 위해 선행되는 영향요소 및 후행되는 성과요소를 고려하고 규모 및 사회경제적인 외부변인들을 통제하기 위한 변화율 중심의 변수를 산출하는 전처리 방법을 통계에 적용하였으며, 이를 통한 변수를 대상으로 요인분석과 회귀분석을 실시하였다. 요인분석 결과 13개의 요인을 추출할 수 있었으며, 회귀분석 결과 대학도서관 경영자원 확보에 영향을 미치는 변수를 확인하였다. 분석결과를 바탕으로 극단값의 문제, 변수 간 낮은 상관성, 그리고 낮은 효과크기를 배경으로 한 새로운 변수의 개발을 논의하였다. 본 연구를 통해 지속가능성에 기반한 대학도서관의 통계체계, 평가, 나아가 경영에 대한 논의가 확산되기를 기대한다.
Keywords
1. 서 론
통계정보는 일반적으로 조직의 성과를 분석하고 정책을 수립하는 데 기초자료로서 가치가 있다( 한국교육학술정보원 2013 ). 통계정보는 개별조직에게 조직의 목표와 이에 따른 활동 및 결과를 비교함으로써 조직의 목표를 달성하기 위해 내부 프로세스의 파악 및 개선을 위한 자료로서의 가치를 지니며, 다른 한편으로는 조직들의 집단에 대한 정책을 수립하기 위해, 조직집단의 상태를 파악하기 위한 자료로서의 가치가 있다. 특히 국가수준에서의 도서관통계는 연구, 관찰, 평가, 조사, 계획 등 다양한 목적을 가지고 있어( Liu and Zweizig 2001 ), 조직내 · 외부 관점에서의 통계정보의 가치를 모두 추구한다고 볼 수 있다.
교육부와 한국교육학술정보원은 대학도서관 통계를 연차별로 2009년부터 수집 생산하여 왔으며, 나아가 통계자료의 수집과 이용을 위한 환경을 조성하기 위하여 학술정보통계시스템(rinfo.kr)을 개발 · 운영하고 있다( 한국교육학술정보원 2013 ). 매년 통계자료 생산 사후에는 통계분석자료집을 발간하고 있는데, 통계분석자료집의 분석은 기술통계에 기반한 연차별 분석 및 외국 사례와의 비교가 주가 되어, 그밖에 학술정보통계시스템의 통계자료를 이용하여 수행된 연구는 없다. 이는 도서관분야에서 도서관통계의 주 분석기법으로 기술통계가 수행되며, 그 목적은 도서관 간 비교 및 추세의 확인에 있다는 연구결과( Covey 2002 )와 그 맥을 같이 하고 있다.
이러한 대학도서관 통계 분석기법에 있어서의 한계는 추론통계를 적용하기 위한 통계항목(변수)의 성격이 모호한 측면이 있기 때문인 것으로 판단된다. 즉, 대학도서관의 성과를 나타내기 위해서는 성과를 나타내는 변수(성과변수/요인)와 성과에 영향을 미치는 변수(예측변수/요인)가 요구되는데, 현재의 대학도서관 통계에서 어떠한 항목이 이러한 성과변수와 예측변수인지가 모호한 측면이 있다. 이는 통계항목 각각의 개념적 정의가 명확치 않고, 이 항목들을 통계에 포함시킨 근거가 약하다는 점과 연결된다. Hiller와 Self(2004) 는 도서관경영 상의 의사결정을 위해서 도서관통계가 충분한 정보를 제공하지 못한다는 점을 지적하였는데, 이 또한 통계항목의 성격이 모호한 점과 연관이 있다. Childers(1975) 가 언급한 것처럼, 도서관통계가 ‘사서가 필요할 것이라고 인지하는 항목들’과 ‘수집이 가능한 항목들’ 간의 절충이라고 내린 결론은, 비록 그 시점이 현재와는 차이가 있으나, 현재의 도서관통계를 이해하는 데에도 의미가 있다. 같은 맥락에서, Covey(2002) 는 통계항목이 합의에 의해 결정될 때 추가적으로 요구되는 통계항목을 확인하기 어렵다는 점을 지적하였는데, 이처럼 합의에 의한 통계체계의 개발은 도서관 통계분석에 대한 한계를 설명하는 원인이 될 수 있다.
따라서 본 연구에서는 학술정보통계시스템의 대학도서관 통계를 대상으로, 대학도서관 경영의 성과요인을 제시하고, 이러한 성과요인을 종속변수로 한 추론통계분석을 그 목적으로 한다. 이때 대학도서관의 경영목표는 도서관서비스의 지속가능성(sustainability)을 위한 자원의 확보 및 대학도서관 사서의 전문성에 대한 인식의 강화로 제시하고, 이러한 경영목표를 확인하기 위한 통계항목에서의 성과요인과 이에 영향을 미치는 예측요인들을 검토한다. 또한 현재의 대학도서관 통계데이터의 분석을 위한 전처리 과정을 제안한다. 새로운 성과요인의 제시 및 새로운 전처리 방법의 적용이라는 본 연구의 성격은 적용통계기법이 무엇이던 본 연구의 성격을 탐색적 연구로 규정짓는다. 이를 통해 대학도서관 경영성과에 어떠한 요인들이 영향을 미치는 지를 알아보고, 현 대학도서관통계의 개선사항을 논의한다.
본 연구에서는 학술정보통계시스템을 포함하는 기존의 대학도서관 통계체계의 성격을 기능중심적 체계로 파악하고, 이러한 통계를 대상으로 성과에 기반한 분석을 시도함으로써 현통계체계의 성과기반 분석 가능성과, 성과기반 통계체계로의 변화를 검토한다. 한편, 현 대학도서관 통계의 개선에 대한 제안은 주로 현 통계항목 중 제거가 가능한 항목 및 추가되어야 할 항목 제시를 통해 이루어진다. 제거대상 항목은 현재 데이터의 분석을 기반으로 할 수 있으나, 새로운 항목의 제안은 이론적 근거만을 가진 논의에 의해 이루어 질 수밖에 없다. 이는 본 논문이 가진 기본적인 한계이며, 따라서 향후 제안된 새로운 통계항목에 대한 데이터가 수집된다면 이를 분석해 나아감으로써 통계시스템을 지속적으로 개선해야 할 것으로 판단된다.
본 연구는 이론적 배경으로 도서관통계의 목적 및 도서관 경영의 성과, 그리고 기존의 도서관 통계 분석연구들을 살펴본다. 그리고 데이터의 전처리를 포함한 연구방법을 제시하고, 전처리 과정 및 분석결과를 보고한 후, 논의를 통해 분석결과의 의미 및 대학도서관 경영 및 통계시스템에 대한 제안사항을 제시한다.
2. 이론적 배경
- 2.1 도서관 성과기반 통계체계
도서관법(2012) 제35조에 따르면, 대학도서관은 교수와 학생의 연구 및 교육활동에 대한 정보 관련 서비스를 제공하는 기관이다. 따라서 대학도서관이 지닌 공통의 목적은 연구와 교육에 대한 정보지원이라 할 수 있다. 이와 같은 목적에 기반하여, 대학도서관의 성과는 대학도서관 서비스가 대학의 연구 및 교육에 미친 영향이라고 할 수 있으며, 이는 outcome이라고 표현된다. outcome은 우리말로 ‘성과’로 표현되는데, 뒤에 나올 performance 또한 ‘성과’로 표현되므로, 본 연구에서는 영문용어를 그대로 사용함으로써 두 용어 간 혼동을 피하고자 한다. outcome은 performance로서의 성과와는 구별되는 것이며, performance는 추상적인 지향점인 ‘목적’에 기반한 것이 아닌 구체적으로 설정된 ‘목표’에 기반된, 일정기간 이루어진 도서관활동의 결과이다( 최신문헌정보학의 이해 편찬위원회 2013 ). 따라서 outcome은 performance보다 좀 더 특정한 의미를 가진다고 볼 수 있다.
통계항목으로서 대학도서관의 outcome은 다루기 어려운 측면이 있다. 현재 대학교의 outcome을 기반으로 한 평가의 실제는 모든 대학에 적용이 가능할 만큼 안정적이지 않으며, 이를 위해 더 많은 연구와 시도가 필요한 상황( Hernon and Dugan 2006 )이므로 대학교의 outcome에 대한 대학도서관의 outcome을 명확히 정의하고, 이에 대한 객관적 측정을 한다는 것은 곤란하기 때문이다. 따라서 본고에서는 performance로서의 성과를 다룬다.
성과는 조직(개별 대학도서관)이 설정한 단기(1년 이하) 목표를 기반으로 평가된다. 이러한 목표는 대학도서관이 ‘연구와 교육에 대한 정보지원’이라는 목적에 따라 시행하는 활동을 통해, 일정한 시기 안에 달성해야 할 구체적 상태를 의미한다. 따라서 개별 대학도서관의 구체적인 목표에 기반한 성과는 대학도서관마다 다를 수 있다. 예를 들면, 어떤 대학도서관이 방문자수를 기본적인 성과로 할 때 다른 대학도서관은 정보서비스 제공 횟수를 성과로 할 수 도 있다. 그러므로 대학도서관 전체를 대상으로 한 통계체계를 상정한다면, 전체 대학에서 통계항목의 공통성을 고려할 필요가 있다. 이는 ‘대부분의 대학도서관에 어떠한 통계항목을 적용할 수 있다’의 문제가 아닌, ‘모든 대학도서관에서 필수적으로 고려해야 하는 항목이다’의 문제로서 이해하여야 한다. 예를 들면 주식시장에서 다양한 상품을 다루는 회사들이 있다고 할 때, 식품회사와 금융회사가 서로 다루는 상품은 다르지만 그럼에도 불구하고 공통적으로 중요한 의미가 있고 적용할 수 있는 항목인 매출액, 자산, 이익, 부채와 같은 항목으로 모든 회사를 아우르는 통계자료를 작성하는 것과 같은 이치라 할 수 있다.
이와 관련하여 고려할 수 있는 개념은 2000년대 이후 나타나고 있는 생존(survival), 또는 지속가능성에 대한 논의이다( Crawford 2006 ; Nelson 2006 ). 이러한 논의는 도서관이 서비스를 지속적으로 제공하고자 하는 의지를 배경으로 하는 것으로 판단되며, 이러한 배경에서 서비스 지속을 위한 자원 확보가 문제되는 상황에서 나타난 논의라 할 수 있다. 이는 도서관 평가의 목적이 도서관 내부의 기능 점검 및 개선( Lancaster 1988 )에서 자원 확보의 정당성을 위한 근거( Crawford 2000 )로 그 중심이 이동하는 것과 맥을 같이하고 있다. 따라서 성과는 지속가능성에 영향을 미치는 것으로 이해할 수 있으며, 나아가 도서관의 자원 확보에 영향을 미치는 것으로 볼 수 있다.
서론에서 언급한 바와 같이 통계는 조직의 성과를 나타내고, 이를 통해 조직의 정책수립을 위한 정보를 제공하는 것을 그 목적으로 한다( 한국교육학술정보원 2013 ). 따라서 통계에 포함된 통계항목(변수)에는 조직의 성과를 나타내거나 성과와 연관이 있는 항목들이 포함되어야 한다. 대학도서관 통계 또한 대학도서관의 성과요소 혹은 이와 연관된 요소들이 포함되어야 한다. 즉, 하나의 통계체계는 통계를 통해 나타내고자 하는 요소를 성과요소와 성과에 영향을 미치는 요소로 나누어 설정하며, 이러한 요소를 표현하기 위해 측정되는 현상을 항목 혹은 변수로서 포함하여야 한다. 이러한 관계는 <그림 1> 로 나타낼 수 있다. 즉, 성과요소와 이에 영향을 미치는 영향요소가 있을 때, 요소를 표현하기 위해 측정되는 현상들이 변수로서 통계항목으로 포함되어야 한다. 따라서 대학도서관의 경영에 있어 무엇이 성과요소인가, 즉, 무엇이 도서관의 경영자원 확보에 영향을 미치는가는 성과기반 통계항목을 결정하는 데에 있어 중요한 요소이다. 이때, 성과기반 통계체계는 그 항목이 성과요소와 이에 대한 영향 요소로 구성된 것을 의미한다.
PPT Slide
Lager Image
성과요소, 영향요소 및 변수간의 관계
- 2.2 기존 통계체계에서의 성과요소
특정 통계체계에서 무엇을 성과요소로 하는가는 세 가지 방식으로 접근할 수 있다. 우선, 통계 요소와 통계항목 간의 관계는 변수의 개념적 정의를 통해 설정되므로, 기존 통계체계의 개념적 정의 검토를 통해 파악할 수 있다. 두 번째로 하나의 통계체계는 대략 몇몇 통계요소로 구성되어 있으므로 기존 통계체계의 구성방식을 검토함으로써 파악가능하다. 마지막으로 특정 통계체계를 통한 통계자료를 대상으로 분석한 연구논문을 검토함으로써 파악할 수도 있다.
먼저, 기존 통계체계 항목들에 대한 정의를 살펴보면, 대부분 조작적 정의만 되어 있을 뿐 개념적 정의에 대해서는 명료하게 제공되지 않고 있다. 예를 들면 ISO 2789:2013 국제도서관 통계 표준에서 적극적 대출자(active borrower)의 정의는 “보고 기간 중 최소 한 번 자료를 대출한 등록 이용자”(ISO 2013, 4)로 되어있어 조작적 정의는 명료하게 제시되어 있으나, 개념적 정의는 없으며, 다만 “도서관서비스 및 이용”절에 포함되어 있어 도서관서비스 및 이용과 연관된 항목이라는 점만 유추할 수 있다. 미국교육통계센터(National Center for Education Statistics: NCES)의 대학도서관통계에서도 이러한 점이 보이는데, 예를 들면 현행 구독정기간행물(Current serial subscriptions)을 “전자형태를 포함한 구독 정기간행물의 종수, 정부 정기간행물의 경우 도서관 목록을 통해 접근가능하면 포함”( Holton, Vaden, and Williams 2006 , 32)으로 조작적 정의만 제공하고 있다.
한국교육학술정보원(KERIS)의 학술정보통계시스템에서도 조작적 정의 위주의 정의를 제공함을 확인할 수 있다. 예를 들면 전자저널의 정의는 “인쇄 학술지와 Volume, Issue(권호)가 동일하게 원문이 제공되는 전자자료”( 한국교육학술정보원 2013 , 212)로 조작적 정의만 제공되었으며, 다만 “소장 및 구독자료” 하에 포함되어 자료의 의미를 가지는 항목으로 이해할 수 있다. 따라서 기존 통계체계의 개념적 정의를 통해 통계항목의 성과요소 및 영향요소와의 연관성을 검토하는 것은 제한적이다.
두 번째 접근방식은 기존 통계체계의 통계항목 구성을 통해 검토가 가능하다. 이미 개념적 정의를 살피면서 ISO 2789:2013과 학술정보통계시스템에서 부분적으로 살펴보았으며, 이는 통계체계 뿐 아니라 통계자료를 기반으로 한 평가체계를 통해서도 검토할 수 있다. 김기영 등(2014) 이 지적한 바와 같이 대학도서관 통계 및 평가체계는 대부분 기능중심적으로 구성되어 있는 것으로 보인다. 여기에서 기능중심적이라 함은 통계항목의 구성이 도서관이 수행하는 기능별로 되어있다는 의미이다. 앞서 살펴본 ISO 2789:2013( ISO 2013 )의 경우 전제 통계항목을 도서관, 도서관서비스 및 이용, 장서, 접근 및 시설, 경영, 기금 및 지출, 그리고 인력의 7개 기능적 요소로, 학술정보통계시스템( 한국교육학술정보원 2013 )의 경우 기본정보, 소장 및 구독자료, 시설, 인적자원, 예산 및 결산, 이용 및 이용자, 그리고 전자서비스의 7개 기능적 요소로 구성하였다. 이 두 경우 모두 그 구성에 대한 세부 정보는 제공하지 않는다.
평가체계의 경우에도 크게 다르지 않은데, 예를 들면 윤희윤(2001) 은 국내 대학도서관의 평가모형을 개발하면서 투입, 산출, 결과의 과정적 요소 및 효율, 효과 등의 성과 측면을 고려하였으나, 그 평가체계의 구성은 자료, 예산, 인력, 시설설비, 정보화, 이용자봉사의 6가지 기능적 요소를 중심으로 구성하였다. 김기영 등(2014) 의 경우에는 평가항목을 크게 자원, 과정, 결과의 과정적으로 구성하여 성과 중심의 구성을 보여주고 있으나, 정성적 접근을 통한 개발로 인해 성과요소와 그 영향요소가 무엇인지를 명확히 보여주고 있지는 못하다. 전반적으로 기존의 통계 및 평가체계의 구성은 기능중심적 접근을 기반으로 하고 있어 성과요소와 영향요소를 고려하는 데에는 한계가 있는 것으로 판단된다. 이는 평가체계가 기본적으로 제한된 이해관계자, 즉 도서관 조직 내부자의 합의에 의한 방식으로 개발된 데에 기인한 것으로 유추할 수 있다.
마지막 접근방식은 도서관 통계자료를 대상으로 한 통계분석연구를 살펴보는 것이다. 통계자료를 대상으로 한 도서관 성과에 대한 연구에서 전통적으로 나타나는 성과요소는 ‘이용요소’이다. 이용요소는 대체로 대출량을 성과를 나타내는 변수로 설정하며, 이에 영향을 미치는 요소는 도서관의 규모요인 및 도서관 환경요인을 주로 고려한다. 양병훈(2008) 은 한국도서관연감의 통계자료를 대상으로 서울지역 대학도서관의 대출량을 성과변수로 하고 이에 영향을 치미는 예측변수를 면적, 직원규모, 장서규모, 그리고 예산으로 설정하여 통계분석을 하였다. 또한 Weiner(2005) 는 또 다른 이용요소인 참고 서비스 수, 도서관교육 횟수 및 교육 참가인원수를 종속변수로 채택하였으나, 그 영향요소는 직원 수, 학생 수 등의 규모요인을 벗어나지 못하였다.
1990년대 중반 이후에는 전통적인 이용요소 이외의 다양한 다른 요소들이 성과요소로 이용되었는데, 이는 크게 품질, 만족도와 같은 통계항목에 포함되지 않는 정성적 요소와 인력, 예산과 같이 통계항목에 포함된 자원요소로 나누어 볼 수 있다. 정성적 요소를 성과요소로 한 연구로서, 백항기와 이은철(2000) 은 설문조사를 통해 이용자 만족도의 구성요인을 파악하고, 이에 영향을 미치는 요소로서 기존 통계항목에 있는 규모요인 이외에 도서관의 소통요소, 검색시스템의 용이성, 시설 및 장비요인 등을 영향요소로서 제시하였다. 김선애(2008) 또한 설문조사를 통해 이용자만족도와 충성도를 성과요소로 한 연구를 발표하였으며, 여기에서는 도서관의 물리적 환경 및 직원의 전문성 및 태도가 영향요소로 제시되었다. 한편, 품질을 성과요소로 한 연구는 Martensen and Grønholdt(2003) Ismail 등(2011) 이 있으며, 여기에서 품질에 영향을 미치는 요소로는 인쇄출판물, 물리적 환경, 인적요소 등이 도출되었다. 이러한 정성적요소를 성과요소로 채택한 연구는 대부분 설문조사로 이루어져 성과요소 및 도출된 영향요소들을 통계항목으로 포함시키기가 곤란하다는 한계가 있다.
한편 자원요소를 성과요소로 채택한 연구로서, 손정표(1994) 는 대학도서관 직원규모를 성과요인으로 한 분석을 하였으며, 이에 영향을 미치는 요소로는 도서관 예산, 대학 예산, 장서수, 대학원생 수 등의 규모요인을 도출하였다. Davis(2007) 는 성과요소와 영향요소의 관계를 분석하지는 않았지만 공공도서관의 세입예산을 주요 성과요소로 보고 그 추세를 분석하였으며, Molyneux(2008) 또한 기술통계를 이용한 시계열분석을 통해 도서관의 예산추이를 분석하여 예산 및 세입의 중요성을 드러내고 있다. 그러나 이러한 추세분석 연구들은 자원의 중요성을 강조하고는 있으나 이것이 환경요소인지 성과요소인지는 분명히 나타나있지 않다.
Kim and Yu(2011) 는 미국 공공도서관통계의 분석에서 세입예산의 변화를 성과요소로 사용하였으며, 이러한 세입예산의 변화에 영향을 미치는 요소로는 운영 자원, 장기적 자원, 내부활동, 그리고 협력 활동의 4가지 요인을 도출하였다. 본 연구는 기존의 연구와 몇 가지 점에서 차이를 보이고 있는데, 우선 변수가 ‘상태’를 나타내는 변수가 아니라 ‘변화’를 나타내는 변수라는 것이며, 변수의 처리에 있어서 지역규모 및 사회경제적 요소 등의 영향을 최소화하려는 시도를 하였다는 점이다. 두 번째는 결과에 있어서 통계항목을 통해 도출된 영향요소의 성과요소에 대한 효과크기가 14% 정도로 매우 작은 수준이라는 것이다. 이러한 결과를 통해 저자들은 좀 더 다양한 영향요소의 개발 및 통계항목으로의 편입을 주장하고 있다.
기존의 도서관 성과와 연관된 통계체계와 연구들을 종합하면, 도서관 경영에 있어 전통적으로 기능적 접근 및 성과요소로서의 이용요소를 상정하였으나, 1990년대 중반 이후 새로운 성과요소를 탐색하고 있는 추세를 보이고 있다. 새로운 성과요소로는 품질 및 만족도와 같은 정성적 요소와 자원요소로 크게 대별하여 파악할 수 있으며, 정성적 요소에 대한 연구가 다양하게 나타나고 있으나, 이를 다수의 도서관을 포함하는 통계체계로 발전시키는 데에는 일정한 한계가 있는 것으로 보이며, 성과요소로서의 자원에 대한 분석은 그 영향요소가 아직 규모요인에 머무르고 있음을 알 수 있다. 이는 현존하는 도서관 통계체계의 통계항목들이 주로 규모요소를 포함하고 있는 것에도 어느 정도 영향을 받고 있는 것으로 보이며, 따라서 향후 지속적인 새로운 영향요소 및 항목의 개발이 요구되고 있다. 이는 결국 대학도서관 통계체계를 기능중심적에서 성과기반체계로의 변화로 이해될 수 있다.
1990년대 중반 이후에 나타나고 있는 새로운 성과요소의 탐색 추세는 성과요소가 무엇이어야 하는가라는 질문에 대한 재 고려를 요구하고 있다. 기존의 이용요소를 통한 성과의 표현은 주로 미래의 도서관경영을 위한 자원 확보에 대해 한계가 있다는 의미로 해석된다. 즉, 미래에 적절한 수준의 도서관서비스를 제공하기 위한 인력 및 예산의 확보가 점점 어려워지고 있으며, 이용의 확대를 통해 이를 확보하는 것에는 일정한 한계가 있다는 의미이다. 따라서 이용요소 이외의 요소로서 품질 및 만족도와 같은 정성적 요소, 그리고 예산 및 인력과 같은 자원요소들이 성과요소로서 탐색되고 있는 것으로 보인다. 이는 도서관의 성과로서 지속가능성의 중요성을 보여주고 있는데, 왜냐하면 도서관 서비스의 지속적 제공에서 가장 필수적인 요소는 자원의 확보이기 때문이다. 이때 자원요소는 도서관이 확보하려고 하는 것이고 정성적 요소들은 이러한 자원요소를 예측하기 위한 것이라고 할 수 있으며, 따라서 성과요소로서의 자원요소는 정성적 요소보다 시간적으로 더 미래의 요소이다. 전통적으로 자원요소는 이용요소에 대한 영향요소로 인식되었는데, 자원요소를 성과요소로 보기 위해서는 자원요소에 대한 영향요소를 자원 확보 이전 시점의 요소로 간주할 필요가 있다.
본 연구에서는 성과요소로서의 정성적 요소가 통계항목으로서 가지는 한계를 인식하여, 자원요소를 성과요소로 채택하고자 한다. 또한 성과요소로서의 자원요소는 그 영향요소보다 미래의 시점에 나타나는 것이므로 1회의 통계자료만을 대상으로 할 수 없다. 따라서 학술정보통계시스템의 다년간의 대학도서관통계를 대상으로, 자원요소를 성과요소로 설정하여 자원에 영향을 미치는 영향요소를 파악하고자 한다. 이때 분석의 방법은 Kim and Yu(2011) 의 분석방법을 대학도서관 통계의 특성에 따라 조정하여 이용한다.
- 2.3 학술정보통계시스템(rinfo.kr)
한국교육학술정보원(KERIS)은 대학도서관 통계시스템인 R-info를 통해 대학정보공시 항목을 포함한 대학도서관 통계조사 사업을 2008년부터 진행하고 있다( 한국교육학술정보원 2013 ). 이 사업의 참여주체에는 KERIS와 함께 교육부와 대학이 포함된다. KERIS는 조사를 주관하는 기관으로 사업계획을 수립 및 기획하는 역할을 담당하며 학술자원 현황 관리 시스템의 운영, 학술자원 디지털 전송시스템을 구축, 관리한다. 교육부는 사업을 기획하고 지원하며 대학 및 유관기관의 협력 체제를 유지하는 역할을 하고 있다. 마지막으로 대학은 대학도서관의 학술자원이나 해외학술정보를 도입하고 유통하는 주체로 고등교육 이러닝 통계 및 현황 조사에 참여하고 있다.
통계조사대상은 고등교육기관 전체로 일반대학, 교육대학, 산업대학, 전문대학, 방송통신대학, 사이버대학(원격대학), 기술대학, 각종학교(사관학교, 경찰대학 등), 대학원대학이 포함되며, 매년 그 참여대학이 소폭으로 증가하는 추세로, 가장 최근 조사인 2013년에는 420개 대학이 참여하였다( 한국교육학술정보원 2013 ). 통상 매년 6월과 7월에 걸쳐 조사가 시행되며, 자료 입력에 2~3주, 자료의 확인과 수정에 약 2주간의 기간이 소요된다.
조사항목은 크게 7개 영역으로 구성되어 있으며, 이는 기본정보, 소장 및 구독자료, 시설, 인적자원, 예산 및 결산, 이용 및 이용자, 그리고 전자서비스이다. 기본정보에는 대학 및 대학도서관의 기본적인 사항과 함께 분류 및 목록정보가 포함되며, 소장 및 구독자료에는 도서자료, 비도서자료, 전자자료, 연속간행물, 연간 장서증가 및 폐기 사항이 포함된다. 인적자원 영역에는 도서관장의 신분, 직원사항 및 직원교육현황이 포함되며, 이용 및 이용자 영역에는 개관일수 및 개관시간, 봉사대상자 및 이용자 수, 대출현황, 참고서비스 및 상호협력, 이용자교육 관련 항목이 포함된다. 마지막으로 전자서비스영역에는 MARC/메타데이터 구축 건수, 디지털콘텐츠 구축 건수, 그리고 전자서비스 이용현황이 조사된다.
3. 연구방법
본 연구에서 활용된 데이터는 2010년부터 2013년까지 KERIS의 학술정보통계시스템으로 조사된 4년간 대학도서관의 통계결과이다. 대학도서관 통계는 2008년부터 조사되었으나, 2010년부터의 데이터만을 대상으로 한 이유는 다년간의 변화량을 측정하는 경우 각 연도간의 통계항목 변화가 최소화되어야 하나, 2010년 이전에는 통계항목에 대한 변화가 무시할 수 없는 수준으로 나타났기 때문이다. 통계에 포함된 대학의 수는 4년간 391개에서 425개 대학으로 증가하였다. 본 연구의 대상은 4년간 통계에 빠짐없이 포함되어 있는 대학으로 설정하였다. 이는 본 연구의 변수가 각 연도의 통계량이 아니라 인접한 2개 년도간의 변화량이므로, 본 연구에서는 분석대상연도 통계데이터의 충실성이 반드시 요구되기 때문이다. 이에 따라 4년간 빠짐없이 통계에 포함된 382개 대학만을 1차 분석대상으로 선정하였다.
- 3.1 전처리 방법
수집된 데이터는 전처리 과정에서 1) 변수 개발, 2) 외부영향 제거 및 변화율 계산, 3) 극단값 제거의 단계를 거친다. 변수 개발 단계에서는 원 데이터에서 세분된 항목을 합산하거나, 원 데이터의 변수보다 비율 값이 의미 있을 때 비율 값을 산정하여 새로운 변수를 산출하였다. 합산의 예로는 ‘정규 사서직 수’의 경우 원 데이터에서는 남자 정규사서와 여자 정규사서의 수로 나누어져 있으며, 정규 사서직 수가 인력자원의 크기를 나타낸다고 할 때 성별의 구분은 큰 의미가 없는 것으로 판단되어, 이를 합산하여 하나의 변수로 산출하였다. 비율 값의 예로는 형태별 자료 결산액의 경우 결산액 자체는 대학도서관 혹은 소속 대학의 규모에 좌우되는 경우가 많으며, 성과로서의 ‘세입’의 의미보다 조건으로서의 ‘지출’의 의미가 커서, 전체자료 예산액에서의 비율이 더 중요하다고 판단되어, 전체자료 예산 대비 비율값을 산정하여 변수화하였다. 한 예로 ‘국내단행본 결산비’는 국내단행본 결산액을 총 자료예산으로 나눈 값이다.
외부영향 제거는 대학도서관의 통계치에 대학도서관 경영활동 이외에 영향을 미치는 외부요인들을 제거하기 위한 단계이다. 이 단계는 Kim and Yu(2011) 의 방법을 기반으로 하였다. 이 방법에서는 미국 공공도서관 통계를 분석하면서 외부요인 두 가지를 통제하였는데, 이는 규모요인과 사회경제적요인이다. 규모요인은 앞서 양병훈(2008) Weiner(2005) 의 연구에서 언급한 바와 같이 전통적인 성과요인인 이용요인에 가장 큰 영향을 주는 요인이다. 그러나 관종을 막론하고 도서관의 규모는 그 도서관이 속한 지역사회나 대학의 규모에 크게 영향을 받으며, 이는 그 도서관의 경영활동의 결과라 하기 어렵다. 따라서 도서관의 경영성과를 중심으로 한 통계분석에 있어서 규모요인은 통제대상이 되어야 할 것으로 판단되었다.
또한, 공공도서관의 경우 경제적 변동, 지역사회 인구변화 등의 사회경제적 요인은 도서관의 성과에 특히 민감한 영향을 미친다. 대학도서관의 경우 이러한 사회경제적 요인의 영향이 공공도서관만큼 쉽게 영향을 미치지는 않겠으나, 대학교육이나 대학도서관에 대한 정책 변화 등과 같은 요인에는 여전히 민감할 수밖에 없으며, 따라서 통제가 필요한 요인으로 판단되었다.
이 두 가지 통제대상 요인들을 살펴보면, 규모요인은 개별 도서관에게 큰 변동 없이 주어지는 특성을 띤다. 예를 들면 대학도서관에게 대학의 규모, 등록 학생 수 등은 해마다 큰 변동이 있는 변수는 아니며, 어느 정도 고정적인 특성을 띈다. 또한 규모요인은 대학도서관 운영의 효율성에 영향을 줄 수 있는데, 이는 규모가 클수록 개별 단위 서비스에 투입되는 자원이 작아지기 때문이다. 사회경제적 요인은 이와 다르게 특정 시기에 모든 혹은 특정 그룹 도서관에게 공통적으로 적용이 되는 특성이 있다. 다시말하면, 사회경제적 요인은 시기별로 변화하기는 하지만 공간적으로는 다수의 도서관에게 동등하게 영향을 미친다. 따라서 규모요인은 통시적으로 고정적이며, 사회경제적 요인은 공시적으로 고정적이다. 부가하자면 특정 시기의 통계만을 분석하는 경우 규모요인은 분석결과에 영향을 미칠 수 있었지만, 사회경제적 요인은 그리 큰 영향을 미치지 않을 것이며, 실제로 기존의 통계분석 연구는 규모요인을 중요한 영향 요소로 고려하였다.
본 연구에서는 이 두 가지 요인을 모두 통제할 필요가 있다. 따라서 이를 통제하기 위해 Kim and Yu(2011) 의 방법을 차용하여 정규화점수 변화율(z-score change rate, ZCH)을 채택하였다. 정규화점수 변화율은 특정 변수에 대해 전체 도서관의 분포가 있을 때, 그 분포내에서 개별도서관의 위치를 정규화한 점수의 2개년도 간 변화율을 산출한 것으로, 그 방식은 다음과 같다.
PPT Slide
Lager Image
주)
  • 단행본결산비ZCH12= 2011년과 2012년 사이의 단행본 결산비의 z-점수간의 변동비율
  • 단행본결산비Z12= 2012년 단행본 결산비의 z-점수
  • 단행본결산비Z11= 2011년 단행본 결산비의 z-점수
이러한 방법은 분포내의 위치를 순위가 아닌 z-점수를 이용함으로써 변수에 대한 각 도서관의 상대 및 절대수준을 표현할 수 있으며, 변동비율을 통해 변수의 값을 이용함으로써 규모요인과 사회경제적 요인을 모두 일정 정도 통제할 수 있다. 이는 <그림 2> 를 통해 이해할 수 있다.
PPT Slide
Lager Image
전체 도서관 예산의 연간 변화에 따른 A도서관 예산의 위치 변화 (Kim and Yu 2011, 369)
<그림 2> 에서 A라는 도서관의 예산변화는 2005년에서 2007년까지 A 1 → A 2 → A3로 변화하고 있는데 A 1 에서 A 2 로의 변화는 절대 예산액으로 보면 증가한 것으로 보이지만, z-점수를 이용하면 A 1 이 2005년 예산분포 평균의 위에 있고, A 2 는 2006년 예산분포 평균 아래에 있으므로 상대적으로 감소한 것을 알 수 있다. 이때 2005년과 2006년 사이의 전체 분포의 변화를 본 연구에서는 사회경제적 요인에 의한 것으로 본다. 왜냐하면 그 변화가 도서관 전체에 동일하게 관찰되는 것으로 판단되기 때문이다. 즉, 2005년과 2006년 사이의 A도서관 예산증가는 주로 사회경제적 요인에 의한 것이며, 그 도서관 만의 경영성과는 오히려 감소한 것으로 표현한다. 이에 따라 전 단계에서 산출한 모든변수에 대해서 4개년도 사이의 3개의 ZCH 점수를 산출한다.
마지막으로 이러한 최종 ZCH변수들의 기술통계를 사용하여 극단값을 파악하여 제거한다. 이는 기본적으로 변수 간 선형관계에 기반한 분석의 타당성과 신뢰성을 향상시키기 위한 조치이다. 한 변수 분포의 왜도와 첨도가 문제가 될 경우 변수 간 선형관계의 왜곡을 가져올 수 있다. 특히 선형성은 왜도에 민감하게 반응하며, 첨도까지 높을 경우 소수의 극단 값이 변수간 관계를 왜곡할 수 있으므로 극단값을 보이는 도서관은 분석대상에서 제거토록 한다. 그러나 이 경우 분석대상 변수의 수가 많으면 제거할 도서관의 수가 많아져 분석결과의 일반화에 요구되는 표본크기를 유지하지 못할 수 있으므로, 제거할 도서관의 수는 최소한으로 유지되어야 한다. 따라서 본 연구에서는 특히 선형성에 영향을 미치는 왜도가 높은 변수를 대상으로 z-점수가 ±3의 범위를 벗어나는 도서관을 제거토록 하였다. 이러한 전처리 과정을 통해 2010-2011, 2011-2012, 2012-2013년도간의 변화율 변수를 생성하였다.
- 3.2 종속변수로서의 성과요소
성과요소는 투입 및 과정 등 영향요소에 후행하는 요소이다. 본 연구에서 성과요소는 지속가능성에 기반한 확보된 자원으로 설정하였다. 그러나 도서관 통계에서 확보된 자원은 주로 예산 및 인력으로 표현되고, 특정 연도의 통계치에서 확보된 자원은 성과라기보다는 당해연도의 과정 및 결과를 위한 조건의 의미를 띄고 있다. 따라서 본 연구에서는 종속변수인 성과요소는 최근의 결과, 그리고 독립변수인 영향요소는 그 이전의 결과를 이용하였다. 즉, 성과요소는 2012-2013년도의 변화율, 영향요소는 2010-2012년도의 변화율을 채택하였다. 이 때, 2012-2013의 성과가 어느 기간의 영향요소의 영향을 받았는지가 명확하지 않으므로 영향요소 변화율의 기간은 2년간으로 설정하였으며, 이러한 영향요소 변화율의 산출은 2010-2011, 2011-2012연도 간의 변화율의 평균치를 채택하였다.
본 연구에서 확보된 자원으로서의 성과요소는 총 자료예산의 변화 및 정규직 사서 수의 변화를 채택하였다. 성과요소를 예산과 인력으로 나눈 이유는 국내 대학도서관의 특징에 있다. 도서관예산을 크게 자료예산, 인력예산, 그리고 기타 운영예산으로 나누어 볼 때, 대부분 대학의 경우 인력예산은 도서관 예산의 일부로 계상되는 것이 아니라 대학의 인건비의 일부로 계상되므로, 도서관예산을 통해 인력의 변화를 알 수 없기 때문이다. 또한 인력자원에 있어 전체 직원 수 및 사서 수 등을 고려하지 않고 정규직사서의 수만 고려한 이유는, 인력자원에 있어 인력의 단순 크기보다는 정규직사서의 수를 통한 전문성의 확보 및 인정에 의미가 있다고 판단했기 때문이다. 다만 정규직 사서의 수는 개별 대학에서 큰 변화를 보이지 않아 분산의 크기가 적어서 통계분석의 어려움이 있으므로 원활한 통계분석을 위해 ‘(정규직사서 수) × (도서관 직원 대비 정규직사서 비율)’을 산출하여 분산을 확대하였다.
재정적 요소인 자료예산은 세입(revenue)과 지출(expenditure)로 나누어 볼 수 있는데, 이 둘의 크기는 같으나, 그 의미는 서로 차이가 있다. 지출은 예산, 즉 과정 및 결과를 위한 ‘조건’의 의미가 있으며, ‘단행본 예산, 연속간행물 예산’처럼 용처에 따라 구분된다. 지출은 각 용처의 절대예산액도 중요하지만 용처별 상대예산비율도 의미를 가진다. 따라서 본 연구에서는 영향요인으로서의 지출을 각 용처별 총 자료예산에서의 비율로 나타내었으며, 2010-2012년의 변화율을 가지고 독립변수화 하였다.
한편, 세입은 이전의 도서관활동의 ‘성과’로서 미래의 도서관활동을 위해 얼마만큼의 자원을 확보하였는가 하는 의미가 있으며, ‘교비, 연구비’와 같이 그 재원별로 구분된다. 대학도서관의 경우 재원이 다양하지 않으며, 학술정보통계시스템의 대학도서관통계에도 재원에 대한 정보는 없으므로, ‘총 자료예산’을 그 성과변수로 채택하였다. 또한 후행요소이므로 2012-2013의 변화율을 변수로 채택하였다. 참고로, 앞서 이야기한 도서관예산의 세 종류 중 기타운영예산은 성과로 고려하지 않았는데, 이는 대학도서관의 규모와 일정한 관계가 있어 성과를 보여주는 변수로 적합지 않다고 판단했기 때문이다.
이외의 대학도서관 통계를 통해 산출한 변수는 일차적으로 모두 독립변수로 채택하였다. 따라서 2010-2012년도의 변화율을 독립변수로 채택하였다. 일차적인 독립변수는 대학도서관통계의 7개 분야(기본정보, 소장 및 구독자료, 시설, 인적자원, 예산 및 결산, 이용 및 이용자, 전자서비스)에 걸쳐 총 73개이다. 본 연구에서는 우선 이러한 독립변수 간 상관관계를 분석하여 변수 내 요인존재 가능성을 파악하고, 이를 바탕으로 요인분석을 수행하여 독립변수 내의 개념적 요인을 파악한다. 마지막으로 독립변수 및 독립요인과 종속변수 간 회귀분석을 실시하여 지속가능성에 기반한 성과요소와 영향요소 간의 관계를 파악한다.
4. 분석결과
- 4.1 전처리 결과
전처리 시 우선 종속변수가 기입되지 않은 도서관을 제거하였다. 전체 382개 도서관 중 2012년도에는 13개, 2013년도에는 16개 대학의 예산이 ‘0’으로 되어 있었으며, 중복을 고려한 결과 18개 대학이 표본에서 제외되었다. 또한 종속변수에서 극단값을 가진 19개 도서관을 제거하였다. 따라서 최종 표본의 크기는 345이다.
독립변수에서의 극단값을 가진 도서관을 제거할 경우 앞에 언급한 바와 같이 표본의 크기가 분석결과의 일반화를 저해할 만큼 작아질 수 있으므로, 본 연구에서는 극단값을 결측값으로 변환하고, 이러한 결측값은 상관관계가 높은 다른변수들의 값을 이용한 회귀분석을 통해 산출한 값으로 대체하였다. 이 과정은 SPSS V.21의 회귀분석 기반 결측값 대체 기능을 이용하여 산출되었다. 이러한 극단값의 처리를 통해 변수들의 왜도의 범위는 -18.53~18.57에서 -8.98~8.2로 감소되었다. 그러나 아직 왜도의 값이 큰 변수가 존재하여 변수 간 선형성에 문제가 있을 수 있으므로, 변수쌍들의 선형성을 산점도 및 SPSS의 비선형회귀분석을 통해 검토하였다. 산점도를 통해서는 두 변수간의 선형회귀선이 극단값의 영향을 받았는지를 시각적으로 검토하며, 비선형회귀분석을 통해서는 두 변수간 선형회귀의 효과크기와 다양한 비선형 회귀모형들의 효과크기를 비교하였다. 이를 통해 선형회귀의 효과크기보다 큰 비선형 모형을 가진 변수쌍은 선형성에 위배된 변수후보로 하여, 최종 분석 대상에서 제외하였다. 결과적으로 독립변수 중 통계적 분석에 부적합한 31개 변수를 제외하고 42개 변수를 1차적인 분석대상 변수로 선정하였다.
- 4.2 요인분석
표본크기 345인 표본을 42개 독립 변수들의 상관분석을 실시하였다. 상관분석은 독립변수간 상관성을 검토하여 요인의 존재가능성을 확인함에 있다. 상관분석 결과 0.5 이상의 상관성을 보여주는 변수쌍이 3개 쌍, 0.3 이상의 상관성을 보여주는 변수쌍이 3개 쌍이 나타났으며, 대부분은 0.3 이하의 크지 않은 상관성을 보여주었고, 이에 따라 변수의 개수와 비교할 때 다소 많은 수의 요인이 존재함이 예견되었다.
이에 따라 요인분석을 실시하였는데, 요인분석은 독립변수 내의 개념적 요인을 추출하는 목적 이외에도 이러한 요인분석 결과에 공통성(communality)이 낮은 변수를 회귀분석에서 제외시키는 목적도 가진다. 요인분석의 주 방식은 주성분분석(Principal Componant Analysis)을 사용하였으며, 추출된 요인의 효과적 개념화를 위하여 직교회전인 베리맥스(Varimax) 방식을 채택하였다. 요인분석 결과 우선 공통성이 0.5 이하인 14개 변수들이 제거되었고, 최종적으로 28개 변수를 대상으로 고유값(Eigenvalue) 1 이상인 13개 요인이 추출되었다. 이는 예측한 바와 같이 28개 변수를 대상으로 한 추출 요인으로는 비교적 많은 요인이다. 통상 요인의 수는 변수의 수의 1/3 ~ 1/5의 범위가 알맞은 것( Tabachnick and Fidell 2013 )이라고 할 때 적절한 요인의 수는 6~9개 범위에 있어야 하나, 변수 간 낮은 상관성으로 인해 이보다 많은 13개의 요인이 추출되었다. 이는 최초의 76개 변수에서 선형성, 분포의 정규성 및 요인분석의 공통성을 기준으로 한 변수 검토 결과 다수의 변수가 제거된 상태이므로 어느 정도 이해가 되는 결과이기도 하다.
13개의 요인은 각 요인별 적재변수를 이용하여 개념화하였다. 그 결과 13개 요인은 각각 ‘국내기증’, ‘비도서 및 교원’, ‘해외기증’, ‘해외장서’, ‘정보서비스’, ‘해외저널’, ‘대출자1’, ‘국내전자저널’, ‘교육’, ‘대출자2’, ‘온라인’, ‘장서’, ‘DB’으로 명명되었다. 요인분석 결과는 <표 1> 과 같다. <표 1> 에서 하나 이상의 요인에 적재된 변수 및 그 적재된 요인에 대해서는 요인적재값을 밑줄로 표시하였다. 먼저 ‘학부생 대출자’변수는 ‘대출자1’요인에 포함되지만, 국내 DB 패키지와 해외 상용DB이용의 변수가 포함된 ‘DB’요인에도 .445로 교차적재(cross-loading)되었는데, 이것은 학부생 대출자의 이용이 DB와 상관관계가 존재하기 때문인 것으로 판단된다. 또한 ‘원생 대출자’는 ‘학부생 대출자’와 ‘대출자1’ 요인으로 묶여 있지만, 교차 적재된 다른 요인을 살펴보면 ‘교원 대출자’가 포함된 요인에 .394, ‘기타 대출자’가 포함된 요인에 .330으로 나타났다. 이를 통해 볼 때, 대학원생은 대학 구성원중에서 학부생의 학습목적이용과 교원의 연구목적이용, 기타의 목적이용을 모두 아우르는, 가장 다양한 이용 패턴을 보여주는 집단인 것으로 판단된다. 또 다른 변수인 ‘해외상용DB이용’은 해외DB이용건수를 뜻하며 국내DB패키지와 하나의 요인으로 수렴되지만, 참고서비스 요인인 ‘REF’에도 교차적재되어 있다. 이는 해외DB서비스 이용 관련 문의가 참고서비스에도 일정하게 영향을 미친 것으로 판단된다.
독립변수 28개를 대상으로 한 요인분석 결과
PPT Slide
Lager Image
주) 변수명 내의 영문기호: D(국내 domestic), I(해외 International), REF(정보서비스 reference service), EDU(교육 education), ON(온라인 online)
참고로 대출과 관련해서 ‘비도서 교원’, ‘대출자1’, ‘대출자2’ 등 세 가지 요인이 추출되었는데, 이는 대학도서관의 자료이용이 교원을 중심으로 한 연구지원, 학부생 및 대학원생을 중심으로 한 교육지원, 그리고 기타 목적으로 구분되었다는 의미이며, 대학도서관 장서의 다양한 목적이 드러난 결과라 할 수 있다. 이는 대학도서관이 학교, 전문, 공공도서관의 성격을 모두 띠고 있다( Kim and Choi 2012 )는 연구결과와 일맥상통하는 결과이다.
- 4.3 회귀분석
요인분석 결과 공통성이 확보된 28개의 독립변수를 대상으로 13개의 요인이 추출되었으며, 이들 13개 요인의 요인값은 새로운 변수로 산출되었다. 따라서 회귀분석을 위한 독립변수는 최초 73개 변수의 집합, 신뢰성과 공통성이 확보된 28개 변수의 집합, 그리고 요인분석을 통해 산출된 13개 요인변수의 집합 등 3개의 집단으로 정리되었다. 종속변수는, 앞서 언급한 바와 같이, 지속가능성에 기반한 확보된 자원으로, 총 자료예산의 변화 및 전문 사서 인력의 변화 등 2개의 변수가 산출되었다. 독립변수는 선행요소로서 2010-2012년간의 변화이며, 종속변수는 후행요소로서 2012-2013년간의 변화이다. 이에 따라 각 종속변수별로 3개의 독립변수집단에 대한 각각의 회귀분석을 하여 총 6회의 회귀분석이 진행되었다.
각각의 회귀분석 시 중점관심사항은 두 가지로서 1) 각 독립변수 집단이 종속변수에 대해 어느 만큼의 효과크기를 가지는가, 즉 현재의 대학도서관통계 항목으로 성과에 대한 예측 및 설명력은 어느 정도인가라는 점과 함께, 2) 각종속변수를 설명하는 주요 독립변수는 무엇인가, 즉 각 성과에 영향을 미치는 도서관의 기능요소는 무엇인가 이다. 이러한 두 가지 사항을 파악하기 위해 두 가지의 독립변수 투입방식을 채택하였다. 효과크기를 위해서는 모든 독립변수를 동시에 투입하는 엔터방식을, 주요 독립변수를 파악하기 위해서는 변수 투입 시 유의한 영향을 미친 변수만을 고려하는 단계선택방식을 채택하였다. 즉, 각각의 회귀분석 시 엔터(enter)방식과 단계선택(stepwise)방식의 두가지 변수투입방식을 이용한 결과를 얻었다. 참고로 모든 회귀분석 결과는 p <.05의 유의수준에서 유의하였다.
먼저 총 자료예산을 종속변수로 한 결과는 다음과 같다. 전체 73개 독립변수를 투입한 결과 ( F (73, 271)=1.869, p <.05) 효과크기인 R2 은 .335 로 나타났다. 단계선택방식에 의한 결과는 F (8, 336)=9.703, p <.05로 유의하였으며 효과크기인 R2 은 .188로, 8개의 독립변수가 유의한 영향을 준 변수로 채택되었으며, 그 모형은 다음과 같다.
Y = − .054 +.214(학부생대출자) − .097(학기 개관일) + .086(해외연간물결산비) + .080(해외전자저널종수) + .123(해외연간물) + .120(비도서) − .069(국내장서종증가) − .088(원생대출자) 주) Y는 총 자료예산
다음은 28개 신뢰성이 확보된 독립변수를 투입한 결과( F (28, 316)=2.876, p <.05) R2 은 .203으로 나타났으며, 단계선택 결과( F (2, 342)=18.650, p <.05, R2 =.098) 2개의 독립변수가 아래의 모형과 같이 유의한 영향을 준 변수로 채택되었다.
Y = − .073 +.216(학부생대출자) + .087(전화참고서비스) 주) Y는 총 자료예산
마지막으로 13개 요인값을 독립변수로한 결과( F (13, 331)=1.595, p <.05) 효과크기 R2 은 .059로 나타났으며, 단계선택 결과( F (2, 342)=7.419, p <.05, R2 =.042) 2개의 요인이 아래의 모형과 같이 유의한 영향을 준 요인변수로 채택되었다.
Y = −.017 +.041(대출자1) + .037( DB ) 주) Y는 총 자료예산
이러한 결과의 의미를 해석하기 전에 다시 언급되어야 할 사항은 모든 변수가 상태를 나타내는 한 해의 수치가 아니라 세 해 간의 변화율이며, 이러한 변화율 분포내의 표준점수라는 것이다. 예를 들어 ‘학부생대출자’가 ‘총 자료예산’에 양의 영향을 미쳤다면 2010-2012년간의 학부생 대출자의 수가 2012-2013년간의 총 자료예산과 양의 관계에 있다는 뜻이다. 이를 염두에 두고 총 자료예산에 영향을 미치는 변수를 살펴보면 학부생대출자, 전화참고서비스, DB로 대표되는 이용요인, 주로 연구지원 목적인 관련 변수들(해외연간물종수, 해외연간물결산비, 해외전자저널종수, DB요인)과, 사서와의 1:1서비스인 전화참고서비스 등이 영향을 미치는 것으로 나타났다. 즉, 이용요인, 연구지원, 사서요소가 주요한 영향요소로 나타났다.
인력자원을 종속변수로 한 분석에서 종속변수는 언급한 바와 같이 전체 도서관직원 중 정규직사서의 비율과 정규직 사서 수의 곱으로 산출하였으며, 우선 전체 73개 독립변수를 투입한 결과( F (73, 271)=2.874, p <.05) 효과크기인 R2 은 .475로 나타났다. 단계선택방식에 의한 결과는 F (8, 336)=15.974, p <.05로 유의하였으며 효과크기인 R2 은 .306로, 8개의 독립변수가 유의한 영향을 준 변수로 채택되었으며, 그 모형은 다음과 같다.
Y = 4.189 − 18.751(해외상용 DB 이용) + 18.297(해외단행본) + 15.077(자유열람석) − 12.681(전화참고서비스) + 8.489(해외장서종증가) − 11.657(기타봉사대상자) + 11.999(이용자교육1회참여자) − 9.531(해외전자책종수) 주) Y는 인력자원 ((정규직사서 수) × (도서관 직원 대비 정규직사서 비율))
다음은 28개 신뢰성이 확보된 독립변수를 투입한 결과( F (28, 316)=4.608, p <.05) R2 은 .288으로 나타났으며, 단계선택 결과( F (5, 339)=18.409, p <.05, R2 =.235) 5개의 독립변수가 아래의 모형과 같이 유의한 영향을 준 변수로 채택되었다.
Y = 4.329 − 22.681(해외상용 DB 이용) + 26.363(해외단행본) − 13.404(전화참고서비스) + 8.947(해외장서종증가) − 6.055(국내장서종증가) 주) Y는 인력자원 ((정규직사서 수) × (도서관 직원 대비 정규직사서 비율))
마지막으로 13개 요인값을 독립변수로 한 결과( F (13, 331)=4.600, p <.05) 효과크기 R2 은 .170로 나타났으며, 단계선택 결과( F (4, 340)=13.578, p <.05, R2 =.153) 4개의 요인이 아래의 모형과 같이 유의한 영향을 준 요인변수로 채택되었다.
Y = .682 − 7.381(정보서비스) − 4.323( DB ) + 3.468(장서) − 2.866(온라인) 주) Y는 인력자원 ((정규직사서 수) × (도서관 직원 대비 정규직사서 비율))
세 가지 결과를 살펴보면 해외단행본 및 장서 관련 변수, 도서관 규모 변수, 그리고 이용자교육 성과 관련 변수가 인력에 양의 영향을 미치는 것으로 볼 수 있으나, 장서예산과는 달리 유의한 영향변수 간에 뚜렷한 추세는 나타나지 않는다. 이는 유의한 영향을 준 변수들과 상관관계에 있는 다른 변수가 모형 개발에서 제거되었거나, 변수들이 가지는 통계적 특성에 기인하는 것으로 판단된다. 이러한 해석에 있어서의 제한점 및 고려사항은 다음 절에서 자세히 논하도록 한다.
- 4.4 분석결과에 대한 논의
- 4.4.1 극단값(out-lier)의 문제
분석결과를 검토하기에 앞서 먼저 논의되어야 할 사항은 극단값의 존재이다. 본 연구에서 극단값은 항목 값의 z-점수가 ±3의 범위를 벗어나는 것으로 정의하였는데, 정규분포에서 모집단 및 표본의 99%가 포함되는 구간이 약 ±2.5의 범위이므로, 본 연구의 극단값 정의는 상당히 제한적이라 할 수 있으며, 따라서 일반적으로는 극단값의 발생이 극히 적어야 하는 상황이었다. 그러나 변수별로 10개 이내의 극단값이 발생하여 총 75개의 변수를 모두 고려할 때 극단값을 보인 도서관을 제거할 수 없었다. 즉, 극단값을 가진 도서관을 모두 제거하면 표본크기가 너무 작아져 요인분석 및 회귀분석을 하기 어려운 상황이었기 때문이다. 이러한 상황을 회피하기 위해 본 연구에서는 극단값을 결측값으로 상정하고, 결측값에 대한 관련 변수들의 회귀분석 방식을 이용한 대체값을 부여하였다.
이러한 극단값의 문제는 변수의 개수가 많은것에도 어느 정도 원인이 있다. 예를 들면, 변수의 수가 많아 변수 당 극단값이 3개 도서관에서만 나타난다고 하여도, 극단값을 가진 도서관이 중복되지 않을 경우, 산술적으로 225개 (3×75) 도서관이 극단값을 가져 표본에서 제외되게 된다. 또한 극단값의 발생은 도서관통계에서 일반적으로 나타나는 높은 왜도와 첨도에도 일정 정도 원인이 있다. 즉, 높은 첨도로 인해 분포가 특정 값에 집중되어 z-점수의 단위값이 매우 낮게 형성될 때 약간의 차이만으로도 극단값으로 나타날 수 있다.
그러나, 본 연구에서 변수들은 기본적으로 변화율로서 인접한 2개 년도간의 항목 값의 z-점수의 변화율을 채택하였다. 따라서 이러한 변수의 성격에 비추어 극단값은 2개 년도간에 통계항목 수치의 급격한 변화를 의미한다. 본 연구 대상인 대학도서관통계에서 자본예산과 같이 몇 년에 한 번씩 배정이 되는 변수는 없다. 따라서 2개 년도간의 급격한 변화를 가능케 한 요인을 검토하지 않을 수 없다.
가장 일반적으로 고려할 수 있는 요인으로는 통계치 보고에 있어 불성실한 보고이다. 그러나 이는 본 연구의 범위에서 확인할 수 없는 사항이다. 두 번째로 검토 가능한 사항은 통계수집시 제공된 변수의 조작적 정의가 불분명하여 두 가지 이상으로 해석되는 경우가 있을 수 있다. 예를 들면 보유 장서량의 경우 ‘종’을 단위로 할 것인지, ‘책’을 단위로 할 것인지를 명확히 정의하지 않으면 한 도서관에서 어떤 해는 종을 단위로 보고하고, 다른 해에는 책을 단위로 보고하여 그 변화가 급격해 질 수 있다. 이 또한 개별 도서관과의 접촉을 통하여 확인할 수 있는 사항으로 본 연구의 범위에서 검토되기는 어려우나, 그럼에도 불구하고 이를 비중있게 고려할 필요가 있다.
한편, 첨도와 왜도의 문제를 해결하는 또 다른 방법은 원 데이터를 변형하는 방법( Kim and Yu 2011 )이 있는데, 이 방법은 개별 변수의 분포를 정규화 하는 데에는 도움이 되나, 분석결과를 해석하는 데에 어려움이 따르고, 기본적으로 데이터의 문제로 인한 극단값을 그대로 수용한 분석의 타당성 또한 검토할 필요가 있다. 본 연구에서는 극단값이 앞서 이야기한 두가지 요인으로 인한 것이라고 판단하였으며, 따라서 극단값의 제거 혹은 수정의 방법을 취하였다. 종합하면 극단값의 존재로 인해 변수 분포의 문제와 이의 해석에 대한 문제가 나타날 수 있으며, 특히 변화율의 극단값은 통계 보고의 문제에 원인이 있을 수 있으므로 통계항목의 조작적 정의의 명료화, 통계보고체계 내에서 보고된 통계치 검토과정의 강화 등의 개선이 요구된다.
- 4.4.2 변수 간의 낮은 상관성
요인분석 결과를 살펴보면 최종 28개의 변수 를 대상으로 13개의 요인을 추출하였다. 73개의 독립변수 중 28개의 변수만을 대상으로 한 이유는 변수의 분포 특성과 추출 요인을 기반으로 한 공통성을 기반으로 적절치 못한 변수를 제거해 나아갔기 때문이다. 또한 변수의 개수를 고려하였을 때 일반적인 경우 보다 많은 요인이 추출되었는데, 이는 변수간의 상관성이 예상보다 낮았기 때문이다. 변수간의 상관성이 낮았다는 점은 일반적인 도서관통계와는 다소 차이가 나는 결과인데, 일반적으로 도서관통계는 변수간에 높은 상관성을 보여주기 때문이다. 이는 기존의 도서관 통계가 도서관서비스 대상인구, 예산, 좌석수, 인력 등에서 규모요인이 큰 비중을 차지하기 때문인 것으로 판단된다.
본 연구에서 변수간의 낮은 상관성은 우선 변수가 각 통계 항목의 z-점수의 연도 간 변화율이라는 데에서 그 원인을 찾을 수 있다. 그러나 통계항목이 기존의 통계처럼 규모요인이 많은 비중을 차지하였다면 항목의 변화율 또한 서로 상관을 가질 것이다. 따라서 낮은 상관성에 대한 더 중요한 원인은 학술정보통계시스템의 대학도서관 통계가 기존의 통계와는 달리 다양한 성격의 항목을 포함하고 있다는 점이라고 할 것이다. 일례로 2007년 한국 도서관연감의 공공도서관 통계를 분석한 연구( 김기영, 이재윤, 오경은 2008 )에서 통계항목의 수는 39개이나, 본 연구에서 이용된 변수의 수는 총 75개이며, 이는 모든 통계항목을 이용한 것이 아니라 선택적으로 이용하였다. 따라서, 통계항목의 수가 다양성과 동일하지는 않지만 어느 정도 연관이 있다고 본다면, 대학도서관통계는 대학도서관의 다양한 특성을 포함하고 있는 것으로 보인다.
이러한 다양성은 대체로 두 가지 기제를 통해 획득되었다. 그 하나는 항목의 상세성이다. 상세성은 하나의 통계항목을 이루는 요소별 통계치를 조사함을 의미한다. 예를 들면 인력자원의 경우 정규직 유무, 사서자격증 소지 유무, 그리고 성별에 따른 8가지의 항목으로 구성되어 통계 분석 시 선택적으로 사용할 수 있도록 하였다( 한국교육학술정보원 2013 ). 두 번째 기제는 새로운 항목으로, 기존 통계체계에서는 볼 수 없었던 다양한 항목이 포함되어 있다. 예를 들면 재정측면에서 예산 뿐 아니라 결산이 포함되어 있으며, 대출책수에서도 ‘연장책수’가 추가되어 있다. 물론 극단값의 존재와 같은 분포문제의 낮은 상관성에 대한 영향도 무시할 수 없으나, 대학도서관 통계의 다양한 항목 구성이 낮은 상관성에 의미 있는 영향을 미치는 것으로 판단된다.
- 4.4.3 세 가지의 회귀분석 결과
회귀분석에서 본 연구는 세 가지의 독립변수집단(73개 전체 변수, 28개 신뢰성이 확보된 변수, 그리고 13개 요인변수)에 대해, 모든 변수를 고려한 엔터방식의 결과 및 유의한 영향을 미치는 변수만 고려한 단계선택 결과를 산출하였다. 이러한 결과에 있어 먼저 고려할 사항은 어떠한 결과가 가장 의미 있는가 하는 점이다. 회귀분석이 기본적으로는 실제상황에서의 예측을 위한 분석이므로 효과크기는 언제나 중요한 판단기준이 되지만, 효과크기는 기본적으로 독립변수의 수가 많을수록 조금씩 증가되는 특성을 가진다. 또한 이러한 회귀모형에서 그 영향이 유의하지 않은 독립변수의 존재는 실제로 무선효과(random effect)가 포함된 것으로서, 실제 예측에 효과적이지 못하다. 따라서 엔터방식의 결과보다는 단계선택방식의 결과를 더 중점적으로 살펴보아야 할 것으로 판단된다.
두 번째로 고려할 사항은 모형의 신뢰성이다. 이를 위해 모형에 포함된 변수들이 지닌 분포특성 등의 신뢰성을 고려하여야 한다. 73개 변수 모형은 효과크기가 크게 나타나지만 다수의 변수가 신뢰성 및 공통성에 있어 문제를 내포한 모형이라 할 수 있다. 따라서 28개의 모형 및 13개 요인변수 모형이 신뢰성을 고려하였을때 더 의미 있는 모형으로 판단된다.
마지막으로 28개 실제 변수를 포함한 모형과 13개 요인변수를 포함한 모형 중 어느 것이 더 의미 있는가에 대한 문제는 실제변수의 모형과 판단할 수 있을 것이다. 실제변수의 모형은 실제의 예측과 의사결정의 문제를 다루기 위한 모형이며, 요인변수 모형은 도서관경영에 있어 이론적인 고려를 할 때 유용한 이론적인 모형이다. 따라서 모형 채택의 목적에 따라 선택적으로 해석되어야 할 것이다. 다만 본 연구의 요인분석에서 요인 당 적재변수의 수가 작아 각 요인의 의미가 명료하지 못한 부분이 있으므로 28개 변수모형이 좀 더 의미 있는 것으로 판단된다.
- 4.5 회귀모형의 효과크기
마지막으로 언급되어야 할 사항은 다양한 독립변수의 고려에도 불구하고 나타난 자원 확보를 의미하는 종속변수에 대한 독립변수 집단들의 낮은 효과크기이다. 이는 기본적으로 통계항목에 포함된 독립변수들이, 그 다양성에도 불구하고, 도서관이 자원을 확보하는 데에 영향을 미치는 변수를 포함하고 있지 않다는 의미이다. 즉, 대학도서관 통계는 지속가능성 및 자원 확보의 측면에서 충분한 항목을 포함하고 있지 못하다고 결론지을 수 있다.
물론 통계분석의 특성상 분석결과로 새로운 통계항목을 제안하기는 어렵다. 그러나 대학도서관통계의 구성을 살펴보면 새로운 통계항목에 대한 방향을 제안할 수는 있다. 새로운 항목을 많이 포함하였지만 대학도서관통계는 기능적인 접근이 중심이 된다. 이는 항목구성이 크게 기본정보, 소장 및 구독자료, 시설, 인적자원, 예산 및 결산, 이용 및 이용자, 그리고 전자서비스라는 기능적 요소로 이루어져 있는 것을 통해 알 수 있다. 한편 최근 연구에서의 도서관 성과는 만족도, 품질, 충성도 등의 인식 및 관계 중심 경향이 뚜렷하며, 이를 통해 도서관의 자원 확보라는 문제를 해결하려는 움직임이 강하다. 따라서 대학도서관 통계도 이러한 인식 및 관계와 연관이 있는 통계항목을 개발할 필요가 있을 것으로 판단된다.
5. 결 론
본 연구에서는 2010-2013년간의 대학도서관 통계를 대상으로, 지속가능성에 기반한 예산과 인력 등 확보된 경영자원을 종속변수로 설정하여 통계적인 분석을 시도하였다. 이를 위해 우선 후행요소로서의 성과요소 및 선행요소로서의 영향요소를 고려하여 예산 및 인력과 같은 후행요소에 대해서는 최근 통계결과, 이외의 독립변수가 되는 통계항목들은 이전의 통계결과를 사용하였으며, 규모 및 사회경제적 외부변인의 제거를 위해 인접년도 간 변화율을 변수로 산출하였다. 결과적으로 2012-2013년간의 예산 및 인력의 변화율을 종속변수로, 2010-2012년간의 기타 통계항목 수치의 변화율을 독립변수로 설정하였다. 참고로 인력에서는 인력의 크기 뿐 아니라 전문성을 고려한 지수를 개발하였다.
이렇게 개발된 변수로 요인분석을 실시하여 13개 요인을 도출하였으며, 73개 전체 독립변수, 28개 신뢰성있는 독립변수, 13개 요인변수 등 3개 변수군을 사용한 회귀분석을 실시하였다. 회귀분석 시에는 전체 변수를 동시에 고려하는 엔터방식과, 유의한 변수의 효과크기에 따라 모형에 투입하는 단계선택 방식이 채택되었다. 이를 통해 현행 대학도서관 통계의 항목들이 대학도서관의 경영자원 확보에 일정한 영향이 있음을 검증하였다. 예산에 대한 28개 변수모형의 단계선택방식 결과는 F (2, 342)=18.650, p <.05, R2 =.098이며, 모형에 포함된 변수는 두개로서 학부생대출자와 전화참고서비스였다. 그리고 인력에 대한 28개 변수 모형의 단계선택 결과는 F (5, 339)=18.409, p <.05, R2 =.235이며, 5개의 독립변수(해외상용DB이용, 해외단행본, 전화참고서비스, 해외장서 종 증가, 국내장서 종 증가)가 모형에 포함되었다.
이러한 결과를 기반으로 대학도서관통계의 특성에 대하여 논의하였는데, 중점 논의사항은 극단값의 존재를 통한 조작적 정의 및 통계보고 사후검토의 문제, 변수 간 낮은 상관성에 기반한 대학도서관통계 항목의 다양성, 낮은 효과크기의 극복을 위한 인식 및 관계 중심 변수의 개발 제안이다.
본 연구는 대학도서관 통계 뿐 아니라 국내도서관 통계를 대상으로 한 초기의 통계분석이라 할 수 있다. 특히 지속가능성에 기반한 경영자원 확보 요소를 종속변수로 한 거의 최초의 국내연구라 할 수 있다. 따라서 본 연구는 그 주안점을 외부변인의 제거 및 지속가능성 기반 통계분석을 위한 전처리과정 개발 및 대학도서관통계에 대한 탐색적 분석에 두고 있으며, 대학도서관의 자원 확보에 어떠한 요소가 영향을 미치는지를 확인하려는 목적보다는 이러한 확인을 위해서 어떠한 점들이 개선되어야 하는가에 중점을 두고 있다. 그러므로 대학도서관통계 수집체계의 개선 뿐 아니라, 변수의 개발 및 전처리 과정에서의 미비점 및 개선점에 대한 문헌정보학계의 관심의 증대 및 논의의 확대에 기여하기 위한 기반적 연구의 성격을 띠고 있으며, 본 연구에 대한 비판적인 관심과 다양한 논의를 통해 통계체계의 개선과 나아가 대학도서관의 평가, 대학도서관 경영에 대한 이해를 심화시키고 확장하는 데에 기여할 수 있기를 희망한다.
References
김 기영 , 이 재윤 , 오 경은 2008 한국 공공도서관 통계의 탐색적 분석 상명대학교 서울 『제15회 한국정보관리학회 학술대회 논문집』, 제15회 한국정보관리학회 학술대회 2008년 8월 20일 111 - 116
김 기영 , 최 상기 , 김 주섭 , 안 혜림 2014 대학도서관평가 표준지표 개발에 관한 연구 『한국문헌정보학회지』 48 (3) 303 - 334
김 선애 2008 대학도서관의 이용자만족도와 충성도에 관한 연구 - K대학도서관의 이용자를 대상으로 - 『한국문헌정보학회지』 42 (3) 281 - 299
도서관법. 법률 제11310호, 2012.2.27. 일부개정
백 항기 , 이 은철 2000 대학도서관 서비스 질의 구성요인 분석 『한국문헌정보학회지』 34 (4) 5 - 26
손 정표 1994 대학도서관 직원규모에 영향을 미치는 요인에 관한 연구 『한국도서관·정보학회지』 21 159 - 193
양 병훈 2008 서울 소재 대학도서관 운영성과의 결정요인에 관한 실증연구: 대출성과를 중심으로 『정보관리연구』 39 (2) 163 - 184
윤 희윤 2001 국내 대학도서관의 평가모형 개발에 관한 연구 『한국도서관·정보학회지』 32 (4) 45 - 75
2013 『최신 문헌정보학의 이해』 개정증보2판 한국도서관협회 서울
2013 『2013 대학도서관 통계분석 자료집』 한국교육학술정보원 대구
Childers Thomas. , Melvin J. Voigt 1975 In Advances in Librarianship Academic Press New York “Statistics that Describe Libraries and Library Services.” 107 - 122
Covey Denise Troll. 2002 Council on Library and Information Resources Washington, DC http://www.clir.org/pubs/reports/pub105/pub105.pdf
Crawford John 2000 Evaluation of Library and Information Services 2nd Ed Aslib London, UK
Crawford John 2006 The Culture of Evaluation in Library and Information Services Chandos Oxford, UK
Davis Denise M. 2007 “The Status of Public Library Funding, 2003. 2005: Impact of Local Operating Revenue Fluctuation.” Public Library Quarterly 25 (1.2) 5 - 26
Hernon Peter , Robert D. E. , Hernon Peter , Dugan Robert E. , Schwartz Candy 2006 “Future Directions in Outcomes Assessment.” In Revisiting Outcomes Assessment in Higher Education Libraries Unlimited Westport, CT 367 - 396
Hiller Steve , Self. James 2004 “From Measurement to Management: Using Data Wisely for Planning and Decision-making.” Library Trends 53 (1) 129 - 155
Holton Barbara , Vaden Kaleen , Jeffrey Williams 2006 Academic Libraries: 2004: First Look
Ismail Junaida , Musa Aishah , Ladisma Mahadir , Shari Sharunizam 2011 “The Performance of Academic Libraries: A Case Study at Research University (Rus) in Malaysia.” Global Journal of Human Social Science 11 (8) 19 - 23
2013 ISO 2789:2013 Information and Documentation: International Library Statistics ISO Copyright Office Geneva, Switzerland
Kim Giyeong , Yu. So Young 2011 “An Exploratory Study to Develop an Alternative Model of Public Library Management using the Institute of Museum and Library Services’ Public Library Statistics.” The Library Quarterly 81 (4) 359 - 382
Kim Giyeong , Choi Yoonhee 2012 “A Suggestion of Criteria for Categorizing Libraries into Types: Linking between Library and Information.” Journal of the Korean Society for information Management 29 (1) 395 - 404
Lancaster F. Wilfrid. 1988 If You Want to Evaluate Your Library University of Illinois Champaign, IL
Liu Yan Quan , Zweizig Douglas L. 2001 “The Use of National Public Library Statistics by Public Library Directors.” Library Quarterly 71 (4) 467 - 497
Martensen Anne , Lars Grønholdt 2003 “Improving Library Users’ Perceived Quality, Satisfaction and Loyalty: An Integrated Measurement and Management System.” The Journal of Academic Librarianship 29 (3) 140 - 147
Molyneux Robert E. 2008 “Squeeze Play: Public Library Circulation and Budget Trends, FY1992. FY2004.” Public Library Quarterly 26 (3/4) 101 - 107
Nelson James A. 2006 “Marketing and Advocacy: Collaboration in Principle and Practice.” Public Library Quarterly 25 (1/2) 117 - 135
Tabachnick Barbara G. , Fidell Linda S. 2013 Using Multivariate Statistics 6th Ed. International Edition Pearson Education, Inc. Boston, MA
Weiner Sharon A. 2005 “Library Quality and Impact: Is there a Relationship between New Measures and Traditional Measures?” The Journal of Academic Librarianship 31 (5) 432 - 437