Advanced
A Study Comparing Public and Medical Librarians’ Perceptions of Evaluation Guidelines for Health & Medical Information
A Study Comparing Public and Medical Librarians’ Perceptions of Evaluation Guidelines for Health & Medical Information
Journal of the Korean BIBLIA Society for library and Information Science. 2014. Mar, 25(1): 107-129
Copyright © 2014, Korean Biblia Society for Library and Information Science
  • Received : February 02, 2014
  • Accepted : March 03, 2014
  • Published : March 30, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
영 희 노
건국대학교 문헌정보학과 교수(irs4u@kku.ac.kr)
Abstract
신뢰성 있고 품질 높은 검증된 정보원을 제공하는 것은 앞으로 사서의 기본 능력 중의 하나가 될 것이다. 따라서 본 연구에서는 건강관련 정보원의 평가기준을 도서관 사서들의 인식조사를 기반으로 제안하고자 하였다. 그 결과 총 21개의 평가항목이 선정되었으며, 그 중 건강/의학 관련 정보내용 그룹에는 정보의 정확성, 정보의 최신성, 정보의 의학 전문성, 정기적 업데이트, 이용자의 입장을 고려한 정보, 정보의 객관성, 이해하기 쉬운 정보, 평이한 언어로 제공되는 정보, 정보의 완전성, 주제와의 관련성, 정보의 검증 가능성, 정보 출처 명시, 주의사항 및 경고를 명시 등 총 13개의 항목이 선정되었다. 건강/의학정보 제공원 그룹에는 건강정보 제공목적의 명확성, 건강정보에 대한 책임성 명시, 개인정보 보호정책 준수, 건강정보 제공기관의 공정성, 건강정보 제공기관의 윤리성 등 5개의 항목이 선정되었으며, 건강/의학정보 웹사이트 디자인 그룹에는 건강정보 접근의 용이성, 건강정보 검색기능 제공, 웹사이트 사용의 편리성, 질의 응답 서비스 제공 등 4개의 항목이 선정되었다.
Keywords
1. 서 론
공공도서관이 소비자건강정보(Consumer Health Information, CHI)서비스를 제공하기 위해 가장 먼저 갖추어야 할 것은 CHI 관련 장서이고, CHI 관련 웹사이트 링크이며, CHI 관련 데이터베이스이자 시스템이다( Horne 1999 ; Kovacs 2003 : Workman and Stoddart 2007 ). CHI 관련 핵심 장서리스트를 제공하거나, CHI를 주제분야별로 구분하여 각 분야별 참고정보원리스트를 제공할 수도 있다. 실제로 현재 Click-on-Health, CRD를 포함하여 수많은 건강관련정보원 및 시스템이 구축되어 서비스 중이다. 여기에 포함될 정보자료에 대한 평가기준은 최신성, 정확성, 신뢰성 등이 있으며 평가기준은 학자나 기관에 따라 약간의 차이를 보이고 있다( Rees 1982 ; Burkell and Campbell 2005 ; Li 2007 ).
Burkell과 Campbell(2005) 은 CHI 관련 온라인정보원을 구축하기 위한 특정 평가기준을 개발․적용하여 분석하였으며, 그 결과 조사된 대부분의 사이트의 내용이 100% 정확하지 않으며, 의사결정을 지원할 정도로 충분히 상세하지 않다고 평가하였다. 따라서 상세하고 표준화된 정보자원에 대한 기술을 위해 메타데이터가 개발되어야 하고, 건강관련 의사결정을 할때 실제적으로 도움이 될 표준 개발이 필요하다 고 제안하였다.
Jadad와 Gagliardi 는 인터넷 건강정보웹사이트를 평가하는 도구들이 수 없이 많이 있지만 조사된 98개의 평가도구 중 90% 정도가 평가수치에 대한 관찰자 내부의 신뢰도와 구성 타당도가 낮다고 평가하였다. 즉 완전하게 개발되지 않은 평가도구가 인터넷에서의 건강정보를 평가하거나 관심을 끄는데 사용되어 왔다고 비판하면서 앞으로 보다 타당성 있는 평가 도구 및 평가시스템의 개발을 주장하고 있다 ( Jadad and Gagliardi 1998 ; Gagliardi and Jadad 2002 ).
건강정보에 대한 관심증가 및 노령인구의 증가는 도서관, 특히 공공도서관에서의 건강정보 서비스에 대한 요구증가로 이어지고 있기 때문에, 신뢰성 있고 품질 높은 검증된 정보원을 제공하는 것은 앞으로 사서의 기본 능력 중의 하나가 될 것이다. 따라서 많은 연구자들이 주장 하고 있듯이 검증된 평가기준을 개발해야 하며, 특히 정보원 평가기준을 적용하여 정보자료 수집 업무 및 수집하고 있는 전문사서들이 건강정보원에 대한 지식도 갖추어 건강정보원 평가기준의 개발에도 참여하여야 할 것이다.
본 연구에서는 건강관련 정보원의 평가기준을 도서관 사서들의 인식조사를 기반으로 제안 하고자 하였다. 건강정보서비스를 상대적으로 많이 제공하고 있을 의학도서관 사서와 상대적으로 적게 서비스하고 있을 공공도서관 사서의 인식을 비교하고자 한다.
본 연구의 결과에서 제안된 건강관련 정보원 평가기준은 이후 국내 연구자 및 도서관 사서가 건강관련 정보원을 도서관에 구축하여 서비스하고자 할 때 활용될 수 있을 것으로 보인다.
2. 선행연구
건강정보원의 품질을 평가하는 것은 건강정보를 구축하는 것보다 중요하다. 이는 건강과 직접적인 관련이 있는 것으로 정확한 정보는 유익하지만 부정확한 정보는 심각한 해를 끼칠 수 있기 때문이다( Marshall, Sewards, and Dilworth 2001 ).
국외의 경우 건강정보의 품질을 결정하기 위한 평가기준이 기관차원에서 개발되어 적용되고 있으나 국내의 경우에는 문헌정보학계 및 정보원제공기관 등에서 진행되기 보다는 주로 보건의학 분야에서만 이루어지고 있다. 따라서 의학도서관이나 공공도서관과 같은 정보제공 기관의 입장이나 이러한 기관의 이용자들의 입장을 고려하고 있는지는 의문이다. 도서관계에서 사서와 이용자의 의견을 기반으로 한 정보원평가기준이 개발되고 이를 적극적으로 활용 하여 품질 높은 정보원을 구축해야 할 것이다.
그러나 건강정보원의 평가기준은 건강정보의 특성이나 중요성에 대한 인식 및 지식이 있어야 하기 때문에 보건의학 분야의 전문가들에 의해 개발된 평가기준도 깊이 있게 분석해야 할 것으로 보인다. 보건의학 분야에서의 연구를 먼저 살펴보면, 조경원, 감신, 채영문(2007) 은 인터넷 건강정보의 신뢰성을 측정하기 위한 평가기준을 마련하기 위해, 인터넷 사용자들이 어떠한 건강정보를 사용하며, 건강정보에 대해 어떠한 평가척도를 중요하게 생각하는지를 알아보기 위하여 건강정보이용행태에 대한 설문조사를 실시하고 분석하였다. 20개 항목의 평가기준을 5점 척도로 조사한 결과, 정보의 적절성, 쉬운 용어와 내용 이해의 용이성, 최신 정보의 정기적 제공, 정보검색의 용이성, 빠른 접속속도, Q&A 및 질의응답기능 제공 순으로 높게 나타났다. 그러나 이 연구는 의학도서관이나 공공도서관의 이용자들의 의견이나 성향을 분석하지 않고 보건의료정보제공 사이트(국민건강보험공단, 보건사회연구원 등)를 통해 건강정보를 이용하는 소비자를 대상으로 설문조사를 했다.
김후정(2002) 의 연구에서는 소비자건강정보 정보선택기준 연구를 통해 내용의 정확성, 내용의 범위와 깊이, 쉬운 용어와 적절한 표현 사용, 비공개성 준수, 이용의 편리성이 높은 순위를 보여 사이트의 목적이나 명성, 정보제공자의 명성 같은 정보의 신뢰성 측면보다 정보의 정확성과 내용적 측면, 이용의 편리성을 더 중요하게 고려하는 것을 알 수 있다. 이는 조경원, 감신, 채용문(2007) 의 소비자 인터넷 건강 정보 평가기준에 대한 결과와 거의 일치하는 결과이다.
Kim 등(1999) 은 건강관련 웹사이트를 평가할 수 있는 평가기준에 관한 연구에서 웹사이트 24개와 5개의 논문 등으로부터 29개의 평가도구와 논문을 통해 165개의 평가기준 항목을 마련 하였으며, 이 중 132개를 12개의 분류로 그룹화 하고 기타항목으로 32개로 구분하였다. 그 결과 대부분의 평가항목에서 가장 빈번하게 사용된 것은 정보의 내용(content), 사이트의 디자인, 미학적 요소(aesthetics of site), 저자(author)와 후원자(sponsors), 개발자(developers) 등의 제시유무와 같은 항목들이었다.
한편, 기관 차원에서 개발된 평가기준으로 MLA 기준, CHIQ, HONCode, eHealth Code 등 이 있다. 미국의학도서관협회(Medical Library Association)에서는 네 가지의 평가기준(권위, 최신성, 객관성, 이용성)을 제시하고 있으며, 이러한 기준에 따라 의학도서관 사서들이 집단지성을 활용하여 건강정보원 사이트를 구축하기도 했다.
NHS Direct Online에서 연계하여 제공하는 건강정보는 건강정보 질 센터(CHIQ: Centre for Health Information Quality)에서 건강정보 질 평가기준에 의거하여 평가되고 있다.
CHIQ의 평가기준은 정확성, 분명성, 적합성등 세 가지이며, 정확성(accurate)은 정보가 최신의 것이며 근거의 원천이 명확한지를 평가하는 항목이고, 분명성(clear)은 정보가 분명히 전달 되는지를 평가하는 항목이며, 적합성(relevant) 은 제공되는 정보가 소비자의 요구를 충족시킬 수 있도록 개발되었는지를 평가하는 항목이다.
스위스의 Health on the Net Foundation (HON)이 개발한 HONCode( Health on the Net Code of Conduct )는 권위성, 상호보완성, 개인 의료기밀, 정보출처, 정보정당성, 저자의 투명성, 후원의 투명성, 광고의 정직성 등 8개 항목으로 구성되어 있다. 그 외 EC Quality Criteria for Health Related Websites는 투명함과 정직성, 권위, 프라이버시, 현재성, 책임성, 후원기관에 대한 명시, 편집원칙, 접근가능성으로 구성되어 있고, eHealth Code of Ethics는 진실성, 정직성, 품질, 동의, 프라이버시, 온라인 치료에 대한 전문성, 신뢰할 만한 협력관계, 책임감으로 구성되어 있다.
위 선행연구들을 분석한 결과 건강관련 정보량이 급격하게 증가하고 있는 상황에서 이용자가 양질의 건강관련 정보원을 이용자에게 제공하기 위해 정보원 평가기준의 필요성을 주장하고 있으며, 평가기준을 개발한 연구들이 상당히 있음을 알 수 있다.
3. 연구질문
본 연구에서는 의학도서관 사서와 공공도서관 사서 간의 평가기준의 인식차이를 비교함으로써 이들이 중요하게 생각하는 평가항목을 도출하고자 하였다. 이 과정에서 제기된 연구 질문은 다음과 같다.
  • RQ 1: 의학도서관 사서와 공공도서관 사서는 제시된 평가항목 중 중요하게 생각하는 평가항목에 있어서 차이가 있을 것인가?
  • RQ 2: 건강/의학 관련 정보내용, 건강/의학 관련 정보제공원, 건강/의학 관련정보 웹사이트 디자인 그룹 중 가장 중요하 게 평가되는 그룹은 어떤 그룹인가?
  • RQ 3: 건강 및 의학 관련 서비스 제공 현황에 있어 의학도서관과 공공도서관 rks에는 어느 정도 차이가 있을 것인가?
연구설계단계에서 제기된 위 연구질문이 해결될 수 있도록 설문설계시 반영하였으며, 설문결과 분석 및 논의과정에서 그 답을 제시하고자 하였다.
4. 연구설계 및 방법론
- 4.1 표집 방법 및 데이터 수집절차
본 연구의 연구 대상은 공공도서관 사서와 의학도서관 사서로, 설문대상의 선정은 다음과 같다. 먼저 공공도서관의 경우 건강정보서비스를 제공하는 사례가 드물기 때문에 2011년에 수행된 ‘국내 공공도서관의 소비자건강정보 제공현황 조사분석 연구’에서 ‘2010년 도서관연감’에 등재된 약 748개 기관들을 대상으로 홈페이지조사를 통해 건강정보서비스를 제공하고 있는 도서관 129개를 밝히고 있는데( 노영희 2011 ), 본 연구에서는 이 도서관의 참고서비스 사서를 대상으로 설문대상을 제한하였다. 그 결과 총 56명의 사서가 설문에 응답하였다(회수율 43.4%). 129개 기관으로 제한한 이유는 대부분의 공공 도서관 사서들이 소비자건강정보서비스에 대해서 잘 모르고 있을 뿐만 아니라 그러한 서비스를 전혀 제공하고 있지 않기 때문에 그들을 설문에 포함시킬 경우 적절한 평가기준을 개발 하는데 오히려 제한이 될 수 있기 때문이다.
의학도서관이나 병원도서관의 경우 대부분 관련 서비스를 제공하고 있을 것으로 판단되었으며, 의학도서관협의회에 가입된 회원도서관을 대상으로 하였다. 그 중 홈페이지에서 회원도서관의 이메일과 전화번호를 확인할 수 있었던 114개 기관의 사서들을 설문 대상으로 포함하였으며 총 55명의 사서가 응답하였다(48.3%).
표본으로 추출된 조사 대상자들에게 설문지를 반송용 봉투와 함께 우편으로 발송하였다. 설문지의 표지(cover letter)에는 조사 목적과 조사대상자가 표본으로 추출되었음을 알리는 간단한 문장을 포함시켰다. 설문지가 들어있는 발송용 봉투의 수신자란에는 표본으로 추출된 개인의 소속기관명과 함께 실명을 기재하여 설문지가 조사대상에게 정확하게 전달되도록 하였다. 설문조사기간은 2013년 10월 1일부터 11월 30일까지이며, 회수 마감일인 2013년 11월 30일까지, 배포된 설문지 총 242부 중 101부가 회수되 었다(회수율 41.74%).
회수된 설문지는 통계분석을 위하여 문항별로 코딩하였고 일차로 코딩된 데이터는 정확성을 위해 재차 설문지 원본과의 대조, 검토과정을 거쳐 집단별로 각각 하나씩, 두 개의 데이터 파일이 완성되었다.
- 4.2 설문 내용과 문항 구성
설문 내용은 평가기준에서 각 평가척도의 중요도를 묻기 위한 문항으로 구성되어 있으며, 평가기준은 크게 건강/의학분야 정보원의 정보내용, 제공원(제공자, 제공기관 등), 웹사이트 디자인 등으로 구분되어 있으며, 정보내용은 19개의 항목, 제공원은 12개 항목, 웹사이트 디자인은 8개 항목으로 구성되어 있다. 또한 건강 및 의학 관련 서비스 제공현황을 묻는 문항은 6개로 구성되어 있다. 기타에는 설문에 응답하는 사서의 배경을 알고자 하는 문항이 포함되었다. 설문지의 내용과 문항구성을 정리하면 <표 1> 과 같다.
설문지의 내용과 문항 구성
PPT Slide
Lager Image
설문지의 내용과 문항 구성
또한 건강/의학 관련 평가기준의 세부항목은 MLA 기준, HONCode, eHealth Code, EC Code, 조경원, 감신, 채영문(2007) , 우영훈, 조경원(2006) , 김민철, 권순만(2002) 의 연구 등 을 참조하여 제시된 것이다. 본 연구에서 사용된 평가항목들의 구체적인 참조내용을 제시하면 <표 2> 와 같다.
건강/의학 관련 평가기준의 세부항목
PPT Slide
Lager Image
건강/의학 관련 평가기준의 세부항목
통계분석을 위해 SAS 9.2 통계패키지를 사용하였으며, 두 집단 비교를 위해서는 피셔의 정확검정(Fisher’s exact test)을 사용하였다. 피셔의 정확검정을 사용한 이유는 본 연구가 50여명의 비교적 소규모 집단을 집중적으로 연구하고 있어 분할표 작성시 빈도수가 5 이하인 셀이 자주 발생하여 카이제곱검정은 올바른 검 정결과를 제공하지 않기 때문이다. 반면 피셔의 정확검정은 빈도수가 낮은 셀이 많을 때에도 사용할 수 있는 비모수적 방법으로, 특히 소규모 집단의 비교를 위해 사용될 때 유용하다. 또한 설문의 문항 각각에 대하여 빈도분석과 기술통계를 산출하였고 정보내용간, 제공원간, 디자인간 요인분석을 실시하여 그룹핑되는 정도를 분석하였다. 요인분석에서 각 요인패턴행렬 (factor pattern matrix)은 주성분 분석에 의 해 구해진 고유벡터들을 분산최대(varimax) 회전을 통해 변환함으로써 구해졌다. 사용된 요인들의 수는 의미 있는 해석이 가능한 요인 패턴행렬을 얻을 수 있는지 여부에 따라 결정 하였다. 각 변수는 가장 큰 요인적재량을 갖는 요인에 속하는 것으로 보았다. 각 요인에 속한 변수들에 대한 공통적인 특징은 분석자가 찾아 내는 것에 의해 이루어진다. 즉, 요인분석결과 여러 개의 변수가 몇 가지 요인에 의해 묶여지면, 설문 응답자의 인식은 이러한 몇 가지 요인으로 대표되는 잠재변수들에 의해 설명된다고 볼 수 있다.
5. 결 과
- 5.1 인구통계학적 특징
- 5.1.1 성별
본 연구의 설문지에 참여한 공공도서관 사서와 의학도서관 사서의 성별을 보면 <표 3> 과 같다. 먼저, 설문에 응답한 공공도서관 사서는 총 56명이었다. 남성은 10명으로 17.86%, 여성은 46명으로 82.14%로 나타났다. 또한 설문에 응답한 의학도서관 사서는 총 55명으로 그 중 남성은 17명으로 30.91%, 여성은 38명으로 69.09%로 나타났다. 공공도서관 사서와 의학도서관 사서의 성별은 남성보다 여성이 월등하게 많은 것을 볼 수 있다.
성별비교
PPT Slide
Lager Image
성별비교
- 5.1.2 연령
본 연구의 설문지에 참여한 공공도서관 사서와 의학도서관 사서의 연령을 보면 <표 4> 와 같다. 공공도서관 사서의 연령대는 20대가 16.07%, 30대가 35.71%, 40대가 37.5%, 50대가 10.71% 로 나타났다. 또한 의학도서관 사서의 연령대는 20대가 14.55%, 30대가 29.09%, 40대가 41.82%, 50대가 14.55%로 나타났다. 공공도서관 사서는 30대와 40대가 각각 35.71%와 37.5%로 높게 나타났고, 의학도서관 사서는 40대가 41.82%로 가장 높게 나타났다.
연령비교(만 나이기준)
PPT Slide
Lager Image
연령비교(만 나이기준)
- 5.2 건강/의학 관련 서비스 제공현황
건강 및 의학 관련 서비스 제공 현황은 건강/ 의학 관련 참고서비스 제공여부, 건강/의학 관련 질문을 일주일 평균 받는 횟수, 취약계층에 건강/의학 관련 정보서비스 제공 종류, 아웃리치 프로그램을 통한 건강/의학 관련 정보서비스 제공종류, 건강/의학 관련 정보서비스를 위 한 기관간 협력프로그램 여부, 온라인/오프라인 건강/의학 관련 정보원 구축현황 등 여섯가지 항목으로 나누어 비교하였으며, 그 분석결과는 다음과 같다.
- 5.2.1 건강/의학 관련 참고서비스 제공여부
건강/의학 관련 참고서비스 제공 현황에 대해 조사하였다. 그 결과 공공도서관은 23%만이 이러한 서비스를 제공한다고 응답하였고 의학도서관은 75%가 이러한 서비스를 제공한다 고 응답하였다. 유의수준 0.05하에서 집단간 차이가 매우 큰 것을 알 수 있다( <표 5> 참조).
건강/의학 관련 참고서비스 제공여부
PPT Slide
Lager Image
건강/의학 관련 참고서비스 제공여부
- 5.2.2 건강/의학 관련 질문을 받는 일주일 평균 횟수
이용자에게 건강/의학 관련 질문을 일주일에 평균 몇 번 받는지에 대하여 조사하였다. 공공도서관 사서는 이용자에게 건강/의학 관련 질문을 받지 않는다가 67.86%로 매우 높게 나타났고, 1회~3회(25%)가 그 다음으로 높게 나타났다. 의학도서관 사서는 1회~3회가 29.63%로 가장 높게 나타났으며 질문을 받지 않는다는 27.78%로 나타났다. 일주일에 평균 7회 이상 건강 및 의학 관련 질문을 받는다고 응답한 의학도서관도 24%로 매우 높은 것으로 나타났다. 공공도서관에 비해 의학도서관이 일주일 평균 건강/의학 관련 질문을 받는 횟수가 많은 것을 볼 수 있는데, 이는 당연한 결과로 보이며 유의도를 보았을 때 집단간 차이가 매우 크다는 것을 알 수 있다( <표 6> 참조).
건강/의학 관련 질문을 받는 일주일 평균 횟수 비교
PPT Slide
Lager Image
건강/의학 관련 질문을 받는 일주일 평균 횟수 비교
- 5.2.3 취약계층에 건강/의학 관련 정보서비스 제공 종류
조사대상 도서관에서 취약계층(환자, 저소득층, 장애자 등)에게 건강/의학 관련 정보서비스를 제공하는지에 대하여 해당사항을 모두 선택하도록 하여 조사하였다. 그 결과 공공도서관의 경우 프로그램을 제공하지 않는다는 응답이 82.14%로 높게 나타났고 의학도서관도 52.83%가 프로그램을 제공하지 않는다고 하였다. 공공도서관은 장애인 대상 서비스 8.93%, 다문화가정 서비스 5.36% 순으로 나타났으나 매우 낮은 비율임을 알 수 있고, 의학도서관의 경우 40~50% 사이 수준으로 모든 서비스를 골고루 제공하고 있는 것을 알 수 있다.
공공도서관은 의학도서관보다 취약계층과 가까운 곳에 위치하면서도 이들에 대한 서비스를 제공하고 있지 않은 것은 반드시 개선되어야 할 사항으로 보이며, 의학도서관의 인력과 전문성, 자원의 협력적 활용이 요구되는 부분이라 할 수 있다. 두 집단간 차이가 매우 높은 것도 확인할 수 있다( <표 7> 참조).
취약계층에게 건강/의학 관련 정보서비스 제공 종류 비교
PPT Slide
Lager Image
취약계층에게 건강/의학 관련 정보서비스 제공 종류 비교
기타의 내용으로 의학도서관의 경우에는 지역사회 교회도서관과 연계하여 월 1회 건강교육 프로그램 제공, 주 이용 대상은 의료진을 포함한 직원들이기 때문에 취약계층에게 서비스를 제공하지 않음, 환자 이용불가, 방문 열람자 모두에게 정보 제공함 등이 있었다.
- 5.2.4 아웃리치 프로그램을 통한 건강/의학 관련 정보서비스 제공 종류
조사대상 도서관에서 아웃리치 프로그램을 제공하는지 조사하였으며 해당 사항에 모두 체크하도록 하였다. 그 결과 공공도서관은 80.36%가, 의학도서관은 42.31%가 건강관련 아웃리치 프로그램을 제공하고 있지 않은 것으로 나타났다. 또한 의학도서관은 그 외 제시된 모든 종류의 아웃리치 서비스를 40~50% 수준으로 제공하고 있는 것으로 나타났으나 공공도서관은 오로지 전문가에 의한 다양한 질병에 대한 교육 아웃리치서비스를 3.57%만이 제공하고 있는 것으로 나타났다. 취약계층에 대한 서비스와 마찬가지로 아웃리치서비스 역시 서비스 대상이 많고 대상에 대해 더 잘 알며 더 가까이 있는 공공도서관에서 수행하는 것이 보다 효과적일 것으로 보이며, 이 부분에 있어서도 의학도서관과 공공도서관의 협력적 노력이 요구되는 부분이다 (<표 8> 참조).
아웃리치 프로그램을 통한 건강/의학 관련 정보서비스 제공종류
PPT Slide
Lager Image
아웃리치 프로그램을 통한 건강/의학 관련 정보서비스 제공종류
- 5.2.5 건강/의학 관련 정보서비스를 위한 기관 간 협력프로그램 여부
건강 및 의학 관련 정보서비스를 제공함에 있어 다른 관련기관들과 협력프로그램을 운영 하고 있는지 질문하였다. 공공도서관은 지역 의료원과 협력프로그램을 운영하다는 비율이 76.69%로 매우 높게 나타났고, 다음으로 보건소 7.14%, 다른 공공도서관 5.36%의 순으로 협력하고 있는 것으로 나타났다. 반면 그외 기관과는 협력프로그램을 전혀 운영하고 있지 않은 것으로 나타났다. 기타의 사항으로는 병원 간호부나 진료부서와 협력하여 지역교회도서관에 협력프로그램을 제공한다는 내용이 있었다.
의학도서관의 경우 의학 관련 단체협력프로그램을 운영한다는 비율이 59.26%로 가장 높게 나타났고, 다음으로 대학병원도서관 57.41%, 병원도서관 53.7%, 지역의료원 46.3%의 순으로 나타났다. 50% 이상의 의학도서관이 관련기관 들과 협력하고 있는 상황을 고려하여 공공도서관도 지역의료원과 협력하듯 협력대상을 확대해 나갈 필요가 있다고 본다. 따라서 의학도서관과의 적극적 협력노력이 요구된다고 할 수 있다( <표 9> 참조).
건강/의학 관련 정보서비스를 위한 기관 간 협력프로그램 여부 비교
PPT Slide
Lager Image
건강/의학 관련 정보서비스를 위한 기관 간 협력프로그램 여부 비교
- 5.2.6 온라인/오프라인 건강/의학 관련 정보원 구축현황
조사대상 도서관에서 어떤 온·오프라인 건강 및 의학 관련 정보원을 구축하고 있는지 그 구축현황을 복수응답으로 조사하였다. 공공도서관의 경우 건강관련 서적(오프라인)이 89.29%로 가장 높게 나타났고, 다음 순위로 의학 저널, 매거진(오프라인)이 51.79%로 나타났으며, 나머지 정보원 유형은 매우 낮게 나타났다. 의학도서관의 경우에도 건강관련 서적(오프라인) 64.81%로 가장 높게 나타났고, 나머지 정보원 유형도 60% 수준으로 골고루 구축하고 있는 것으로 나타났다. 하지만 의학도서관에서 해당 사항 없다고 응답한 비율이 46.3%나 되는 것은 사실 이해가 되지 않는 부분이다. 아마도 정보원 구축을 보다 적극적으로 생각하여 별도의 건강관련 정보원을 구축하여 제공하는 것을 생각한 것으로 보인다. 기타의 내용에 EBM DB 구축(ex. Cochrane Library, Uptodate)이 있 었다( <표 10> 참조).
온라인․오프라인 건강/의학 관련 정보원 구축현황 비교
PPT Slide
Lager Image
온라인․오프라인 건강/의학 관련 정보원 구축현황 비교
- 5.3 건강/의학 관련 정보원 평가기준
건강 및 의학 관련 정보원을 평가하는 것은 다른 일반 정보원을 평가하는 것보다 훨씬 높은 신뢰성과 최신성을 요하는 작업이라 할 수 있다. 이용자의 생명이나 건강과 직결되는 문제이기 때문이다. 따라서 건강 및 의학 관련 평가기준에 대한 연구는 다른 정보원의 평가기준개발과는 별개로 진행되고 있는 것을 알 수 있다. 본 연구 에서는 건강 및 의학 관련 평가기준을 선행연구자의 연구결과들을 기반으로 초안을 작성하고 공공도서관과 의학도서관의 인식을 비교하고자 하였으며, 크게 건강/의학 관련 정보내용, 건강/ 의학 관련 정보제공원, 건강/의학 관련정보 웹사이트 디자인으로 구분하여 조사하였다.
- 5.3.1 건강/의학 관련 정보내용
건강 및 의학 관련 정보의 내용에 대한 평가는 정보의 정확성, 의학전문성, 완전성 등을 포함하여 총 19개의 항목으로 구성하였다. 설문분석결과, 의학도서관 사서가 가장 중요하게 생각하는 내용평가 항목은 정보의 정확성(4.8039)으로 나타났고 다음으로 정보의 의학전문성(4.7059), 정보의 최신성(4.6275), 정기적 업데이트(4.5294), 이용자의 입장을 고려한 정보(4.4808)의 순으로 나타났다. 공공도서관 사서의 경우도 정보의 정확성을 가장 중요하게 생각하는 것으로 나타났고(4.7222), 다음으로 정보의 최신성(4.5185), 정기적 업데이트(4.4074), 이해하기 쉬운 정보 (4.3019), 정보의 의학전문성(4.2963)의 순으로 나타났다. 전반적으로 모든 항목에 있어서 의학도서관이 중요도 점수를 높게 부여하고 있음을 알 수 있다.
두 집단의 의견 평균값을 구해 보았을 때 가장 높은 중요도를 보인 평가항목은 정보의 정확성이었고(4.7631), 다음으로 정보의 최신성 (4.5730), 정보의 의학전문성(4.5011), 이용자의 입장을 고려한 정보(4.3504), 그리고 정보의 객관성(4.3286) 순으로 나타났다. 그에 반하여 두집단 평균 4점 이하를 받은 항목은 정보의 보완성(3.9559), 정보의 저작권 명시(3.9733), 정보의 창의성(3.4606), 정보의 친절성(3.6904), 정보에 대한 공감성(3.8642), 정보의 한계성 및 불 확실성 명시(3.9519) 등이었으며, 그 중에서 정보의 창의성과 정보의 친절성은 가장 낮은 평가를 받았다. 19개의 항목 중에서 4점 이상의 점수를 받은 평가항목은 13개로 나타났다.
두 집단간 인식차이를 보인 항목은 정보의 의학전문성, 정보의 저작권 명시, 이용자의 입장을 고려한 정보 등의 항목이었다. 건강/의학정보 내용의 평가항목 평균 중요도는 4.1731로 비교적 높게 나타났다( <표 11> 참조).
건강/의학정보 내용항목의 중요도 인식 비교
PPT Slide
Lager Image
건강/의학정보 내용항목의 중요도 인식 비교
공공도서관 사서와 의학도서관 사서의 의견을 기반으로 건강 및 의학 관련 정보내용 평가항목에 대한 요인분석을 실시한 결과 다음과 같이 6개의 그룹으로 묶이는 것을 볼 수 있다. 즉 정보의 투명성(Factor 1), 정보의 친근성(Factor 2), 정보의 전문성(Factor 3), 정보요구 충족성(Factor 4), 정보의 이해용이성(Factor 5), 정보의 최신성(Factor 6) 등으로 구분해 볼 수 있다 ( <표 12> 참조).
건강/의학정보 내용 평가항목의 요인분석
PPT Slide
Lager Image
건강/의학정보 내용 평가항목의 요인분석
- 5.3.2 건강/의학정보 제공원
건강 및 의학 관련 정보의 제공원, 즉 제공자나 제공기관 등에 대한 평가는 건강정보 제공목적의 명확성, 상업성, 보완성 등을 포함하여 12개의 항목으로 평가하였다. 공공도서관 사서의 경우 건강정보에 대한 책임성 명시가 가장 중요한 평가기준이라고 하였고(4.3208), 다음으로 건강정보 제공 목적의 명확성(4.1852), 개인정보보호정책 준수(4.1242), 건강정보제공기관의 윤리성(4.1667), 건강정보 제공기관의 공정성(4.0189) 순으로 중요하다고 하였다. 의학도서관 사서는 건강정보 제공 목적의 명확성이 가장 중요하다고 하였고(4.3333), 다음으로 건강정보 제공기관의 공정성(4.1765), 건강정보에 대한 책임성 명시(4.1373), 개인정보보호정책 준수(4.0784), 건강정보제공기관의 윤리성(4.0196) 순으로 평가하였다.
두 집단의 의견 평균값을 구해 보았을 때 가장 높은 중요도를 보인 평가항목은 건강정보제공 목적의 명확성이었고, 4점 이상의 중요도 점수를 받은 항목은 총 12개의 항목 중 5개 항목이었으며 건강정보에 대한 책임성 명시, 개인정보보호정책 준수, 건강정보 제공기관의 공정성, 건강정보 제공기관의 윤리성 등이었다. 두집단 평균 가장 낮은 점수를 받은 항목은 건강정보제공기관의 상업성(3.4074)으로 이는 건강 정보가 믿을 만하다면 상업기관이든 아니든 그다지 상관하지 않는 것을 의미한다.
두 집단간 유의한 인식차이를 보인 항목은 하나도 없었으며, 건강/의학정보 제공원의 평가항목 평균 중요도는 3.8846으로 건강/의학정보 내용의 평가항목 평균 중요도보다 상대적으로 낮게 나타났다( <표 13> 참조).
건강/의학정보 제공원 비교
PPT Slide
Lager Image
건강/의학정보 제공원 비교
공공도서관 사서와 의학도서관 사서의 의견을 기반으로 건강 및 의학정보 제공원 평가항목에 대해 요인분석을 실시한 결과 <표 14> 와 같이 2개의 그룹으로 묶이는 것을 알 수 있다. 건강 및 의학 관련 정보제공기관의 보안성, 투명성, 윤리성, 출처공개, 제공자 명시 등의 항목은 정보제공기관의 명확성(Factor 1)으로 해석할 수 있고, 책임성 명시나 연락처 명시, 공정성 등 은 정보제공기관의 신뢰성(Factor 2)으로 해석할 수 있을 것이다.
건강/의학정보 제공원 평가항목 요인분석
PPT Slide
Lager Image
건강/의학정보 제공원 평가항목 요인분석
- 5.3.3 건강/의학정보 웹사이트 디자인
건강 및 의학 관련 정보를 제공하는 웹사이트의 디자인은 정보의 가독성, 접근성, 탐색성을 높이는 데 매우 중요한 평가기준이 될 수 있으며, 건강정보에 대한 접근의 용이성, 검색 기능 제공 여부 등을 포함하여 총 8개 항목의 중요도를 평가하였다. 그 결과 공공도서관 사서와 의학도서관 사서 모두 건강정보 접근의 용이성을 가장 중요한 항목이라고 평가하였고(4.4259, 4.4706) 두 집단 평균이 4점을 넘는 항목은 건강정보 접근의 용이성, 건강정보검색 기능 제공, 웹사이트 사용의 편리성, 질의응답서비스 제공 등으로 모두 4개 항목이었다. 가장 낮은 중요도 점수를 받은 항목은 건강정보 웹사이트의 디자인으로 나타났다.
두 집단간 유의한 인식차이를 보인 항목은 질의응답서비스 제공여부였으며 공공도서관 사서가 의학도서관 사서보다 이 서비스를 더 중요하게 생각하는 것으로 나타났다. 또한 건강/ 의학정보 웹사이트 디자인의 전체 평균 중요도는 4.0373으로 건강/의학정보 정보원 평가항목 평균 중요도보다 상대적으로 높게 나타났다 ( <표 15> 참조).
건강/의학정보 웹사이트 디자인 비교
PPT Slide
Lager Image
건강/의학정보 웹사이트 디자인 비교
공공도서관 사서와 의학도서관 사서의 의견을 기반으로 건강 및 의학 관련정보 제공 웹사이트 디자인 평가항목에 대한 요인분석을 실시한 결과 다음과 같이 2개의 그룹으로 묶이는 것 을 볼 수 있다. 사용의 편리성, 접근의 용이성, 검색기능 제공, 질의응답서비스 제공 등은 건강정보 내용접근의 유용성(Factor 1)으로 해석해 볼 수 있고, 건강정보 링크제공이나 접속속도, 멀티미디어 제공, 디자인 등은 웹사이트 사용편이성(Factor 2)으로 해석해 볼 수 있을 것이다 ( <표 16> 참조).
건강/의학정보 웹사이트 디자인 평가항목 요인분석
PPT Slide
Lager Image
건강/의학정보 웹사이트 디자인 평가항목 요인분석
6. 논의 및 향후연구
- 6.1 논의
본 연구에서는 공공도서관 사서나 의학도서관 사서가 소속도서관에서 건강 및 의학 관련 정보를 수집하고 제공할 때 검증되고 품질 높은 정보자원을 수집하고 제공할 수 있는 정보원 평가기준을 제안하고자 하였다. 이를 위해 선행연구자들에 의해 제안된 평가기준을 건강/의학 관련 정보내용, 건강/의학 정보 제공원, 건강/의학정보 웹사이트 디자인 등으로 구분하여 각 평가항목의 중요도를 공공도서관 사서와 의학도서관 사서의 의견을 기반으로 측정하였다.
먼저 건강 및 의학 관련 서비스 제공 현황에 있어 의학도서관과 공공도서관 간에는 어느 정도 차이가 있는지 여섯 개의 질문을 통해 조사 하였는데, 많은 차이가 있는 것을 확인할 수 있었다. 당연히 공공도서관에 비해 상대적으로 의학도서관은 건강 및 의학 관련 정보서비스 제공 경험이 많고 구축 및 제공하는 정보원도 다양하며, 제공하는 서비스 내용과 다른 기관과의 협력프로그램 운영 내용도 풍부하고 많았다. 앞에서도 여러 번 언급하였듯이 의학도서관의 이러한 강점을 공공도서관을 통해 일반 이용자들에게 알리고 건강/의학 관련 서비스를 제공하는 것은 두 기관 모두에게 도움이 될 것이라 생각된다.
둘째, 의학도서관 사서와 공공도서관 사서간에 제시된 평가항목 중 중요하게 생각하는 평가항목에 있어 차이가 있을 것으로 예상되었으나 두 집단간 유의한 인식차이를 보이는 항목은 매우 소수에 지나지 않았다. 따라서 두 집단간 인식차이가 없었다고 할 수 있다. 건강 및 의학 관련 참고서비스를 제공하는지에 대한 질문에서 공공도서관은 30%, 의학도서관은 70%가 건강/의학 관련 참고서비스를 제공하고 있다고 하였는데, 이는 관련 참고서비스 제공여부가 평가항목의 중요도 평가에 영향을 미치지 않았다고 할 수 있다. 평가기준을 세 그룹으로 구분하여 각 항목의 중요도를 평가하였으며, 건강/의학 관련 정보내용 부분에서 두 집단의 의견 평균값을 구해 보았을 때 가장 높은 중요도 점수를 받은 평가항목은 정보의 정확성이었고, 이를 포함하여 4점 이상의 중요도 점수를 받은 항목은 정보의 최신성, 정보의 의학전문성, 이용자의 입장을 고려한 정보, 정보의 객관성, 정보의 완전성, 이해하기 쉬운 정보, 평이한 언어로 제공되는 정보, 정보 출처 명시, 주의사항이나 경고 등의 명시 등 13개 항목으로 나타났다. 건강/의학 관련 정보 제공원의 경우 두 집단의 의견 평균값을 구해 보았을 때 가장 높은 중요도를 보인 평가항목은 건강정보 제공 목적의 명확성이었고, 이를 포함하여 4점 이상의 중요도 점수를 받은 항목은 12개의 항목 중 5개 항목이었으며 건강정보에 대한 책임성 명시, 개인정보보호정책 준수, 건강정보 제공기관의 공정성, 건강정보 제공기관의 윤리성 등이었다. 마지막으로 건강/의학정보 제공 웹사이트 디자인의 경우 두 집단 평균이 4점을 넘는 항목은 건강정보검색 기능 제공, 웹사이트 사용의 편리성, 질의응답서비스 제공 등이었으며 전체 8개 항목 중 4개 항목이었다.
셋째, 건강/의학 관련 정보내용, 건강/의학 관련 정보제공원, 건강/의학 관련정보 웹사이트 디자인 그룹 중 가장 중요하게 평가되는 그룹은 어떤 그룹인지를 두 집단이 평가한 각 항목의 평균을 그룹별로 구한 결과, 건강/의학 관련 정보내용은 그룹평균이 4.1731이었고, 건강/ 의학 관련 정보제공원은 3.8846이었으며, 건강/ 의학 관련정보 웹사이트 디자인은 4.0373으로 나타났으며, 정보내용을 가장 중요시함을 알 수 있다. 두 집단은 관련 정보를 제공하는 기관 에 대해서 그다지 중요시 하지 않는 것을 알 수 있으며 제시된 12개의 항목 중 4점이 넘는 항목 은 오로지 5개 항목뿐이었다. 사실 정보를 제공하는 사람이나 기관도 정보원의 신뢰성이나 정확성에 영향을 미치는 요인이 될 수 있으며, 제공기관의 연락처 등은 그 기관에서 제공하는 정보에 질문이 생겼을 때 즉각 연락할 수 있는 중요한 정보임에도 불구하고 이에 대한 인식은 그다지 높지 않은 것으로 보인다. 이러한 결과가 나온 원인은 여러 가지가 있을 수 있으나 우선적으로 생각해 볼 수 있는 것은 건강 및 의학관련 참고서비스 제공 경험이 많지 않아 정보를 직접 찾아보고 그 신뢰도를 평가해 보고, 서비스를 제공함으로써 이용자로부터 피드백을 받는 과정에서 정보제공자의 신뢰도나 접촉의 불편함 등을 겪어볼 기회가 적었기 때문일 것이라 예측된다.
마지막으로 평가기준의 각 그룹에서 4점 이상의 중요도 점수를 받은 항목만을 제시하면 <표 17> 과 같다. 즉 건강/의학 관련 정보내용에는 총 13개의 항목이 선정되었고, 건강/의학정 보 제공원에서는 5개의 항목, 그리고 웹사이트 디자인 그룹에는 4개의 항목이 선정되었다. 그러나 4점 이하의 점수를 받았더라도 거의 4점에 가까운 항목들이 거의 대부분이었다는 것도 유 의해야 할 것이다.
최종 선정된 건강/의학 관련 평가항목
PPT Slide
Lager Image
최종 선정된 건강/의학 관련 평가항목
- 6.2 향후연구제안
본 연구에서 제안된 평가기준은 더 다양한 기법을 적용하여 검증되고 일반화될 필요가 있다고 본다. 따라서 이후에 문헌정보학 분야 연구자들의 적극적인 참여가 요구된다고 생각된다. 한편 공공도서관과 의학도서관에서 건강 및 의학 관련 정보서비스 제공현황에 대해서도 조사 했는데, 의학도서관은 50% 수준이었고 공공도서관은 거의 10% 수준으로 취약계층서비스나 아웃리치서비스를 제공하고 있는 것으로 나타났다. 공공도서관과 의학도서관은 장애인, 환자, 소수민족 등을 포함한 취약계층의 질병 정보에 대한 정보요구, 언어적 장애를 극복하기 위한 요구 등을 해결하기 위한 방안을 모색해서 제공해야 한다고 생각되며, 이후 연구에서는 취약계층이 요구하는 정보원과 정보요구를 구체적으로 밝혀내야 할 것으로 보인다.
또한 아웃리치서비스는 주로 시골지역, 장애자, 저소득층 등의 취약계층을 포함하여 도서관에 오는 데 어려움이 있는 잠재적 이용자들을 위해 건강 및 의학 관련 정보이용교육을 제공하거나 정보를 직접적으로 제공하는 것이다. 인터넷 상에서 이용될 수 있는 정보는 많지만, 시골 지역주민들은 건강정보에 접근하는데 많은 한계를 가지고 있기 때문이다( Kreps 2005 ; Harris, Wathen, and Fear 2006 ; Chang, Bakken, Brown, Houston, Kreps, Kukafka, Safran, and Stavri 2004 ). 이 후 연구에서는 이들이 도서관서비스를 이용하는데 있어서 장애요인이 무엇인지 밝히고 구체적으로 어떠한 아웃리치 서비스를 원하는지를 밝혀내야 할 것이며, 이를 통해서 도서관서비스 확장을 모색해야 할 것이다.
7. 결 론
도서관 사서들은 단순히 건강관련 정보원을 수집하는 것에 그치지 않고, 정보원을 분석, 평가하여 이용자들에게 보다 유용한 자료를 선별, 제공해야 한다. 또한 이용자 스스로 CHI 정보원을 평가하고 개인에 맞는 상황에 활용할 수 있도록 교육하고, 정보원 평가 가이드라인을 제시해야 한다. 특히 온라인 정보에 대한 수요와 공급이 기하급수적으로 증가하고 있기 때문에, 이용자들이 신뢰할만한 건강정보원을 선별하고, 또 이용자들이 스스로 웹정보원들을 적합한 기준을 가지고 평가할 수 있도록 평가기준을 개발, 보급해야 한다.
이에 본 연구에서는 의학 및 건강관련 정보원 평가기준의 평가항목의 중요도를 평가하는데 공공도서관 사서와 의학도서관 사서가 공동으로 참여하여 개발한 것으로 국내에서는 최초로 수행된 것으로 보인다. 평가항목의 중요도에 있어서 두 집단간 인식차이가 거의 없는 것으로 보아 제시된 평가항목은 어느 정도 신뢰성을 보인다고 할 수 있으며, 또한 많은 항목들이 4점 전후로 점수가 높게 나타났다. 따라서 본 연구에서 제시된 평가기준의 현장 적용성도 높을 것으로 보인다. 다만 본 연구는 개인 연구자 차원에서 수행된 것으로 평가자의 수나 평가기법의 다양성에 있어서 한계가 있을 수 있으므로 더많은 연구자에 의해 더 다양한 기법 적용으로 평가항목의 타당성을 검증하고 일반화시켜 나갈 필요성이 있다고 본다.
References
김 민철 , 권 순만 2002 인터넷 건강정보 사이트 평가와 소비자 만족에 관한 연구 「정보관리학회지」 19 (3) 49 - 68
김 후정 2002 「인터넷 건강정보 소비자의 정보선택기준 및 정보이용행태 조사」. 석사학위논문
노 영희 2011 국내 공공도서관의 소비자건강정보 제공현황 조사분석 연구 「한국문헌정보학회지」 45 (2) 415 - 437
우 영운 , 조 경원 2006 국외 e-health 웹사이트의 정보 신뢰성 평가 기준 만족도 현황 분석 「한국콘텐츠학회 춘계종합학술대회 논문집」 4 (1) 489 - 492
조 경원 , 감 신 , 채 영문 2007 인터넷 건강정보 평가기준을 위한 건강 소비자의 인터넷 이용행태 분석 「한국보건교육∙건강증진학회, 보건교육∙건강증진학회지」 24 (2) 15 - 28
Burkell J , Campbell D. G 2005 “What Does This Mean?” How Web-based Consumer Health Information Fails to Support Information Seeking in the Pursuit of Informed Consent for Screening Test Decisions Journal of the Medical Library Association 93 (3) 363 - 373
Chang L. B , Bakken S , Brown S. S , Houston T. K , Kreps G. L , Kukafka R , Safran C , Stavri P. Z 2004 “Bridging the Digital Divide: Reaching Vulnerable Populations.” Journal of American Medical Informtics Association 11 (6) 448 - 457
eHealth Code of Ethics. n.d. Affordable Health Insurance. [online]
Gagliardi A. , Jadad A. R 2002 “Examination of Instruments Used to Rate Quality of Health Information on the Internet: Chronicle of a Voyage with an Unclear Destination.” British Medical Journal 324 (7337) 569 - 573
Harris R. M. , Wathen C. N , Fear. J. M 2006 “Searching for Health Information in Rural Canada. Where Do Residents Look for Health Information and What Do They Do When They Find It?” Information Research 12 (1)
Health on the Net Foundation, [online]
Health on the Net Foundation HON Code on Conduct for Medical and Health Websites (HONCode). Version 1.6. 1997 [online]
Horne Daniel C 1999 “A Medical Library for the Public: Starting and Running a Consumer Health Library.” North Carolina Libraries 57 (3) 110 - 113
Jadad R , Gagliardi A. 1998 “Rating Health Information on the Internet: Navigating to Knowledge or to Babel?” Journal of American Medical Association 279 (8) 611 - 614
Kim P , Eng T. R , Deering M. J , Maxfield A. 1999 “Published Criteria for Evaluating Health Related Web Sites: Review.” British Medical Journal 318 (7184) 647 - 649
Kovacs Diane K 2003 “Electronic Collection Development for Consumer Health Information.” Journal of Consumer Health on the Internet 7 (4) 31 - 52
Kreps Gary L 2005 “Disseminating Relevant Health Information to Underserved Audiences: Implications of the Digital Divide Pilot Projects.” Journal of the Medical Library Association 93 (4) S65 - 73
Li Guisu 2007 “The Median Age Technique for Assessing Currency of Consumer Health Information Monographic Collections in Public Libraries.” Journal of the Medical Library Association 95 (1) 89 - 90
Marshall J. , Sewards C , Dilworth E. L 1991 “Health Information Services in Ontario Public Libraries.” Canadian Library Journal 48 (Feb) 37 - 43
2014 NHS Direct Online, [online]
Quality Criteria for Health Related Websites Communication from the Commission to the Council, the European Parliament, the Economic and Social Committee and the Committee of the Regions. [online]
Rees Alan M 1982 Developing Consumer Health Information Services R.R. Bowker Company New York
Workman T. E , Stoddart J. M 2007 “Building Online Resources Using Freely Available Tools: The goLocalUtah Experience.” Journal of Consumer Health on the Internet 11 (1) 15 - 31