Advanced
e‐Portfolios for Learning and Assessment in Medical Education
e‐Portfolios for Learning and Assessment in Medical Education
Korean Medical Education Review. 2014. Feb, 16(1): 7-10
Copyright © 2014, Yonsei university college of medicine
This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/ licenses/by-nc/3.0) which permits unrestricted noncommercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : February 02, 2014
  • Accepted : February 19, 2014
  • Published : February 28, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
경지 김

Abstract
Portfolios have gained attention in medical education as a tool for promoting student learning and assessment since Miller’s call for better tools for assessing students’ clinical competencies. This paper reviews the development and use of e-portfolios for promoting learning and assessment in medical schools, both domestically in Korea and internationally. This review finds that some specific features need to be incorporated into e-portfolio systems for medical education and that these systems can be used to manage student learning in clinical clerkships and to support competency-based assessment. The author asserts that the e-portfolio is key to promoting competency-based education and suggests practical tips for effective development and use of e-portfolios in Korean medical schools.
Keywords
서 론
포트폴리오는 학생이 학습한 과정과 그 결과, 그리고 이에 대한 성찰의 기록물들을 지속적이고 체계적으로 수집한 자료의 모음집을 의미한다. 교육분야에서 포트폴리오 개념은 초등교육부터 전문성개발(professional development) 교육까지 다방면에 활용되고 있다. 의학교육에서는 Miller (1990) 가 임상수행 평가의 네 단계를 설명하고 실제 임상현장에서 수행능력을 평가하는 수준인 ‘Does’ 단계의 평가방법이 부재함을 지적한 이후 이를 위한 평가방법으로 포트폴리오의 개념이 도입되었다. 포트폴리오는 실제 진료현장에서의 수행을 평가하는 방법으로서뿐만 아니라 경험을 통한 학습을 촉진하기 위한 방법으로 주목을 받기 시작하여 현재에는 북미와 유럽국가를 중심으로 많은 의과대학에서 실행되고 있다. 포트폴리오는 다양한 목적으로 활용될 수 있으며 주로 1) 학습성과에 대한 증거물의 데이터베이스, 2) 형성평가를 위한 학생에 대한 학습지도와 피드백, 3)진급 등의 결정을 위한 학습자의 역량 달성 여부를 판단하는 총괄평가를 위해 활용된다( Challis, 1999 ).
Buckley et al. (2009) 은 의료보건 분야의 교육에서 포트폴리오의 활용에 대한 기존 연구의 체계적인 문헌고찰을 통해 포트폴리오는 지식, 기술(skill), 태도 학습 측면에서 긍정적인 교육적 효과가 있었음을 밝혔다. 특히, 포트폴리오를 활용함으로써 습득한 지식을 실제에 접목시키는 능력, 학습자 자신에 대한 의식(self-awareness)과 학습에 대한 성찰 능력이 향상되었고, 교수의 학생에 대한 피드백과 교수가 학생의 요구를 파악하는 능력이 개선되었다( Buckley et al., 2009 ). 또한 학생이 포트폴리오에 작성한 성찰은 교수가 학생의 생각 및 태도를 이해하는데 도움이 됨으로써 학생지도에 효과적인 장점이 있다( Bashook et al., 2008 ). 이와 더불어, Azer (2008) 는 포트폴리오를 활용한 교육이 분석, 종합, 평가, 해석 등 비판적 사고 능력을 위해 필요한 능력을 촉진하는데 효과적이라고 주장한다.
이러한 포트폴리오를 활용한 교육의 장점에도 불구하고 기존의 종이 기반의 포트폴리오는 방대한 분량의 문서를 보관하고 관리해야 하는 운영상의 불편함이 있으며 교육에서 인터넷의 사용이 일상화되면서 대부분의 문서가 전자형태로 존재하는 현실을 반영하지 못하는 문제가 있다. 이런 난점을 해결하기 위해 현재는 문자 외의 하이퍼링크, 멀티미디어의 요소를 포함할 수 있도록 웹 기술을 활용한 e-포트폴리오가 주로 이용되고 있다( van Tartwijk & Driessen, 2009 ). e-포트폴리오는 전통적인 종이 기반의 포트폴리오와 비교하여 질적 수준은 비슷하지만 학습에 대한 동기부여와 사용 편리성이 높은 장점이 있다( Driessen et al., 2007 ; Kim et al., 2006 ).
이러한 e-포트폴리오의 장점 때문에 국내 의학교육에서도 이의 도입에 관심을 기울이고 있다. 효과적이고 효율적인 e-포트폴리오의 도입을 위해 이에 대한 체계적인 분석이 필요할 것이다. 본 연구는 의학교육에서 e-포트폴리오의 구축 및 활용의 국내외 사례를 분석함으로써 한국적 상황에서 e-포트폴리오의 도입과 발전의 방향을 제시하고자 한다.
의학교육에서 e-포트폴리오의 구축 및 활용 사례
- 1. 의학교육을 위한 e-포트폴리오의 기능
Toro-Troconsis & Hemani (2009) 는 기존의 문헌 및 이미 개발된 e-포트폴리오 시스템에 대한 고찰을 통해 의학교육서 활용되는 e-포트폴리오 시스템은 일반적으로 다음과 같은 기능을 갖추도록 구축이 되어있음을 파악했다. 이는 1) 학습성과 등 교육과정에 관한 정보 제공, 2) 성적, 연구업적, 수상이력 등 학생의 업적 관련 자료에 연결, 이력서 등 커리어를 위한 자료의 출력, 3) 학습결과에 대한 피드백을 제공하는 평가기능, 4) 학습에 대한 증거물을 탑재하고 공유할 수 있는 기능, 5) 시스템 접속기록 및 입력된 데이터를 요약하고 이를 학습성과 등과 비교할 수 있는 기능 등을 포함한다.
- 2. 실습교육을 위한 e-포트폴리오
많은 의과대학에서 학생들이 임상실습경험을 기록하고 성찰할 수 있도록 e-포트폴리오를 활용하고 있다. 일반적인 e-포트폴리오 시스템은 학생이 경험한 환자에 대한 증례보고, 실행한 시술에 대한 기록과 이와 관련해 학습한 내용 및 경험에 대한 성찰을 기록할 수 있도록 기능을 갖추도록 구축되었다( Kim, 2013 ). 이렇듯 실습교육에서 e-포트폴리오는 기존에 종이에 작성했던 의무기록을 전산화된 시스템에 기록하고 이에 덧붙여 임상실습에서 접한 임상경험에 대한 성찰을 할 수 있는 기능을 제공하도록 구축되어 있다 ( Toro-Troconsis & Hemani, 2009 ).
e-포트폴리오를 실습교육에 활용한 사례로 Sanchez Gomez et al. (2013) 는 외과실습에서 학습과 평가를 촉진하기 위해 e-포트폴리오 시스템을 활용하였다. 본 e-포트폴리오 시스템은 학생들이 외과실습을 통해 습득해야 할 학습성과를 제시하고 이에 대한 달성 여부를 확인할 수 있는 기능으로 구성되도록 구축되었다. 본 시스템을 통해 학생들은 외과실습에서 습득해야 할 지식(총 30여 개의 항목) 및 술기(20여 개의 항목)을 확인할 수 있다. 학생들은 e-portfolio에 제시된 지식 측면의 각 학습성과 목록별로 학습 여부를 체크하고 학습성과를 달성했음을 확인할 수 있는 근거가 되는 자료를 함께 첨부하여 기록한다. 이러한 자료는 평가를 담당할 교수가 학생의 학습 여부를 확인하고 이를 피드백할 수 있는 근거가 된다. 또한 제시된 수기 항목별로 수행 여부를 확인하고 이를 통해 본인이 무엇을 배웠고 그 학습이 어떻게 진행되었고 무엇을 더 배워야 할지에 대해 성찰을 작성하도록 한다. 본 실습과목을 통과하기 위해서는 학생들은 제시된 지식 및 술기 학습항목에 대해 일정 점수 이상을 달성해야 한다. 특히 술기항목은 각 술기에 대해 학습경험을 난이도(쉬움 및 어려움) 및 참여 수준(관찰/보조/직접 수행)에 따라 배점의 가중치를 달리하여 평가한다. 본 e-포트폴리오에서는 학습성과의 달성 정도가 퍼센트로 제시되어 이를 시각적으로 쉽게 확인 할 수 있다. 이렇듯 본 사례에서는 e-포트폴리오를 활용함으로써 학생들에게 학습목표를 명확히 제시하고 이의 달성 여부를 스스로 점검할 수 있는 도구를 제공하여 학습을 관리하게 해주는 장점이 있다.
앞선 예와 같이 의학교육에서 e-포트폴리오는 주로 실습교육을 위해 구축되고 활용되어 왔다( Buckley et al., 2009 ). 하지만 이러한 시스템은 Toro-Troconsis & Hemani (2009) 이 주장한 기능을 갖춘 진정한 e-포트폴리오 시스템이라고 보기보다는 대학에서 일반적으로 사용하는 학습관리 시스템이 실습교육의 특성에 적합하지 않기 때문에 실습교육을 위한 맞춤형으로 개발된 학습관리 시스템에 가깝다고 볼 수 있다. 국내에서도 임상실습과목을 위한 실습평가 시스템 및 임상수기 및 임상수행 평가를 관리하는 시스템 등이 구축되고 활용되는 사례가 있다( Kim, 2013 ; Lim, 2013 ).
- 3. 역량 기반의 평가를 위한 e-포트폴리오
교육과정을 통해서 달성해야 할 역량을 설정하고 이를 달성하도록 교육하는 역량 기반의 교육이 의학교육의 주요 추세로 자리를 잡고 있다. 이러한 교육을 위해서는 학생이 역량을 달성했는지 파악하고 부족한 점은 개선이 되도록 역량 개발을 촉진하는 평가가 이루어져야 한다. Van der Vleuten (2012) 은 역량 기반의 평가를 위해서는 학생평가의 계획이 체계적으로 수립되어 장기적 관점에서 학생의 발전을 점검해야 한다고 주장한다. 한 시점에서만 실시하는 개별평가는 어떠한 평가방법을 활용하든 그 타당도와 신뢰도에 한계가 있다( van der Vleuten & Schuwirth, 2005 ). 이에 학생의 역량을 판단하기 위해서는 개별평가보다는 장기간에 축적된 평가결과를 종합하는 것이 바람직하다. 이렇듯 장기간에 걸친 평가를 추적함으로써 하나의 평가는 하나의 데이터 포인트가 되고 이것을 장기간 동안 축적하여 평가 데이터를 총괄하여 학생의 역량을 평가하는 것을 프로그램화된 평가라고 한다( van der Vleuten & Schuwirth, 2005 ). 이러한 프로그램화된 평가는 교육과정의 단계별로 학습활동 및 이에 대한 평가방법을 체계적으로 계획하고 평가 데이터를 축적하여 학생의 학습을 장기간에 걸쳐 관찰하고 평가한다.
이러한 프로그램화된 평가를 위해 장기간의 평가 데이터를 축적 하고 학생의 역랑 수준을 평가하는 도구로 e-포트폴리오가 활용된다. 프로그램화된 평가를 위해 e-포트폴리오를 구축한 대표적인 사례로 마스트리히트(Maastricht) 의과대학의 시스템이 있다( Driessen et al., 2012 ). 본 시스템에서는 개별 학생에 대한 모든 평가 데이터가 축적이 되고 그 결과를 요약한 정보를 다양한 방법으로 시각화하여 제시함으로써 장기적인 관점에서 학업성취도의 변화를 추적하고 동시에 일정 시점에서의 자세한 평가결과를 접근할 수 있도록 구축되어 있다. 그 예로 주기적으로 실시된 평가의 성적을 그래프를 표시하여 학업성취도의 추이를 파악하여 향후 학업성취도의 수준을 가늠할 수 있는 정보를 제시한다. 또한 본 그래프에서 특정 시점의 평가결과가 표시된 지점을 클릭하면 그 평가 데이터에 대한 상세한 정보가 제공된다. 그리고, 대학이 설정한 졸업성과별로 학생의 역량 수준을 동일 학년의 평균 점수와 비교하여 분석할 수 있도록 그래프를 제공한다. 이러한 e-포트폴리오를 활용하여 지도교수와 주기적으로 학습의 진행상황을 점검하고 이에 대한 개선점을 논의하는 형성평가를 위한 자료로 활용한다. 또한, 성적사정위원회에서 e-포트폴리오의 검토를 통해 진급에 필요한 역량 달성 여부를 판단하는 총괄평가자료로도 활용한다.
포트폴리오 기반 평가를 위한 e-포트폴리오를 구축하고 운영하는 또 다른 사례로서 미국 Cleveland Clinic의 러너(Lerner) 의과대학을 들 수 있다. 러너의대는 개교 시부터 역량 기반의 교육과정을 도입하여 이를 위해 포트폴리오 기반의 평가를 운영하고 있다( Dannefer & Henson, 2007 ). 학습성과를 개발하여 학생들이 이수해야 할 역량을 제시하고 학습성과를 달성했음을 입증할 수 있는 자료들을 모을 수 있도록 e-포트폴리오를 구축하였다. 본 시스템에는 대학에서 설정한 학습성과별로 이와 관련된 교육과정 내의 수업에서 제출한 다양한 종류의 과제물 및 수행 평가결과와 성적 데이터가 축적될 수 있다. 또한 학생은 e-포트폴리오에 기록된 다양한 데이터를 통합하여 자신의 역량을 스스로 평가하여 자신의 강점 및 약점, 그리고 개선을 위한 계획을 기록한다. 이러한 e-포트폴리오는 주기적인 지도교수와의 만남을 통한 학생지도를 위해 활용되며 진급 판단을 위한 성적 사정 시 근거자료로 활용한다. 이러한 e-포트폴리오와 학생지도 시스템의 연계가 이 대학에서 역량 기반 평가의 성공의 핵심이라고 Dannefer & Henson (2007) 는 지적한다. 교육학적 이론에 기반한 평가원칙을 수립하고 이에 합당한 e-포트폴리오와 학생상담 시스템을 설계한 것이 이 대학의 평가체계의 특징으로 볼 수 있다.
결 론
앞서 제시된 사례에서 보았듯이 포트폴리오는 역량 기반의 교육을 앞서 시작한 대학들에서 역량 기반의 교육을 위해 대학이 설정한 학습성과에 맞추어 e-포트폴리오의 내용 및 기능을 구성하여 시스템을 구축하고 이를 역량 기반의 평가에 활용하고 있음을 볼 수 있다. 현재 국내의 의학교육에서는 e-포트폴리오의 도입이 초기 단계이고 주로 실습교육의 성적기록 등 학습관리를 위한 목적으로 사용되고 있는 수준에서 운용되고 있다. 국내의 의과대학에서도 현재 진행 중인 성과 기반의 교육을 위한 학습성과를 정의하는 단계에서 한 단계 더 도약하기 위해서는 이에 맞는 평가체계의 도입이 필요하며 이를 위해 e-포트폴리오의 활용이 중요한 역할을 할 것으로 생각된다.
본 논문에서는 임상실습 교육을 위한 e-포트폴리오의 사례가 주로 소개되었으며 기존의 문헌에서도 의료인문학 교육과정에서 e-포트폴리오를 활용한 사례는 매우 부족한 것으로 보인다. 포트폴리오가 전문성 개발을 위한 교육을 위해 많이 활용되어 왔고 기존의 전통적인 방법으로는 효과적인 평가가 어려웠던 영역인 태도, 직업전문성, 팀워크 등의 학습 및 평가에 효과적이라는 기존 연구결과를 보았을 때( Azer, 2008 ; Buckley et al., 2009 ), 의료인문학 교육에 포트폴리오 활용은 긍정적인 역할을 할 수 있을 것으로 기대되며 e-포트폴리오를 활용함으로써 의과대학 학생들의 전문직업성 개발 을 위해 필요한 다양한 학습활동에 대한 기록물의 관리 및 성찰의 효과를 높이는데 기여할 수 있을 것으로 기대된다.
e-포트폴리오가 성공적으로 활용되기 위해서는 대학의 특성 및 요구에 맞게 교육현장에서 시행이 가능하도록 시스템이 구축돼야 할 것이다. 바쁜 실습교육현장의 환경을 고려했을 때 시행 가능한 평가는 효율적이고 간단하며 학생 주도적이어야 한다( Driessen et al., 2012 ). 앞에 소개된 e-포트폴리오의 사례를 봤을 때 e-포트폴리오는 학생 스스로 학습계획을 수립하고 학습과정 및 결과의 근거를 수집하고 이를 성찰하도록 함으로써 학생 주도적인 평가가 실행되도록 지원하는 장점이 있다. 또한 e-포트폴리오는 학습과정 및 결과를 반영하는 자료들을 웹을 통해 간편하게 저장하고 접근함으로써 평가과정을 효율적이고 간단하게 만드는 장점이 있다. 이러한 장점에도 불구하고 e-포트폴리오는 그 시스템 구축에 많은 비용이 소모되며 이를 작성하고 평가하는 입장에서 교수와 학생 모두에게 시간이 많이 소요되는 일이므로 이를 효율적으로 개발하고 효과적으로 운영하기 위한 방안을 사전에 계획하는 것이 필요할 것이다. 이를 위해 고려할 사항 몇 가지를 제언한다.
Dannefer & Henson (2007) 는 e-포트폴리오를 개발하기 전에 종이 기반의 포트폴리오를 사용하여 시범으로 운영함으로써 이 기간의 경험을 통해 대학에 필요한 e-포트폴리오의 요구를 파악한 후 이를 반영하여 전산 시스템을 개발하는 과정을 거쳤다고 소개한다. e-포트폴리오 시스템 개발 이후에 대규모의 수정작업은 많은 시간과 비용이 소요될 수 있음을 고려했을 때 이러한 테스트 기간을 거쳐 대학의 요구에 맞는 시스템을 개발함으로써 이후 필요한 수정/ 보완작업을 최소화할 수 있을 것이다. 이와 유사한 접근법으로 rapid prototyping ( Tripp & Bichelmeyer, 1990 ) 방법을 활용하여 e-포트폴리오 시스템을 설계하고 사용자를 대상으로 시안에 대한 피드백을 받고 이를 기반으로 시스템을 개선하는 과정을 거쳐 개발을 한다면 대학의 필요를 반영한 시스템을 효과적이고 효율적으로 구축할 수 있을 것이다.
e-포트폴리오의 구축만으로 효과적인 활용을 장담할 수는 없다. Dannefer & Henson (2007) 는 포트폴리오가 효과적으로 활용되기 위해서는 학생들이 포트폴리오를 만드는 일이 단순한 작업이 아니라 의미 있는 학습활동으로 인식해야 하며 이를 위해서는 포트폴리오를 매개로 학생의 학업성취도 개선 여부에 대해 교수와 학생들이 대화를 하는 과정이 있어야 한다고 조언한다. 이와 유사하게 van Tarwijk & Drissen (2009) 는 e-포트폴리오의 성공적인 운영을 위해서는 그 과정에서 멘토의 지원이 핵심적이며 포트폴리오에 대한 평가와 학생면담을 결합함으로써 평가의 효과를 더욱 높일 수 있다고 주장한다.
특히 e-포트폴리오에 기반한 평가는 학습경험에 대한 성찰을 통해 자신의 강점뿐만 아니라 약점을 스스로 평가하고 개선점을 파악하는 과정이 포함되어 있기 때문에 학생의 입장에서 자신의 약점에 대한 성찰의 결과가 자신에게 불이익이 될 수 있다고 인식되면 e-포트폴리오의 진정한 효과를 기대하기 어려울 것이다. 성찰을 통해 파악된 자신의 약점을 개선하고 목표한 역량을 달성할 수 있는 방안을 교수와의 대화를 통해 수립하는 의미 있는 형성평가의 과정이 총괄평가 이전에 지속적으로 진행되어야 포트폴리오가 진정으로 학습을 촉진하는 방법으로 활용될 것으로 생각된다. 또 다른 면에서, e-포트폴리오가 총괄평가에 반영되지 않는다면 이 또한 학생들은 e-포트폴리오 작성이 불필요한 일이라고 생각할 수 있으므로 e-포트폴리오가 총괄평가에 반영되도록 계획을 세우는 것도 필요할 것이다.
이러한 점들을 고려했을 때 e-포트폴리오가 학습을 촉진하는데 효과적으로 활용되려면 교수와 학생 모두에게 e-포트폴리오에 대한 교육이 필요하다. 교수에게는 e-포트폴리오를 활용하여 효과적으로 학생지도를 하는 방법에 대한 교육이 필요하다. 학생에게는 e-포트폴리오 작성은 시간이 많이 소요될 수 있기 때문에 효과적인 e-포트폴리오 작성방법에 대한 교육을 제공함으로써 이에 적응하도록 학생들을 지원하는 것이 필요할 것으로 생각된다.
References
Azer S. A. 2008 Use of portfolios by medical students: significance of critical thinking Kaohsiung J Med Sci 24 ((7)) 361 - 366
Bashook P. G. , Gelula M. H. , Joshi M. , Sandlow L. J. 2008 Impact of student reflective e-portfolio on medical student advisors Teach Learn Med 20 ((1)) 26 - 30
Buckley S. , Coleman J. , Davison I. , Khan K. S. , Zamora J. , Malick S. , Sayers J. 2009 The educational effects of portfolios on undergraduate student learning: a Best Evidence Medical Education (BEME) systematic review Med Teach BEME Guide No. 11 31 ((4)) 282 - 298
Challis M. 1999 AMEE medical education guide no.11 (revised): portfolio-based learning and assessment in medical education Med Teach 21 ((4)) 370 - 386
Dannefer E. F. , Henson L. C. 2007 The portfolio approach to competencybased assessment at the Cleveland Clinic Lerner College of Medicine Acad Med 82 ((5)) 493 - 502
Driessen E. W. , Muijtjens A. M. , van Tartwijk J. , van der Vleuten C. P. 2007 Web- or paper-based portfolios: is there a difference? Med Educ 41 ((11)) 1067 - 1073
Driessen E. W. , van Tartwijk J. , Govaerts M. , Teunissen P. , van der Vleuten C. P. 2012 The use of programmatic assessment in the clinical workplace: a Maastricht case report Med Teach 34 ((3)) 226 - 231
Im S. 2013 The medical education information system at Pusan National University School of Medicine Yeungnam University College of Medicine Daegu symposium on developing and implementing medical education systems for improving the quality of medical education
Kim K.-J. 2013 Strategies for developing and implementing medical education information systems for improving the quality of medical education symposium on developing and implementing medical education systems for improving the quality of medical education Yeungnam University College of Medicine Daegu
Kim J. S. , Ho S. H. , Lee J. 2006 Design and implementation of a web-based portfolio assessment system for a family medicine residency program in Korea Korean J Med Educ 18 ((3)) 259 - 269
Miller G. E. 1990 The assessment of clinical skills/competence/performance Acad Med 65 ((9 Suppl)) S63 - S67
Sanchez Gomez S. , Ostos E. M. , Solano J. M. , Salado T. F. 2013 An electronic portfolio for quantitative assessment of surgical skills in undergraduate medical education BMC Med Educ 13 65 -
Tripp S. D. , Bichelmeyer B. 1990 Rapid prototyping: an alternative instructional design strategy Educ Technol Res Dev 38 ((1)) 31 - 44
Toro-Troconsis M. , Hemani A. 2009 E-portfolios evaluation report Faculty of Medicine, Imperial College London
Van der Vleuten C. P. , Schuwirth L. W. 2005 Assessing professional competence: from methods to programmes Med Educ 39 ((3)) 309 - 317
Van der Vleuten C. P. , Schuwirth L. W. , Driessen E. W. , Dijkstra J. , Tigelaar D. , Baartman L. K. , van Tartwijk J. 2012 A model for programmatic assessment fit for purpose Med Teach 34 ((3)) 205 - 214
Van Tartwijk J. , Driessen E. W. 2009 Portfolios for assessment and learning: AMEE guide no. 45 Med Teach 31 ((9)) 790 - 801