Advanced
Item Analysis of Japanese NCTUA for the Quality Improvement of Chemistry Items of CSAT
Item Analysis of Japanese NCTUA for the Quality Improvement of Chemistry Items of CSAT
Journal of the Korean Chemical Society. 2010. Dec, 54(6): 818-828
Copyright © 2010, The Korean Chemical Society
  • Received : August 27, 2010
  • Accepted : October 04, 2010
  • Published : December 20, 2010
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
TagCloud
About the Authors
현경 김

Abstract
대학수학능력시험(수능)이 1994학년도에 처음 시행된 이후 17년이 지나고 여러 번의 모의평가 출제로 인해 문항의 패턴화, 지식 중심의 출제라는 비판이 제기되고 있다. 이러한 문제에 대한 시사점을 얻기 위해 한국과 마찬가지로 국가 중심 교육과정이며 국가 수준에서 이루어지는 선다형 시험 유형을 가진 일본의 대학입시센터시험(센터시험) 문항을 분석하였다. 이 연구에서는 2009년 1월에 시행한 센터시험의 이과시험에서 화학 문항을 수능과 관련하여 내용 요소 및 행동 영역에 따라 분석하고, 문항 유형과 특이 사항을 분석하였다. 또한 한국 수험생의 관점에서 예상 정답률을 추정하여 수능의 화학 문항 출제에 주는 시사점을 도출하였다.
Keywords
서론
대학수학능력시험(이하 수능)은 대학 신입생 선발을 위한 타당성 제고, 대학 입시의 공공성을 유지하기 위한 최소한의 조정기능 유지, 고차적인 사고력의 평가 강화, 교육적으로 의미 있는 경쟁의 유도 등을 목적으로 대학입학학력고사 대신에 1994학년도부터 도입된 국가고사이다. 1 수능은 대학입시 전형자료로서도 중요한 역할을 하지만, 출제 내용과 문항 유형 및 난이도 등이 고등학교를 비롯하여 그 이하 학교 급까지 교수학습 내용 및 방법에 커다란 영향을 미치기도 한다. 2 - 4 따라서 수능은 적정 수준의 변별력과 난이도를 유지해야 할 뿐만 아니라 수학능력을 측정하기에 타당하며, 문제 및 정답에 이상이 없는 완성도 높은 문항의 출제가 요구된다. 5 , 6
수능은 고등학교 교육 정상화와 공정한 대학입학 사정 자료를 제공하기 위하여 지난 17년간 그 규모가 커지고, 복잡하고 정교한 체제로 성장하여 왔다. 그렇게 거대하고 복잡하게 성장하는 과정에서 문제점도 심각하고 복잡해졌을 가능성은 꾸준히 감지되고 있었다. 7 , 8 수능이 도입 초기에는 사고력 중심의 통합교과적 시험으로 대학수학 적격자 선발에 적합하다는 평가를 받았다. 9 그러나 출제범위가 선택중심의 교과와 연결되면서 대학에서의 수학능력을 측정하는 학업적성검사의 성격에서 벗어나 각 교과의 학업성취도 시험으로 그 성격이 변화하였다는 비판도 있다. 10 즉, 시일이 경과되면서 시험과목 또는 영역의 확대를 비롯하여, 시험문항수와 시험시간의 증가, 점수체제의 변화 등 수능의 성격과 체제 및 기능에 많은 변화가 일어났다. 따라서 애초 수능을 도입하면서 표방하였던 ‘대학수학에 필요한 보편적인 학업능력’을 측정한다는 취지는 점차 퇴색되고 어떤 의미에서는 고등학교 교과목의 학업성취를 제대로 측정하지도 못하고, 그렇다고 일반적인 대학수학능력을 측정하지도 못한다는 비판이 제기되었다. 10 , 11
수능의 타당성 확보는 그 시험이 교육현장에 미치는 영향이 지대하기에 더욱 필요하다. 제 7차 교육과정의 기본 방향이 자율적이고 창의적인 한국인 육성으로 설정되었다 할지라도 대학진학이 학생들의 학습동기 중 가장 큰 부분을 차지하고 있는 현실 속에서 수능 출제 방향과 반영 방법에 따라 중 ․고교 교육의 내용과 방향, 형식이 바뀌어 올 수 밖에 없다. 이러한 이유 때문에 수능에서 과학탐구 영역에 대한 타당도 검토가 이루어져야 하며, 과학탐구 영역의 평가 문항 개선은 현장에서의 과학 교육을 가장 효과적으로 개선할 수 있는 방법 중 하나가 될 수 있을 것이다.
현재 이러한 이유로 수능의 타당성을 다루는 연구는 상당수에 이른다. 수능 체제의 개선을 목적으로 하는 논의 외에 7 - 9 , 12 , 13 예언타당성의 경험적 검증 등 14 , 15 - 17 상당 수에 이른다. 또한 수능의 난이도 조정에 관한 연구나 수능의 출제 경향과 문제 유형에 관한 연구가 있다. 3 , 5 , 18 , 19 특히 수능에서 과학탐구 영역에 관한 연구로 과학적 탐구사고력 평가에 대한 과학교사들의 관심에 관한 연구나 수능 문항이나 응시자의 응답, 응시자 수 등을 정량적으로 분석한 연구들이 수행되었다. 20 - 24
한편 수능과 유사한 성격의 외국 사례에 대한 연구도 이루어졌는데 미국, 영국, 일본의 대학입학시험 점수체제에 관한 연구나 25 일본의 대학입시제도에 관한 연구, 26 , 27 일본의 대학입시센터시험(이하 센터시험)에 대한 분석이 28 , 29 이루어졌다. 또한 센터시험의 개별과목의 문항 분석에 대한 연구로는 한국어 문항, 30 수학 문항, 31 영어 문항, 32 - 35 역사 문항, 36 지리 문항, 37 중국어 문항 38 등에 관한 연구가 수행되었다. 그러나 화학 문항에 있어서 다른 나라와 비교하거나 센터시험의 화학 문항과 관련된 연구가 미진하다.
따라서 본 연구에서는 수능의 신뢰도와 타당도 제고를 위해 한국과 마찬가지로 국가 중심 교육과정이며 국가 수준에서 이루어지는 선다형 시험 유형을 가진 일본 센터시험의 화학 문항을 분석하였다. 2009년 1월에 시행한 센터시험의 이과시험 39 에서 화학 문항을 수능과 관련하여 내용 요소 및 행동영역에 따라 분석하고, 문항 유형과 특이 사항을 분석하였으며 한국 수험생의 관점에서 예상 정답률을 추정하여 수능의 화학 문항 출제에 주는 시사점을 도출하고자 하였다.
연구 방법
- 문항 분석 대상과 방법
일본의 센터시험 문항을 분석하기 위해 일본입시센터 홈페이지에 39 게시된 2009년 1월에 시행된 검사의 문항을 대상으로 하였으며 수능과 비교하기 위해서는 2008년 11월에 시행된 2009학년도 수능 시험 문항을 사용하였다.
센터시험의 문항 분석은 각 과목별로 수능 출제 경험이 있는 3명의 교사와 1 - 2명의 출제 경험이 있는 과학교육 박사로 구성된 전문가들의 협의를 통해 이루어졌다. 센터시험의 문항 분석은 교육과정 내용요소, 행동요소, 예상 정답률 등을 중심으로 이루어짐을 고려하여 교육과정에 대한 이해와 함께 문항 출제나 검토에 경험이 있는 화학 교사를 문항 분석을 위한 전문가로 위촉하였다.
분석에 참여한 교사들은 정답이 포함되지 않은 센터시험의 문항을 제공 받은 후 한국의 수험생들이 문항을 풀이하였을 때처럼 문항의 정답을 찾고 예상 정답률을 각자 추정하였다. 예상 정답률과 함께 센터시험 문항의 내용요소와 행동요소, 센터시험의 문항 내용이 포함된다고 생각하는 한국의 해당과목을 분석하였다. 한국의 해당과목은 7차 교육과정에 편제된 과목으로 분석하였으며, 문항 오류나 문항 형태 등 특이사항도 분석하였다.
3인의 교사가 각자 문항을 분석한 후 일치도를 높이기 위한 합의를 위해 전문가 협의회가 진행되었다. 전문가 협의회에서 교사들은 내용요소와 행동요소, 한국의 교육과정에 해당하는 과목과 특이한 문항 등에 대해 분석한 내용을 논의하였으며, 논의 후 각 분석 내용에 대해 합의하였다. 예상 정답률은 각 교사들의 예상정답률을 평균하였다. 분석과정에서 센터시험 문항이 소속된 과목명과 큰 문항 번호인 대문(大問) 번호, 큰 문항인 대문(大問)에 포함된 문항의 번호를 기입하였으며, 아울러 정답도 기입하였다.
- 문항 분석 항목
일본의 센터시험의 문항 분석 항목은 해당 과목명, 교육과정 내용 요소, 행동영역 요소, 예상정답률 등이며, 각 항목의 내용과 문항 분석에 사용된 분석틀은 1 과 같으며 자세한 사항은 다음 내용과 같다. 6
1) 과목명에는 이과종합 A와 화학I을 구분한다.
Item Analysis Framework of Japanese NCTUA Chemistry in 2009
PPT Slide
Lager Image
Item Analysis Framework of Japanese NCTUA Chemistry in 2009
2) 대문(大問)은 과목에 따라 4 - 5개로 구성되어 있으며 각 대문은 여러 개의 문항으로 구성되어 있다. 각 대문은 대체로 일본의 교육과정에 의해 나누어진 대단원별로 출제된다.
3) 한국의 해당 과목명의 경우는 10학년 과학, 화학I, 화학II로서 한국의 교육과정 수준에 해당하는 과목을 의미하며, 제7차 교육과정을 벗어난 내용으로 한국의 대학교 수준일 경우에는 ‘대학’으로 분석한다.
4) 제7차 교육과정 내용 요소로는 한국의 제7차 교육과정에 해당하는 중단원명으로 분석하며, 대학교 수준일 경우에는 대학 과정의 개념 요소로 분석한다.
5) 행동 영역에 있어서는 센터시험의 문항이 수능에서 사용되는 행동 요소인 ‘이해’, ‘적용’, ‘문제인식 및 가설설정’, ‘탐구설계 및 수행’, ‘자료분석 및 해석’, ‘결론도출 및 평가’ 중 어떤 것에 해당하는지 분석한다.
6) 예상 정답률은 수능과 비교하여 1% 단위로 추정한다.
7) 특이 사항으로는 문항오류나 정답 오류 가능성을 분석하거나, 교육과정 위배 여부를 분석하며, 8지선다 등과 같이 우리의 수능과 비교하여 특이한 점 등이 있는지 분석한다.
연구 결과 및 논의
- 일본 대학입시센터 시험 이과 과목의 개요
2 는 한국과 일본의 고등학교 과학과 교육과정의 편성 및 대학입학 시험 과목을 비교한 것이다.
한국의 경우 제7차 교육과정에서 10학년은 국민공통기본 교육과정이 적용되어 모든 학생들이 과학을 이수하도록 되어 있으며, 이후 선택중심교육과정에 따라 2년 동안 생활과 과학, 물리I, 화학I, 생물I, 지구과학I, 물리II, 화학II, 생물II, 지구과학II 등 9과목을 학교, 개인 등의 선택에 따라 이수하도록 되어 있다. 수능 시험에서 출제 과목은 생활과 과학을 제외한 나머지 8과목이다.
반면, 일본의 경우는 학년에 따른 구분 없이 이과 기초, 이과 종합 A, 이과 종합 B, 물리I, 물리II, 화학I, 화학II, 생물I, 생물II, 지학I, 지학II 등 11과목 중 최소 2과목 이상을 이수하도록 되어 있으며, 이때 이과 기초, 이과 종합 A, 이과 종합 B 등 3과목 중 1과목 이상을 필수로 이수하게 되어 있다. 여기서 이과기초는 물리, 화학, 생물, 지구과학을 통합한 내용이며, 이과 종합 A는 물리와 화학을, 이과 종합 B는 생물과 지구과학을 통합한 과목이다. 일본의 센터시험에서는 이과 종합 A, 이과 종합 B, 물리I, 화학I, 생물I, 지학I 등 6개 과목만이 출제되며 2과목씩을 묶어 그중 1과목을 선택하여 최대 3과목까지 선택할 수 있게 되어있다.
Science curriculum and college entrance exam subject of High school of Korea and Japan
PPT Slide
Lager Image
Science curriculum and college entrance exam subject of High school of Korea and Japan
- 일본 대학입시센터 시험의 화학 문제 작성 방침
일본 센터시험의 경우 시험문제평가위원회를 구성하여 시험이 종료된 후 보고서를 작성한다. 화학 과목에 대해서는 고등학교의 화학 교사의 의견과 일본이화학협회와 일본화학회 등 관련 연구 단체의 의견을 수렴하며, 이를 바탕으로 일본 대학입시센터의 문제작성부에서 화학 문항을 출제할 때 유의해야 할 점을 제시하고 있다. 39 우선 현행 고등학교 학습지도요령에 준거하고, 교과서에 기재되어 있는 사항을 기초로하여 기본문제 · 발전문제 · 응용문제 모두에서 교과서 범위를 넘지 않으면서 특정 교과서에 치우치지 않도록 하게 한다. 특히 고등학교 학습지도요령의 기본방침인 과학적 사고력이나 응용력을 묻는 문제를 가능한 많이 작성하게 하며 화학의 기초사항에 관한 정확한 지식을 물으면서 과학 기술의 현황을 지속적으로 살펴보면서 최신 결과를 넣도록 하고 있다. 또한 실험이나 관찰에 근거하여 화학현상이나 실험조작을 파악할 수 있는 문제를 출제하도록 하고 있다. 평균점이 60점 정도가 되도록 난이도에 유의하여 문제를 작성하고 질문 형식 · 방법 · 표현의 명쾌함으로 공평성에 유의하도록 하며 60분의 시험시간 내에 답할 수 있는 분량으로 하여, 질문의 배열에 유의하도록 하고 있다. 특히 상세한 평가가 가능할 수 있도록, 고득점자를 변별할 수 있는 문제, 저득점자를 변별할 수 있는 문제, 전체적으로 변별력이 있는 문제를 섞어서 균형 있게 출제하도록 하고 있다.
- 이과종합 A에 있는 화학 문항 분석 결과
2009년도 일본 센터 시험 이과종합 A 과목은 3 과 같이 모두 5개의 큰 문항인 대문(大問)으로 구성되었다. 일본의 이과종합 A 교육과정은 자연탐구, 자원 ․ 에너지와 인간생활, 물질과 인간생활, 과학기술의 진보와 인간생활로 총 4개의 단원으로 구성되어 있다. 이과종합 A의 총 26문항 중에서 화학 내용이 13문항으로 구성되어 있으며 한국의 교육과정에 비추어보면, 화학 I에서 ‘물과 우리생활’에서 1문항, ‘금속과 그 이용’에서 6문항, ‘생활 속의 화합물’에서 1문항, 화학II에서 ‘기체, 액체, 고체’에서 2문항, ‘산화 ․ 환원 반응’에서 2문항이 출제되었다. 또한 생물 내용인 ‘효소의 특성’에 대해 1문항이 출제되었고 일본에서는 화학 육과정에 ‘효소’ 내용이 포함되어 있다. 대문(大問) 제1번은 전동어시스트 자전거를 소재로 한, 에너지에 관한 물리 ․ 화학 분야로 6개의 문항으로 구성되었으며, 대문(大問) 제2번은 생활 속에서 수돗물과 에너지를 소재로 한 화학 분야로 5개의 문항으로 구성되었다. 대문(大問) 제3번은 두 종류의 금속을 실험재료로 한 열에너지의 이동과 금속의 반응에 관한 물리 ․ 화학 분야로 5개의 문항으로 구성되었으며 대문(大問) 제4번은 동, 철, 알루미늄 금속을 재료로 한 화학분야로 5개의 문항으로 구성되었다. 대문(大問) 제5번은 역학적 에너지 보존과 자유낙하에 대한 물리분야로 5개의 문항으로 구성되었다.
Composition of big item of Japanese NCTUA Comprehensive Nature Science A in 2009
PPT Slide
Lager Image
Composition of big item of Japanese NCTUA Comprehensive Nature Science A in 2009
Contents level of Chemistry Item of Japanese NCTUA Comprehensive Nature Science A in 2009 that compared with Korea curriculum
PPT Slide
Lager Image
Contents level of Chemistry Item of Japanese NCTUA Comprehensive Nature Science A in 2009 that compared with Korea curriculum
Behavioral domains of Chemistry Item of Japanese NCTUA Comprehensive Nature Science A in 2009
PPT Slide
Lager Image
Behavioral domains of Chemistry Item of Japanese NCTUA Comprehensive Nature Science A in 2009
4 는 한국의 10학년 과학, 화학I, 화학II와 비교하여 일본 이과종합 A의 화학 문항의 내용 수준을 분석한 것이다. 10학년 과학 수준에서는 한 문항도 출제되지 않았으며, 화학I 수준의 내용이 61.4%인 8문항 출제되었고, 화학II 수준의 내용이 31.0%인 4문항 출제되었으며, 한국 고등학교의 화학 교육과정에서 다루고 있지 않는 내용에서 1문항인 7.6%가 출제되었다. 특히 일본의 경우, 효소에 관한 내용을 화학 교육과정에서 다루고 있고 화학 문항에서 출제됨을 알 수 있다.
이과종합 A에서 화학 문항을 행동 요소에 따라 분석한 결과는 5 와 같다. 문제인식 및 가설설정, 탐구설계 및 수행에 해당하는 문항은 한 문항도 출제되지 않았으며, 자료분석 및 해석에 해당하는 문항이 2문항, 결론도출 및 평가에 해당하는 문항이 3문항 출제되었다. 반면 이해에 해당하는 문항이 8문항 출제되어 전체의 61.5%를 차지하였다. 수능의 경우 이해와 적용에 해당하는 문항을 40% 이하로 출제하는 것을 고려할 때 6 , 9 전체적으로 탐구 기능을 묻는 문항보다는 단순 개념을 확인하는 문항이 많이 출제된 것으로 판단된다.
예상정답률 분포는 6 과 같다. 수능의 경우 목표 정답률은 0 - 39%, 40 - 59%, 60 - 79%, 80 - 100%에 해당하는 문항을 총 20문항 출제 시, 각각 3문항(15%), 7문항(35%), 7문항(35%), 3문항씩(15%)의 분포로 출제하는 것이다. 6 그런데 일본 문항에 대한 수능 기준으로 산출한 예상정답률은 0 - 39%, 40-59%, 60 - 79%, 80 - 100%에 해당하는 문항이 각각 1문항(7.7%), 1문항(7.7%), 6문항(46.2%), 5문항(38.4%)씩 출제되어 전체적으로 수능에 비해 매우 쉬운 경향을 보인다. 그러나 일본에서는 센터시험에서 이과종합 A의 기피 현상이 일어나고 있다. 이는 수업에서 다루지 않는 내용이 센터시험에서 출제되고 있고, 평균 점수도 3년 연속해서 60점을 밑돌고 있기때문이다. 39 따라서 일본에서 이과종합 A가 아니라 ‘물리 ㆍ 화학 기초 + 과학적 교양’으로 된 ‘센터시험판 ㆍ 이과종합 A’라는 비판이 있으며, 이과종합 A를 배우는 학생이 자신이 학습한 내용을 도달점으로 목표를 삼을 수 있도록 양질의 적절한 출제를 기대하는 비판적 분석이 있다. 39
Distribution of predicted correct-answer percentage of Chemistry Item of Japanese NCTUA Comprehensive Nature Science A in 2009
PPT Slide
Lager Image
Distribution of predicted correct-answer percentage of Chemistry Item of Japanese NCTUA Comprehensive Nature Science A in 2009
- 화학I 문항 분석 결과
2009년도 일본 센터시험 화학I 과목은 7 과 같이 모두 4개의 대문(大問)으로 구성되었다. 일본의 화학I 교육과정은 물질의 구성, 물질의 변화, 무기물질, 유기화합물로 총 4개의 단원으로 구성되어 있다. 대문 제1번은 각 단원의 기본 개념을 묻는 개별적인 7개의 문항으로 구성되었으며, 한국 교육과정에 비추어보면, 10학년 과학의 전해질과 이온에서 1문항, 화학I 전범위에서 1문항, 화학II에서 기체, 액체, 고체에서 1문항, 용액에서 1문항, 원자구조와 주기율에서 1문항, 화학 결합에서 2문항이 출제되었다. 대문 제2번은 열, 중화 반응, 전기분해에 관하여 기본적인 내용을 다면적, 종합적으로 묻는 개별적인 7개의 문항으로 구성되었다. 한국 교육과정에 비추어보면, 모두 화학 II 내용에서 출제되었으며, 화학반응과 에너지에서 3문항, 산과 염기의 반응에서 2문항, 산화환원반응에서 2문항이 출제되었다. 대문 제3번은 무기 물질에 관한 고교 교과서에 기술되어 있는 사항에 근거한 문제로 개별적인 7개의 문항으로 구성되었다. 한국 교육과정에 비추어보면, 화학I의 알칼리 금속과 할로겐 원소에서 1문항, 화학 II의 원자구조와 주기율에서 2문항, 산화환원 반응에서 2문항, 대학 일반화학의 산과 염기 반응에서 1문항, 적정(부피 분석)에서 1문항이 출제되었다. 대문 제4번은 주로 유기화합물에 관해 묻는 개별적인 7개의 문항으로 구성되었다. 한국 교육과정에 비추어보면, 화학 I의 탄화수소, 탄화수소의 유도체, 탄소화합물과 우리 생활에서 골고루 총 4문항, 대학 일반화학의 탄화수소와 시료 분석에서 3문항이 출제되었다. 특히 대문 제3번과 제4번의 경우, 한국 교육과정을 벗어난 범위에서 총 14문항 중에서 5문항이나 되었다.
Composition of big item of Japanese NCTUA Chemistry I in 2009
PPT Slide
Lager Image
Composition of big item of Japanese NCTUA Chemistry I in 2009
Contents level of Chemistry Item of Japanese NCTUA Chemistry I in 2009 that compared with Korea curriculum
PPT Slide
Lager Image
Contents level of Chemistry Item of Japanese NCTUA Chemistry I in 2009 that compared with Korea curriculum
8 은 한국의 10학년 과학, 화학I, 화학II와 비교하여 일본 센터시험의 화학I 문항의 내용 수준을 분석한 것이다. 10학년 과학에서 1문항 출제되었으며, 화학I 수준의 내용에서 21.4%인 6문항 출제되었고, 화학II 수준의 내용이 57.2%인 16문항 출제되었으며, 한국 고등학교 교육과정에서 다루고 있는 내용이지만 대학 수준의 심화된 내용이 2문항, 한국 교육과정에서 전혀 다루고 있지 않은 내용에 관한 문항이 3문항으로 한국 교육과정 외에서 총 5문항인 17.9%나 출제되었다.
Behavioral domains of Chemistry Item of Japanese NCTUA Chemistry I in 2009
PPT Slide
Lager Image
Behavioral domains of Chemistry Item of Japanese NCTUA Chemistry I in 2009
Distribution of predicted correct-answer percentage of Chemistry Item of Japanese NCTUA Chemistry I in 2009
PPT Slide
Lager Image
Distribution of predicted correct-answer percentage of Chemistry Item of Japanese NCTUA Chemistry I in 2009
이과 문항 중 화학I 문항을 행동 요소에 따라 분석한 결과는 9 와 같다. 문제인식 및 가설설정, 탐구설계 및 수행과 자료분석 및 해석에 해당하는 문항은 한 문항도 출제되지 않았으며, 결론도출 및 평가에 해당하는 문항이 1문항 출제되었다. 반면 이해와 적용에 해당하는 문항이 각각 15문항과 12문항 출제되어 전체의 96.4%를 차지하였다. 특히 이과 종합 A에서 화학 문항의 경우 이해와 적용에 해당하는 문항이 61.5%인 것에 비해 화학I에서 그 비율이 더 높다. 수능의 경우 이해와 적용에 해당하는 문항을 40% 이하로 출제하는 것을 고려할 때 일본 센터시험 문항의 경우 전체적으로 탐구 기능을 묻는 문항보다는 개념 확인을 위한 문항이 많이 출제되며 특히 이과종합 A에서보다 화학I에서 더 많이 개념을 확인하는 문항이 출제되는 것으로 보인다.
예상정답률 분포는 10 과 같다. 수능의 경우 목표 정답률 분포는 0 - 39%, 40 - 59%, 60 - 79%, 80 - 100%에 해당하는 문항을 각각 3문항(15%), 7문항(35%), 7문항(35%), 3문항씩(15%) 출제하는 것이다. 6 그런데 일본 문항의 경우 0 - 39%, 40 - 59%, 60 - 79%, 80 - 100%에 해당하는 문항이 각각 9문항(32%), 10문항(36%), 7문항(25%), 2문항(7%)씩 출제되었다. 이러한 결과에는 한국의 교육과정을 벗어나는 내용에 대해 예상한 정답률 추정치가 매우 낮게 책정되었기 때문으로 보인다.
또한 일본 고등학교 교과담당 교사들이 일본 센터시험의 문항을 검토하여, 문항에 대한 의견을 제시하고 평가한 보고서를 작성하고 있다. 39 문항을 검토하고 평가하는 관점은 고등학교학습지도요령 범위 내에서 출제하였는지, 자연에 대한 종합적인 시각이나 사고력을 보는 문제였는지, 출제 내용이 특정교과서나 특정 분야 영역에 치우치지 않는 문항이었는지에 관한 것이다. 또한 문장의 표현이나 용어가 적절한 문항인지, 시험내용의 정도나 문항수, 형식 등이 적절한 출제였는지, 마지막으로 득점 분포가 적절한 출제였는지가 검토 관점이다.
이상의 검토 관점에 따라 일본 고등학교 화학 담당 교사들의 평가에 의하면, 이과종합 A는 고등학교의「이과」기초과목으로서, 에너지에 대한 생각이나 물질의 성립을 소재로 한 과학적으로 고찰하는 능력을 평가하는 문제였다고 하였다. 또한 과목의 목표에 따라, 지식문제에 치중하지 않고 그래프나 실험결과를 바탕으로 사고력과 판단력을 묻는 문제가 균형 있게 잘 출제되었다고 평가하였다. 그러나 이 연구에서 수능과 비교하여 분석한 결과에 의하면, 지식을 묻는 문제와 사고력을 묻는 문제의 균형이 잘 이루어져 있다고 보기 어려우며, 지식에 관한 문항이 60%이상이었다. 심지어 화학I의 경우는 96.4%가 지식에 관한 문항이었다. 하지만 일본 고등학교 화학담당 교사가 문항에 대해 위와 같은 검토관점을 가지고 분석하여 보고서를 작성하는 점에 대해서는 수능 문항을 출제하거나 검토할 때에도 고려해할만한 내용이다.
- 문항 사례 및 특이 사항 분석
- 실험 문항 및 다지 선다형 문항과 세트 문항
일본 센터시험은 일반적으로 위의 사례 1 에 제시된 예와 같이 ‘대문-자료-소문’과 같은 형식으로 구성되며, 각 대문은 2 - 3개 정도의 자료와 자료당 2 - 3개의 소문으로 구성된다. 소문 뒤에 네모 칸에 씌어 있는 숫자는 해답의 번호를 적은 것이다. 사례 1 의 대문 번호가 3인 제3문의 경우 열에너지의 이동과 금속의 반응에 관한 내용으로 소문 3개는 물리와 관련된 내용을, 소문 2개는 화학 내용을 묻고 있다. 센터시험에서도 화학은 실험을 기본으로 하여 이루어지는 학문이라는 것을 고려하여, 고등학교 학습지도요령에 근거하여 실험 및 탐구활동에 관련된 문제를 반드시 다룰 것을 요구하고 있다. 또한 고등학교 학교 현장에서 행하고 있는 실험을 소재로한 문제와 실제로 실험을 한 다음에 출제를 할 것을 요구하고 있다. 이과 종합 A에서 다룬 문항은 실험방법이나 결과를 기본으로 고려하는 문제로서 2009년 센터시험에서는 이러한 유형의 문제가 많고 대체로 자연에 대한 시각이나 사고력을 보는 문제가 많다는 일본 교사들의 좋은 평가가 보고되었다. 39 그러나 화학I에서 다룬 실험 문항은 총 28문항 중에서 실험에 관련된 문항은 5문항으로 17.9%에 불과하며, 사례 2 의 화학I에서 출제된 실험 문항도 실제 실험을 해보면 ‘전류값이 일정’ 하다는 조건이 필요하다. 또한 실제로 일정한 전류를 얻기 위해서는 실험 장치에 가변 저항기를 사용할 필요가 있다. 그러나 사례 2의 문항도 센터시험에 관한 여러 보고에 의하면 학생들의 논리적 사고력을 필요로 하고, 패러데이 정수를 사용하지 않고 전하량을 구하게 할 수 있게 한 점 등에 대해 매우 좋은 평가를 받고 있는 문항이다. 한국에서는 이와 같이 단서가 빠진 실험문항을 출제할 경우 이의 신청 결과 문제가 성립되지 않는다고 하기 때문에 그동안 수능에서는 실험에 관한 문항이 5 - 10%에 불과했고, 단순하며 간단한 기구 등을 묻는데 국한되었다. 따라서 이의 신청 등의 제약조건을 완화시켜 학교 현장에서 실제 실험이 많이 이루어지도록 실험 문항이 적극적으로 출제될 필요가 있다. 또한 사례 2 에서는 2문항을 포함한 세트 문항의 예로써, 배점이 7점이나 되지만 수능의 경우 이러한 내용은 2 - 3점 배점인 합답형의 한 문항으로 출제된다. 센터시험의 이과종합 A는 총 26문항을 60분에 풀이하며 센터시험의 화학I 문항은 총 28문항을 60분에 풀이하도록 되어 있다. 그러나 수능의 경우는 총 20문항을 30분에 풀이하도록 되어 있다. 또한 수능의 경우 합답형 문항의 비율이 높은데, 수능의 합답형 한 문항이 일본 센터시험 문항에서 2 - 3개 내용을 묻는 경우에 해당된다.
PPT Slide
Lager Image
센터시험의 이과종합 A의 화학내용에서 실험과 관련된 다지 선다형 문항의 예
PPT Slide
Lager Image
센터시험의 화학I 문항에서 실험과 관련된 세트 문항과 다지 선다형 문항의 예
한편 사례 1 사례 2 의 문항들의 답지 구성을 살펴보면 4지 선다형, 5지 선다형, 6지 선다형으로 되어 있다. 2009년 일본 센터시험 문항의 이전 년도들의 문항에서는 6지 선다형 외에 7지, 9지 등 복잡한 다지 선다형 문항이 출제되었다. 이와 같이 다지 선다형 출제가 수험생들이 꼭 알고 있는지를 묻고 있는 듯 하나, 실제 일본에서 보고된 자료에 의하면 출제에 관한 기본 방침 중에 지나치게 복잡한 다지 선다형 문항 형식을 많이 넣지 않도록 하고 있다. 39 2009년 일본 센터시험 문항에서는 화학I의 경우 총 28문항 중에서 5지 선다형 문항이 16개로 57.2%이며 그 외 6지 선다형 문항이 12개로 42.8%였다. 일본 센터시험의 문제작성부회의 견해에 따르면 2009년 입시에서는 지나치게 복잡한 다지 선다형 문항을 적게 하여 해답을 이끌어내기 쉽게 하였다는 긍정적인 평이 있었다. 따라서 수능의 경우 5지 선다형 선택지가 적당하다고 보여지나, 필요에 따라서는 수능에서도 반드시 5지 선다형 문항만이 아닌, 4지 선다형이나 6지 선다형 같이 다양한 선다형 문항이 유연하게 출제되도록 하는 것에 대해 검토할 필요가 있다.
- 실생활과 관련된 문항 및 통합 교과형 문항
사례 3 의 이과 종합 A 문항은 목욕이나 세탁에서 이용되는 비누나 세제에 관한 실생활과 관련된 문항이면서 세트 문항이기도 하다. 문3-a에서는 염기성을 띠는 비눗물의 특징에 대한 지식을 묻는 문항이며 문3-b는 효소의 성질에 관한 지식을 묻는 문항이다. 일본의 경우, 효소에 관한 내용을 화학 교육과정에서 다루고 있고 화학 문항에서 출제됨을 알 수 있다. 화학에서 효소에 대해 다루는 것이 매우 중요한 내용 요소가 될 수 있으나 아직 한국에서는 교육과정에서 효소는 생물 영역에 포함되고 있어 이에 대한 통합교과적 접근에 대한 고찰이 필요하다.
PPT Slide
Lager Image
센터시험의 이과종합 A의 화학문항에서 실생활 관련된 통합교과형 문항의 예
사례 4 의 화학I 문항의 문5는 일본 센터시험에 대한 분석 자료에도 높은 평가를 받은 문항이다. 주변에 있는 간장을 소재로 화학의 기본적인 내용을 묻는 문제로, 화학을 배우는 의의를 생각하게 하는데 있어서 호감을 가질 수 있는 문항이다. 그러나 문항 작성 시 수험자가 읽기 쉽고 문제의 뜻을 명확하게 하는 데 중점을 둔 기술에는 다소 미흡한 면이 있다. 타당한 기술로 발문을 구성하면 단서 조항이 필요 없게 되며, 수능에서는 출제진의 노력으로 불필요한 단서 조항을 줄이면서 문두의 뜻이 명료하도록 최선을 다하고 있다. 그러나 수능에서도 화학적으로 사물을 보는 방법이나 재미를 느끼게 하는 문제나 현대 과학기술이나 주변의 현상과 화학적 지식과의 관련을 묻는 문제로, 고등학생의 화학에 대한 흥미를 유발하는 역할을 할 수 있는 문항 출제가 되도록 해야 한다.
PPT Slide
Lager Image
센터시험의 화학I 문항에서 실생활 관련된 예
- 한국의 6차 교육과정에서 많이 다룬 문항
사례 5 에서 제3문의 6문은 한국의 6차 교육과정에 있는 ‘2, 3주기 원소와 그 화합물’에서 많이 다루어진 문항이다. 2, 3주기 원소와 그 화합물에 관해 물어 보는 문항이나 이러한 유형의 문항은 수능에서는 전형적인 지식 위주의 문항으로, 사고력을 측정하는데 목적이 있는 수능 문항으로 적합하지 않은 문항으로 판단된다. 또한 제4문의 6문은 한국의 6차 교육과정의 탄소 화합물 단원에서 많이 다루어진 원소 분석에 관한 문항이다. 한국의 7차 화학I 교육과정에서는 ‘화학과 인간’이라는 대단원에 중단원인 ‘주변의 탄소 합물’에서는 생활과 관련이 깊은 물질이나 제품들의 성질과 그 이용을 중심으로하는 내용이며, 두 번째 중단원인 ‘생활 속의 화합물’에서는 세제, 의약품 등의 화합물 및 그 이용, 그리고 대체 에너지 개발과 같이 인류의 존속을 가능하게 하기 위해 해결해야 할 과제들을 중심 내용으로 하고 있다. 한국의 7차 화학I 교육과정에서는 탄소 화합물에 관한 내용을 생활 주변의 물질 중에서 많은 비중을 차지하고 있는 탄소 화합물의 중요성과 다양성을 인식하고, 그 특성을 어떻게 이용하는지 아는 것이 매우 중요한 부분이라고 되어 있다. 40
PPT Slide
Lager Image
센터시험의 화학I 문항에서 한국의 6차 교육과정에서 다루어진 문항의 예
결론 및 제언
일본 센터시험의 이과종합 A에 있는 화학 문항과 화학I 과목의 문항을 수능과 관련하여 내용 요소와 수준 및 행동 영역에 따라 분석하고, 문항 유형과 특이 사항을 조사 한 결과를 바탕으로 수능 과학탐구 영역의 화학 문항 출제에 주는 시사점을 정리하면 다음과 같다.
우선 시험 과목 면에서, 수능의 경우는 8과목 중 4과목까지를 자유롭게 선택할 수 있으나, 일본 센터시험의 경우는 2과목씩을 묶어 그중 1과목을 선택하여 최대 3과목까지 선택할 수 있게 되어 있다. 그러나 일본의 경우는 최대한 선택할 수 있는 조합을 살펴보면 이과 과목 4개인 물리, 화학, 생물, 지구과학을 고루 공부할 수 있도록 선택이 가능하다. 반면 수능의 경우 출제과목 8개 중에서 최대 4과목을 선택하도록 되어 있지만 실제 이과 과목 4개 중에서는 최대한 3과목만 공부할 수 있는 것이고, 2012학년도부터는 출제과목 중 최대 3과목만 선택하도록 축소되어 이과 과목 4개 중에는 최대한 2과목만 공부하면 되는 것이다. 한편 ‘중장기 대입선진화 연구회’에서 발표한 2014학년도 수능개편안에 의하면 41 출제 과목 4개인 물리(I ․ II), 화학(I ․ II), 생물(I ․ II), 지구과학(I ․ II) 중에서 한 과목만 선택할 수 있는 안을 제시하였다. 일본의 경우 최대한 선택할 수 있는 조합이 편성되어 이과 과목 4개를 고루 공부할 수 있도록 선택이 가능한 것에 비하면 한국의 경우는 고등학교 때부터 이과 4과목 중에서 1 - 2개의 과목만 선택하여 공부하게 하는 방향으로 입시 제도가 바뀌는 것에 대해서는 생각해봐야 할 문제이다.
둘째, 내용 수준면에서, 이과 종합 A의 경우는 한국 교육과정의 화학I 수준에서 61.4%, 화학II 수준에서 31.0%가 출제되었으며 일본 센터시험의 화학I의 경우는 한국의 화학I 수준에서 21.4%, 화학II 수준에서 57.2%, 대학수준의 심화된 내용에서 17.9%가 출제되었다. 또한 수능 관점에서의 예상 정답률을 분석한 결과, 이과 종합 A의 경우는 예상 정답률 60% 이하 문항이 약 15.4%인 반면, 일본 센터시험의 화학I의 경우는 67.9%나 되었다. 이로부터 이과종합 A는 수능에 비해서 매우 쉬운 편이고, 센터시험 화학I의 경우는 수능보다 어려운 편이다. 이러한 결과는 한국의 교육과정을 벗어나는 내용에 대해 예상한 정답률 추정치가 매우 낮게 책정되었기 때문이다.
셋째, 행동 영역 면에서, 이과 종합 A의 경우 이해와 적용에 해당하는 문항이 61.5%이고 일본 센터시험의 화학I의 경우 96.5%로 지식관련 문항이 대부분이었다. 따라서 일본 센터시험 문항은 탐구 사고력보다는 지식 위주로 출제하고 있다. 일본 센터시험은 고등학교에서의 학습의 도달도를 보기 위한 시험이므로, 교과서에 기재되어 있는 기초적인 사항을 기억하고 있으면 정답을 쉽게 선택할 수 있는 문제가 여러 개가 있다. 한편 수능이 초기와는 달리 고차적 능력 이외에 저차원의 개념적 이해를 묻는 문항을 포함하는 것에 대한 비판이 있는데 42 그럼에도 불구하고 수능은 센터시험에 비해 개념에 대한 이해보다는 사고력을 상대적으로 더 많이 측정하고 있다고 볼 수 있다.
넷째, 문항의 소재 면에서, 일본 센터시험의 경우 실험 상황과 통합교과적이고 실생활 소재를 많이 사용하고 있다. 이는 문장 표현을 엄격하게 하지 않는 경향이 있기 때문으로 보이나 수능의 경우 이의 제기나 내용의 오류가능성 및 복수 정답 문제 때문에 문장을 매우 엄격하게 기술하고 있다. 이러한 이유 때문에 다양한 면을 고려해야하는 실험 상황이나 실생활 관련 소재를 포함시킨 문항이 적을 뿐만 아니라 전체적인 문항의 출제 과정이 매우 어렵다. 한국의 경우도 상식 가능한 선에서 표현을 완화할 필요가 있다.
다섯째, 문항의 형식면에서 일본 센터시험의 경우 문항 수도 다양하며 세트형 문항이 다수 출제되고, 다지 선다형 문항과 배점이 다양하다. 그러나 수능의 경우 과목의 유 ․ 불리 문제와 형식의 일관성 때문에 엄격하게 통일성을 부여하고 있지만 문항 수와 배점, 답지 수 등이 다양화하는 것이 더 좋은 문항 개발에 도움이 된다면 수능에도 다소 유연하게 적용할 필요가 있다.
여섯째, 일본 센터시험의 경우 문항 당 배당되는 시간이 길다. 센터시험의 이과종합 A는 총 26문항을 60분에 풀이하며 센터시험의 화학I 문항은 총 28문항을 60분에 풀이하도록 되어 있다. 그러나 수능의 경우는 총 20문항을 30분에 풀이하도록 되어 있다. 또한 수능의 경우 합답형 문항의 비율이 높은데, 수능의 합답형 한 문항이 일본 센터시험 문항에서 2-3개 내용을 묻는 경우에 해당된다. 따라서 한국 학생들이 문항을 충분히 사고하고 해결할 수 있어서 속도 검사가 아닌 역량 검사가 되도록, 문항 수와 문항 풀이 시간을 고려한 출제를 할 필요가 있다.
끝으로, 일본의 센터시험의 경우 일본이 화학협회, 일본화학회 및 고등학교 교과담당교사로부터 난이도, 문항 수, 출제 범위, 출제 분야의 비율, 기초적인 학습의 도달도를 판단하는지 여부에 대해 일본 센터시험을 분석하고 다음 평가를 위해서 제언을 하는 보고서가 공개되어 있다. 이러한 보고서를 토대로 차년도 시험을 출제할 때 문제작성부에서 적극 반영하여 출제가 이루어지고 있는 점과, 평가에 대한 보고서를 제출하면 그에 해당하는 문제작성부회의 적절한 답변과 입장을 밝히는 보고서가 보고되는 점은 수능에서도 신중하게 고려해 볼 필요가 있다.
References
Lee Y. R. , Noh E. H. , Park K. B. , Nam J. Y. , Seo B. U. , Kim Y. M. , Park T. J. , Park J. D. , Jang E. S. , Hwang I. P. , Seo M. C. , Lee J. W. , Shin H. S. , Kang D. H. , Shin I. Y. , Choi H. J. , Kim D. Y. , Dong H. G. , Koo J. O. , Kim H. K. , Kim J. K. , Ham S. Y. , Park Y. S. , Kim Y. J. , Kim Y. C. , Lee Y. B. , Son M. J. , Jang H. S. , Yoon Y. S. , Kim S. H. 2009 Item Analysis of Japanese National Center Test for University Admissions KICE. Research Materials ORM 2009-46.
Lee J. S. , Park D. S. , Lee J. J. , Nam M. H. , Kim H. W. , Kim J. K. , Paik S. K. A Study on Reformation of CSAT KICE ․ KEDI Collaborative Research Reports 2004.
Kim I. Y. , Master Dissertation 1993 The Analysis of Effects on the Change of the Educational Method According to CSAT Sook Myung Women's University Seoul, Korea Master Dissertation
Park S. J. , Master Dissertation 1995 The influence of the CAST on the history education and the desirable method of teaching and studying for the history Class. Ewha Womans University Seoul, Korea Master Dissertation
Ma K. K. , Master Dissertation 1996 A Study on the Influence of CSAT Korea University Seoul, Korea Master Dissertation
Kim H. K. , Kim D. Y. , Choi H. J. , Koo J. O. , Dong H. K. , Shin I. Y. , Lee Y. R. 2010 J. Korea Assoc. Sci. Edu. 30 (4) 452 -
Kim S. H. 1998 The Journal of Curriculum Studies 11 (2) 149 -
Kim S. H. 2008 The Journal of Curriculum Studies 13 (1) 73 -
KICE 2005 History of recent 10 years of CSAT.
Kim S. Y. Korean Society for Educational Evaluation. 2008 Studies on Reformation of CSAT for the Future Education. Vision of the future College Admissions Screening Systems. Korean Society for Educational Evaluation. Proceedings of the 25th Foundation Anniversary Seminar.
Lee J. S. 2009 A Pending Issue and Future Prospect of CSAT. KICE Research Materials ORM 2009-22.
Nam M. H. Korean Society for Educational Evaluation: Korean Federation of Teachers Associations 2005 A Study on the Change and the Improvement of CSAT in the Academic year of 2008. Problems and Directions of the College Admission System in the Academic year of 2008. Korean Society for Educational Evaluation. ․ Korean Federation of Teachers Associations Seminar Report. 61 - 83
Paik S. K. 2001 Asian Journal of Education 2 55 -
Kang S. J. 2001 Journal of Educational Evaluation 14 (1) 5 -
Lee Y. W. , Lee J. S. 1993 Journal of Educational Evaluation 6 (2) 171 -
Ji Y. R. 2001 Journal of Educational Evaluation 14 (2) 155 -
Gwha H. J. , Seong T. J. 2003 Korean Journal of Educational Research 41 (1) 329 -
Seong T. J. 2002 The College Admission System and the Adjusting the Difficulty of CSAT. Korea Education Review KEDI 117 - 152
Leem C. B. , Yang G. S. , Seong B. C. 1998 A Study on the Influence of CSAT. KICE research materials RRE 98-9.
Myung J. O. , Park S. J. 1995 J. Korea Assoc. Sci. Edu. 15 (4) 417 -
Kim S. C. , Kwon J. S. 1994 J. Korea Assoc. Sci. Edu. 14 (2) 214 -
Lee Y. R. 2002 J. Korea Assoc. Sci. Edu. 22 (2) 345 -
Hong M. Y. , Jeon K. M. , Lee B. H. , Lee Y. R. 2002 J. Korea Assoc. Sci. Edu. 22 (1) 204 -
Hong M. Y. , Jeon K. M. , Lee Y. R. , Lee B. H. 2002 J. Korea Assoc. Sci. Edu. 22 (2) 378 -
Yang G. S. , Lee M. A. , Si G. J. , Min K. S. 2007 J. Curriculum & Evaluation 10 (2) 145 -
Park S. H. , Park N. G. 2008 Korean Journal of Comparative Education 18 (3) 207 -
Chnogae Hiroki 2004 College Education 127 67 - 75
Kim J. H , Seol H. S. 2001 A Study on the College Entrance System of Japan, China, Taiwan. KICE research report RRE 2001-12.
Lee K. N. , Nam M. H. , Hong S. J. 1998 A Study on long-term Reformation of CSAT KICE
Lee J. H. 2005 Journal of Korean Language Education 253 - 274
Lee J. H. , Jo S. J. , Park S. H. , Park H. S. 2004 The MatheMatical Education 43 (4) 349 - 379
Kang H. L. 2002 English language education 24 199 - 220
Kwon H. I. , Master Dissertation 2008 A comparative analysis of the reading items in CSAT, Center & Gaokao test Yonsei University Seoul, Korea Master Dissertation
Kim J. H. , Master Dissertation 2006 A comparative study of content validity between Korean Collage Scholastic Ability Test(CSAT) and Japanese Center Test Hankuk University of Foreign Studies Seoul, Korea Master Dissertation
Jeon B. M. 2004 English Language and Literature Education 10 (2) 113 - 132
Kim B. R. 2007 Japanese Cultural Studies 24 29 - 43
Lee K. Y. 2008 The Journal of the Korean association of geographic and environmental education 16 (3) 201 - 214
Jang J. S. , Master Dissertation 2009 A Comparison Study on Chinese Evaluation Items of Korea and Japan. Ewha Womans University Seoul, Korea Master Dissertation
National Center for University Entrance Examinations http://www.dnc.ac.jp/
1998 Ministry of Education Science Curriculum Daehan Textbook Publishing Seoul, Korea
2010 Research group of Long-term Plan for Enhancement of the college admission system. Proceeding of seminar by Research group.
Kim S. H. 2009 A Pending Issue and Future Prospect of CSAT. KICE research materials ORM 2009-22.