Advanced
A Study to Assess the Reliability and Improvement of the Instrument of Pattern Identification for Jing Ji and Zheng Chong
A Study to Assess the Reliability and Improvement of the Instrument of Pattern Identification for Jing Ji and Zheng Chong
Journal of Oriental Neuropsychiatry. 2014. Dec, 25(4): 371-382
Copyright © 2014, The Korean Society of Oriental Neuropsychiatry
This is an open access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : November 24, 2014
  • Accepted : December 09, 2014
  • Published : December 30, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Share
Article
Author
Metrics
Cited by
TagCloud
About the Authors
우창 최
헌수 이
복남 서
위창 강
인철 정

Abstract
Objectives
The purpose of this study is to examine the test-retest reliability and to suggest methods to enhance reliability.
Methods
Participants consisted of 145 patients with generalized anxiety disorder who were diagnosed by the Structured Clinical Interview for DSM-IV Axis I Disorders. Participants were tested twice within one week.
Results
The test-retest reliability of the Instrument of Pattern Identification for Jing Ji and Zheng Chong was examined in 145 patients and it was calculated as 0.3919. Internal Reliability of each part was calculated as 0.320~0.502. Reliability and concordance rate of symptoms are presented in the table. Frequency of symptoms and correlation between weight and frequency are also presented in the table.
Conclusions
Based on these results, we have modified the Instrument of Pattern Identification for Jing Ji and Zheng Chong.
Keywords
I. 서론
불안은 한의학적으로 주로 공정(恐情), 구정(懼情)으로 인식되는데, 이러한 불안, 공정 또는 구정에 대한 가장 대표적인 병증(病症)이 경계(驚悸)와 정충(怔忡)이다. 경계, 정충을 서양의학적인 분류로 비교하자면 공포증, 범불안장애, 공황장애가 가장 유사한 병증이라 할 수 있다 1) .
경계정충(驚悸怔忡)은 가슴이 조동(躁動)하고 잘 놀래며 마음이 불안한 것을 자각하는 증후(證候)라고 설명할 수 있으며 2) , 동의보감(東醫寶鑑)에서는 경계정충을 “가슴이 두근거리며 불안하고, 두려워하는 증상”으로 설명하는데, 다만 경계는 그 증상이 놀라는 때가 있을 때 생기며, 정충은 아무때나 이유없이 생기는 차이가 있다. 경계정충의 주요 원인은 담음(痰飮), 심허(心虛), 기울(氣鬱), 화(火) 등이다 3) .
한편, 전체 불안장애의 국내 평생유병률은 2011년 기준 약 8.7% (표준오차 0.8)로 전제 정신질환 중 알코올 사용장애 다음으로 유병률이 높은 질환군이며, 세부적인 평생 유병률을 살펴보면 공황장애 0.3%, 특정공포증 5.2%, 사회공포증 0.5%, 그리고 범불안장애는 1.9%로 조사되었다. 2011년도 불안장애 평생유병률은 2006년 6.9% (표준오차 0.5)에 비해 26.1%포인트 증가하였다 4) . 이처럼 정신질환에서 많은 비율을 차지하는 불안장애는, 더욱이 증가 추세에 있어 그 중요성이 부각된다 할 수 있다.
한의학에서 진단은 증후에 대한 분석과 판단을 하는 변증을 통해 이루어진다. 그러나 변증을 이용한 진단과정은 환자의 주관적인 표현이나 의사의 주관에 따라 그 결과가 달라 질 수 있기에 객관적인 진찰이 어렵다는 단점이 있고, 따라서 변증 진단과정은 보다 객관화 되고 정량화 되어야 할 필요성이 있다 5) . 그러한 필요성에 따라 한의학계에서는 화병 6) , 감모 7) , 기능성 소화불량증 8) , 우울증 9) 등의 다양한 질환을 대상으로 변증도구의 개발이 이루어지고 있다.
지금까지의 경계정충의 연구를 살펴보면, 문헌적 연구 3,10-12) , 임상 연구 13-20) 위주의 연구가 진행되었고 최근에는 한의학적 진단을 위한 변증도구 개발 연구 21) 와 한의학적 치료 효과를 평가하기 위한 한의 평가도구 개발 연구 22) 가 진행된 바 있다.
비록 선행연구로 경계정충 진단을 위한 변증도구가 개발되었으나, 신뢰도 및 타당도 검증이 이루어지지 않았기에 실제로 활용하는데 한계가 있다. 이에 본 연구에서는 경계정충 변증도구의 신뢰도와 타당도를 알아보고자, 대전대 대전한방병원과 대전대 둔산한방병원에서 145명의 피험자들을 대상으로 경계정충 변증도구를 이용한 변증 진단을 실시하고 신뢰도와 상관성을 분석하였고, 다소의 지견을 얻었기에 이를 보고하는 바이다.
II. 연구대상 및 방법
- 1. 연구기관과 대상인원
본 연구는 2009년 11월 1일부터 2010년 12월 31일까지 대전대학교 대전한방병원에서, 2010년 7월 1일부터 2010년 12월 31일까지 대전대학교 둔산한방병원에서 임상시험 모집에 참여한 피험자 145명을 대상으로 하였다.
- 2. 연구 방법
- 1) 임상시험심사위원회 임상시험 승인
본 연구는 연구시작 전에 대전대학교 부속 대전한방병원과 둔산한방병원 임상시험심사위원회에 임상시험계획서 등 서류를 제출하고 임상시험 승인을 받았다(둔산한방병원 10-5, 대전한방병원 djomc-28-2).
- 2) 피험자 모집
피험자는 인터넷(병원 홈페이지, 대전대학교 홈페이지 팝업창), 생활정보지, 지역신문, 포스터를 이용하여 모집하였다. 직접 임상연구센터에 내원하거나 전화를 통하여 내원일시를 예약한 다음 시험에 참가하도록 하였다.
- 3) 피험자 동의와 적합성 평가
임상시험에 참여를 신청한 지원자에게 임상시험의 목적, 방법, 무작위배정 확률, 발생 가능한 위험이나 불편, 비밀보장, 보상, 중도 포기의 권리 등의 설명을 하고 자유의사에 의해 피험자 동의서에 서면 동의를 하게 한 후 시험에 참여하도록 하였다.
동의서에 서명한 지원자를 대상으로 인구학적 조사, 병력 조사, 문진 및 DSM-IV 제1축 장애의 구조화된 임상적 면담, 흉부단순촬영검사, 심전도검사, 임상병리검사 등을 통하여 피험자 선정 및 제외기준에 따라 피험자로 적합한지 평가하였다.
- 4) 선정 제외기준의 판정
선정 기준은 20세 이상 65세 이하의 남녀로 DSM-IV 제 1축 장애의 구조화된 임상적 면담(Structured Clinical Interview for DSM-IV Axis I Disorder, SCID-I)을 통해 범불안장애 진단기준에 부합한 경우이다.
제외 기준은 망상, 환각 등의 정신증적 양상이 있거나 과거력이 있는 경우, 조증 삽화, 경조증 삽화, 혼재성 삽화가 한번이라도 있었던 경우, 알코올 또는 다른 물질 남용/의존이 있거나 과거력이 있는 경우, 증상유발에 영향을 줄 것으로 판단되는 물질을 지속적으로 투여하여야 하는 경우, 현재 증상유발에 영향을 줄 것으로 판단되는 의학적 상태에 있는 경우, 간암 또는 간경변증, 만성 신부전, 울혈성 심부전 등으로 치료 중인 경우, 임신부, 수유부 또는 적절한 피임방법을 사용하지 않는 가임기 여성, 기타 임상시험을 수행하기 어렵다고 판단되는 경우이다.
- 5) 경계정충 변증도구 가안21)
<경계정충 변증도구 가안>은 경계정충에 대한 한의학 문헌 고찰을 통해 정리한 변증유형과 임상증상을 전문가자문을 통해 심담허겁(心膽虛怯), 심기허(心氣虛), 심혈허(心血虛), 심양부진(心陽不振), 심혈어조(心血瘀阻), 담탁조체(痰濁阻滯), 음허화왕(陰虛火旺), 수기릉심(水氣凌心), 심비양허(心脾兩虛)의 9개 변증과 각 변증의 증상의 가중치를 확정하고 한글화작업을 실시하여 제작한 면접자 평가방식의 변증도구이다. 이 도구는 53개 항목의 질문과 추가적인 설진과 맥진 항목으로 구성되어 있다. 각 질문에 예/아니오를 엑셀 계산식에 기입하도록 되어 있고, 결과는 각 변증당 확률로 제시되고 가장 높은 확률의 변증유형을 최종 변증으로 확정하게 된다.
- 6) 임상 연구 실시
2명의 연구한의사(A, B)를 대상으로 기존에 개발된 <경계정충 변증도구 가안> 사용에 대한 사전교육을 실시하였다.
DSM-IV 제1축 장애의 구조화된 임상적 면담(Structured Clinical Interview for DSM-IV Axis I Disorder, SCID-I)을 통해 범불안장애 진단기준에 부합되어 범불안장애로 진단된 피험자 145명을 대상으로 <경계정충 변증도구 가안>를 사용하여 변증진단을 실시하였다. 피험자는 일주일내에 연구센터에 2차례 방문하여 2회의 변증진단을 받았다.
연구한의사 A는 방문1의 모든 피험자와 방문2의 피험자 중 홀수번호 해당자에 대하여 변증진단을 실시하였고 연구 한의사 B는 방문2의 피험자 중 짝수번호 해당자에 대하여 변증진단을 실시하였다.
- 7) 통계 및 검정
분할표는 도수(frequency)와 비율(%)로 정리하였다. 제안한 변증도구의 신뢰성평가는 검사-재검사(test-retest)법을 사용하여 1, 2차 변증 판정의 일치도는 코헨의 카파(Cohen’s kappa) 23) 값으로 평가하였다. 증상발현의 빈도에 불균형이 심한 경우 카파 값으로 신뢰도를 평가하는 데에는 제한점이 있어 각 증상의 1, 2차 조사에서 동일하게 응답한 비율(일치율: concordance rate)을 동시에 제시하였다. 각 변증에서 1, 2차 변증 점수의 신뢰도는 검사-재검사법(Test-retest method)으로 일변량변량효과모형을 적용한 급내상관계수(ICC: Intraclass correlation coefficient)를 사용하여 분석하였다. 1차 자료로부터 각 변증에서 문항의 내적신뢰도를 Cronbach’s alpha로 평가하였고, 변증도구의 각 문항증상 가중치와 증상 발현율의 상관성은 피어슨 상관계수로 분석하였다. 모든 통계분석은 SPSS (IBM SPSS Statistics Ver. 21)를 사용하였으며, 통계적 유의성은 유의수준 5%로 판단하였다.
III. 결과
- 1. 신뢰도 평가
- 1) 검사-재검사 일치도 평가
총 피험자 145명을 대상으로 평가한 2회의 검사-재검사 변증판정 결과에서 두 시기의 변증 판별 일치율은 52.4%(100×6/145)이었고 Cohen’s kappa 계수로 분석한 변증도구의 일치도는 0.392이었다( Table 1 ).
Cross Table and Kappa Coefficient for Pattern Identification of All Subjects
PPT Slide
Lager Image
*Number (%).
각 변증에서 변증도구의 일치도를 평가하기 위한 급내상관계수 분석에서는 심혈어조군은 0.368로 ‘약한 수준의 일치도(fair agreement)’를, 나머지 변증군은 0.524-0.659로 ‘보통 수준의 일치도(moderate agreement)’ 24) 를 나타났다( Table 2 ).
Intraclass Correlation Coefficient and Internal Reliability of each Pattern Identification
PPT Slide
Lager Image
Intraclass Correlation Coefficient and Internal Reliability of each Pattern Identification
- 2) 변증도구 문항의 내적 신뢰도 평가
변증도구의 각 변증에서 문항들의 내적 신뢰도는 크롬바흐의 알파(Cronbach’s alpha) 계수로 평가하였다( Table 2 ). 각 변증에서 크롬바흐의 알파계수 값은 0.320∼0.502로 만족할 만한 수준(≥0.7)은 아니었다.
- 3) 각 변증의 증상항목의 신뢰도 평가
검사-재검사 방법을 사용하여 각 변증의 증상항목의 일치도를 카파계수로 평가하였다. 또한 증상발현의 빈도에 불균형이 심한 경우 카파 값으로 신뢰도를 평가하는 데에는 제한점이 있어 각 증상의 1, 2차 조사에서 동일하게 응답한 비율(일치율: concordance rate)를 함께 평가하였다.
- 2. 문항 특성 분석
- 1) 각 증상의 발현률
1, 2차 변증에서 각 증상의 발현유무 발현율을 평가하였다.
- 2) 변증별 가중치와 발현율의 상관성 평가
변증별로 각 증상에 대한 전문가 가중치와 증상의 발현율간의 상관성을 평가하였다.
- 3. 수정된 변증도구 가안
각 항목의 검사-재검사 일치도, 발현율, 가중치를 고려하여 수정된 변증도구 가안(version 2.0)은 다음과 같다( Appendix 1 ).
경계정충 변증도구(Ver.2.0)
PPT Slide
Lager Image
경계정충 변증도구(Ver.2.0)
IV. 고찰
경계정충은 가슴이 두근거리며 불안하고, 두려워하는 증상으로 3) , 경계는『금궤요략(金匱要略)』 25) 에서, 정충은『제생방(濟生方)』 26) 에서 그 표현이 처음 사용되었으나, 그 이전부터도 심중담담대동(悸心中憺憺大動), 기동응의심(其動應衣心), 심하고(心下鼓), 심계(心悸), 계(悸) 등과 같이 경계정충과 관련된 병증이 기술된 것을 확인 할 수 있다 27-30) . 경계는 “유시이작(有時而作)”, 정충은 “무시이작(無時而作)” 으로 구분하는 등, 경계와 정충을 서로 다른 병증으로 설명하기도 하며, 단지 경중(輕重)의 차이만 있는 같은 병증으로 보기도 한다 3) .
한의학에서 변증(辨證)이란 망, 문, 문, 절(望, 聞, 問, 切)을 이용하여 증후, 병력 등의 정보를 수집하여 동양의학적인 이론을 근거로 질병을 인식하고 병기(病機)를 확정하는 진단 과정이다 31,32) . 최근에는 진단의 객관화와 표준화를 위하여 여러 질환을 대상으로 변증도구 개발이 이루어지고 있으며 6-9) , 경계정충 역시 변증도구 개발연구가 진행된 바 있다.
그러나 경계정충 변증도구의 타당도와 신뢰도가 확인되지 않았기에, 실제 임상에서 활용하는 데에 무리가 있다.
이에 본 연구에서는 145명의 피험자를 대상으로 기존에 개발된 경계정충 변증도구를 활용하여 변증 유형, 증상항목의 신뢰도와 상관성을 분석하였다.
신뢰도란 측정도구를 반복하여 측정할 때 동일한 결과가 나타나는 것, 즉 일관성을 의미한다 33) . 경계정충 변증도구의 신뢰도를 평가하기 위해 변증유형과 증상항목의 검사-재검사 일치도 평가를 실시하였다.
Kappa 분석을 통한 변증유형의 전체 일치도 평가에서 얻어진 kappa 계수는 0.3919이었다. 이는 Landis and Koch가 제시한 지침 23) 에 의하면 ‘약한 수준의 일치도(fair agreement)’으로, 임상적으로 사용하기에는 신뢰도가 낮다고 할 수 있다( Table 1 ).
전체 신뢰도가 낮기에, 보다 세부적인 분석을 위하여 각 변증별로 신뢰도를 측정하였다. 변증별 점수의 일치도를 급내상관계수(Intraaclass correlation coefficien, ICC)로, 각 변증별 내적 일치도를 Cronbach’s alpha로 분석하였다( Table 2 ).
변증점수의 일치도를 분석한 결과에서는 심혈어조(0.368)를 제외한 변증에서 0.5 이상의 결과를 보였다. Portney LG 24) 등에 따르면, 0.5∼0.6의 ICC는 보통 수준의 일치도(moderate agreement)로, 0.3∼0.4는 약한 수준의 일치도(fair agreement)로 판단 할 수 있다. 즉, 변증항목 중 심혈어조를 제외한 나머지 변증에서는 변증점수의 일치도가 보통 수준의 일치도(moderate agreement)를 나타냈다. 하지만 내적 일관성을 측정하는 Cronbach’s alpha 분석 결과, 그 계수가 모든 변증에서 0.6 이하로 허용할만한 수준에 미치지 못하는(unacceptable) 결과를 나타내었다 34) . 이는 검사-재검사에서 변증점수의 재현성은 보통의 수준이라고 할 수 있지만 변증을 구성하는 각 증상의 유무에서는 일치성이 약하다는 것을 의미한다. 두 신뢰도의 척도가 상반되는 상황에서 변증도구의 신뢰도에 대한 평가는 변증을 구성하는 각 증상의 유무가 같은 변증내에서는 유사해야하는지에 대한 관련 전문가들의 엄밀한 검토가 우선된 후에 가능하다.
다음으로는 각 문항(증상)별 검사-재검사 일치도를 평가하였다( Table 3 ). 그 결과 kappa계수가 0.4 미만으로 moderate에 미치지 못하는 문항들은 두훈(頭暈), 흉민(胸悶), 심계(心悸), 좌와불안(坐臥不安), 선경이노(善驚易怒), 심번흉민(心煩胸悶), 신피핍력(神疲乏力), 불안감(不安感), 불안(不安), 면색불화(面色不華), 순담(脣淡), 심흉비민(心胸痞悶), 소변청장(小便淸長), 소변황적(小便黃赤), 흉민불서(胸悶不舒), 양협창통(兩脇脹痛), 단기천식(短氣喘息), 순갑청자(脣甲靑紫)가 있었고, 모든 변증의 설진(舌診)과 맥진(脈診)이 포함되었다. 설진과 맥진이 일치도가 낮은 이유는 많은 진단 가능성에 비해 문항 구성이 제한적이고, 또한 표준적인 평가지침을 공유하는 것이 어렵다는 점 등으로 사료된다. 이러한 문항들은 변증도구의 수정판을 제작할 때 임상적 중요성을 고려하여 소거를 검토하거나, 일치도가 낮은 원인을 분석하여 문항의 질문형태, 평가 기준 등을 수정하는 것과 같이 일치도를 제고하기 위한 과정이 필요하다고 판단된다.
Kappa Coefficient and Concordance Rate of Each Symptom
PPT Slide
Lager Image
Kappa Coefficient and Concordance Rate of Each Symptom
변증도구 개선을 위한 문항 추가분석으로는 각 항목(증상)의 발현율, 가중치와 발현율의 상관성을 분석하였다( Table 4 ).
Correlation Coefficient between the Expert Weight and Frequency of Each Symptom
PPT Slide
Lager Image
Correlation Coefficient between the Expert Weight and Frequency of Each Symptom
각 항목의 발현율은 1, 2차 전체검사에서 해당 증상이 있다고 보고된 빈도를 의미한다. 증상의 발현율이 높을수록 해당 증상은 특정 변증에 해당되는 증상이 아닌, 경계정충으로 진단되는 환자의 일반적인 증상이라고 추정할 수 있고, 따라서 특정 변증을 판별하는 데에는 적절하지 않을 수도 있다. 또한, 증상의 발현율이 너무 낮은 경우 역시, 특정 변증을 판별하기 위한 도구의 증상으로서 부적절하다고 할 수 있다.
가중치와 각 증상의 발현율의 상관성을 분석한 결과는 대체적으로 낮거나 혹은 음의 상관관계를 보였다. 따라서 변증도구 수정안을 제작할 때 항목의 삭제나 가중치의 조정이 필요하다고 할 수 있다. 다만, 가중치는 변증도구 개발과정에서, 전문가로 이루어진 자문위원회가 각 증상의 중요도를 평가하고, 이를 토대로 도출된 수치로 21) , 가중치가 높은 증상은 변증진단에 있어서 임상적으로 중요한 지표라고 추정할 수 있다. 따라서 변증도구를 개선하기 위한 연구에서는 기존의 문항 분석에서 발현율, 일치도 등의 결과값이 적절하지 않더라도, 임상에서 중요한 의의를 가지고 있는 증상항목에 대하여 충분한 논의와 숙고가 필요할 것으로 사료된다.
이상의 결과를 토대로 본 연구팀은 다음과 같은 경계정충 변증도구 수정 기준을 마련하였다.
첫째, 각 문항의 검사-재검사 일치도에서, 보통(moderate)수준에 못 미치는 신뢰도를 보이는 문항들(카파계수값 0.4 미만 23) )을 삭제한다.
둘째, 각 항목의 발현율을 고려하여 발현율이 0.3 미만인 문항과 0.7을 초과하는 문항을 삭제한다.
셋째, 앞서 제시한 두 가지 기준에 해당되는 문항이라 하더라도, 부여된 가중치가 10 이상인 경우에는 상대적으로 높은 값의 가중치이기에 항목을 삭제하지 않는다. 그러나 연구자회의 등을 통하여 질문의 형태, 평가 기준 등에 대한 논의가 뒤따라야 할 것이다.
이상의 세가지 기준을 토대로 하되, 심혈어조(心血瘀阻) 변증의 설자암 유어반어점(舌紫暗 有瘀斑瘀點) 항목은 비록 12.04로 높은 가중치를 보이나 전체적으로 설진 및 맥진의 일치도가 낮은점과 도구의 통일성을 고려하여 삭제하도록 한다.
다만, 설진과 맥진은 변증진단에 있어 중요한 지표이므로 도구를 시행하는 한의사가 설, 맥을 고려하여 최종 진단을 하도록 하여야 할 것이다.
이상의 기준을 토대로 수정된 경계정충 변증도구 가안은 본지 후면에 수록하였다( Appendix 1 ).
이후 연구에서는 경계정충 변증도구 수정안에 대한 후속 논의가 필요할 것으로 사료되며, 최종안 도출을 위한 타당도, 신뢰도 평가가 필요할 것이다.
V. 결론
본 연구는 <경계정충 변증도구 가안>의 신뢰도를 평가하고 개선하기 위해 문항분석을 실시한 임상연구이다. 피험자 145명을 대상으로 하여 <경계정충 변증도구 가안>을 활용하여 변증진단을 2차례 실시하고 결과를 분석하여 다음과 같은 결론을 얻었다.
1. 전체 피험자 대상으로 한 변증도구의 검사-재검사 일치도는 kappa계수 0.3919로 약한(fair) 수준이었다.
2. 변증점수를 급내상관계수로 분석한 결과 심혈어조는 약한 수준의 일치도(fair agreement)를, 나머지 변증에서는 보통 수준의 일치도(moderate agreement)를 보였으나, Cronbach’s alpha분석 결과 계수 0.6 이하로 허용할만한 수준에 미치지 못하는(unacceptable) 결과를 보였다.
3. 증상항목 신뢰도를 개별적으로 분석한 결과 두훈, 흉민, 심계, 좌와불안, 선경이노, 심번흉민, 신피핍력, 불안감, 불안, 면색불화, 순담, 심흉비민, 소변청장, 소변황적, 흉민불서, 양협창통, 단기천식, 순갑청자 문항에서 kappa계수가 0.4 미만이었다.
4. 각 증상 항목의 신뢰도, 발현율, 가중치와 발현율의 상관성을 분석한 결과를 토대로 경계정충 변증도구를 수정, 제시하였다.
Acknowledgements
This research was supported by Basic Science Research Program through the National Research Foundation of Korea(NRF) funded by the Ministry of Education (2013R1A1A2011690). This study was supported by a grant of the Traditional Korean Medicine R&D Project, Ministry of Health & Welfare, Republic of Korea (HI13C0493).
References
Kwon JJ , Kim TH , Kang HW , Lyu YS 2005 A Bibliographic Study of Anxiety and Anxiety Disorder in Oriental Medicinee J. of Oriental Neuropsychiatry 16 (1) 159 - 69
2007 The Neuropsychiatry of Oriental Medicine Jipmoon- Dang Seoul 227 - 34
Lee HG , Kim TH , Lyu YS , Kang HW 2009 A Study on Keongke and Cheongchung in Donguibogam J. of Oriental Neuropsychiatry 20 (1) 215 - 34
2012 The Epidemiological Survey of Mental Disorders in Korea Ministry of Health and Welfare Sejong, Korea
Kim BK 1986 Chinese Medicine Diagnostics Seongbosa Seoul 25, 42 -
Yim HJ , Kim SH , Lee SR , Jung IC 2008 Study to Develop the Instrument of Pattern Identification for Hwa-byung Korean Journal of Oriental Physiology & Pathology 22 (5) 1071 - 7
Byun JS , Yang SY , Kang WC , Park YC 2009 Primary Study to Develop the Instrument of Pattern Identification for Common Cold Korean Journal of Oriental Physiology & Pathology 23 (6) 1226 - 33
Kim JB , Kim JH , Son CG , Kang WC , Cho JH 2010 Developmentof Instrument of Pattern Identification for Functional Dyspepsia Korean Journal of Oriental Physiology & Pathology 24 (6) 1094 - 8
Lee EH , Choi WC , Jung IC 2013 Preliminary Study to Develop the Instrument on Pattern Identifications for Depression J of Oriental Neuropsychiatry 24 (4) 435 - 50    DOI : 10.7231/jon.2013.24.4.435
Kim HC , Jung DK 1992 Study on Jing Ji and Zheng Chong The journal of East-West medicine 17 (3) 1 - 17
Jung DK , Lee JW 1994 Literature Review on the Etiology of Palpitation The journal of East-West medicine 19 (4) 5 - 22
Nam SS , Kim YS , Park DS 1995 Literature Review on the Etiology, Pathology and Acupuncture-Moxibustion Therapy of Jing Ji and Zheng Chong The journal of Korean Acupuncture & Moxibustion Society 11 (2) 151 - 69
Jung IC , Lee SR 1998 The Clinical Analysis on 19 Cases of Anxiety Disorder Journal of oriental neuropsychiatry 9 (2) 161 - 9
Park KY , Lee SR 1995 Clinical Study of Generalized Anxiety Disorder Journal of Institute of Korean Medicine of Daejeon Univ 287 - 305
Kim YJ , Kim JH , Lyu HY , Hong SS , Kim TH , Lyu YS , Kang HW 2005 A Clinical Study of Panic attack and Anticipatory anxiety on Panic disorder patients Journal of oriental neuropsychiatry 16 (2) 1 - 11
Jung CS , Gug YJ , Choi SY , Kang HW , Lyu YS 2005 The Study about Correlations of Heart Sizes in Patients with Anxiety Disorder Journal of oriental neuropsychiatry 16 (2) 35 - 42
Kim JH , Gug YJ , Choi SY , Kim TH , Lyu YS , Kang HW 2005 The study on characteristics of panic disorder through clinical and personality scales in MMPI of patients with Panic disorder Journal of oriental neuropsychiatry 16 (1) 129 - 42
Kim YY , Cho HY , Kwon YJ , Cho SH , Hwang WW 2009 A Case Study of Patient with Jung Choong, Gyeong Gye that Improved by Hyeolbuchukyeo-tang Journal of oriental neuropsychiatry 20 (3) 249 - 59
Jeong YT , Yim YK 2007 27 Case of Venesection with Negative Pressure Therapy (Buhang) Operated at CV17 (Danjuong) on Sudden palpitation : Case report Journal of Institute of Korean Medicine of Daejeon Univ 16 (2) 199 - 210
No DJ , Lee SR , Jung IC 2009 The Recent Trends of Clinical Research on General Anxiety Disorder in Chinese Herbal Medicine Journal of oriental neuropsychiatry 20 (4) 79 - 89
Park DM , Lee SR , Kang WC , Jung IC 2010 Preliminary Study to Develop the Instrument of Pattern Identification for Jing Ji and Zheng Chong Journal of oriental neuropsychiatry 21 (2) 1 - 15
Seol SH , Jung IC , Lim JW , Kang WC , Lee SR 2010 Preliminary Study to Develop the Instrument of Oriental Medical Evaluation for Jing Ji and Zheng Chong Journal of oriental neuropsychiatry 21 (3) 1 - 18
Landis JR , Koch GG 1977 The Measurement of Observer Agreement for Categorical Data Biometrics 33 159 - 74    DOI : 10.2307/2529310
Portney LG , Watkins MP 2000 Foundations of clinical research Applications to practice Prentice Hall Inc. New Jersey 560 - 70
Jang JG 1974 Geumgweyolyag Jeonghae Dong-yang Jonghabtongsindaehag gyoyugbu Seoul 54 -
Eom YH 1983 Jesaengbang People’s Medical Publishing House Beijing 2123 -
Yang YG 1976 Huangdi Neijing Youngchu Dalian Guofeng Publisher Beijing 104 -
Lee GW 1999 Huangdi Neijing Somun 1 Yeogang Publisher Seoul 547 -
Lee GW 1999 Huangdi Neijing Somun 3 Yeogang Publisher Seoul 77 -
Jang JG 1984 Jung-gyeong Jeonseo Haenglim Publisher Seoul 139, 149, 160, 174, 205, 222 -
2001 Korean Medicine pathology han-ui munhwasa Seoul 172 -
Jeong WY , Ahn GS 1998 Korean Medicine Clinical Pathology Younglim Inc. Seoul 46 -
Seong TJ 2007 Validity and Reliability Hakjisa publisher Seoul 36 - 9,83-8
DeVellis R.F. 1991 Scale Development: Theory and Applications Sage Newbury Park