Advanced
Development on the Questionnaire of Cold-Heat Pattern Identification Based on Usual Symptoms for Health Promotion - Focused on Reliability Study
Development on the Questionnaire of Cold-Heat Pattern Identification Based on Usual Symptoms for Health Promotion - Focused on Reliability Study
-– 신뢰도를 중심으로-
Journal of Physiology & Pathology in Korean Medicine. 2016. Apr, 30(2): 116-123
Copyright © 2016, The Korean Association of Oriental Medical Physiology
  • Received : March 18, 2016
  • Accepted : April 22, 2016
  • Published : April 25, 2016
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
TagCloud
About the Authors
민경, 여
기현, 박
광호, 배
은수, 장
esjang@dju.ac.kr
영섭, 이
esjang@dju.ac.kr

Abstract
This study was performed to develop questionnaire of cold-heat pattern identification(PI) based on usual symptoms for general people, and we analyzed reliability of the questionnaire. We reviewed cold-heat PI questionnaire of advanced research and selected twenty-three items through three time experts meeting. Three hundred and fifty nine healthy subjects were joined in this study. As a results, Cronbach’s α of cold-heat PI questionnaire was 0.79 and 0.83. According to the factor analysis about fifteen-chosen cold-heat PI questionnaires, each cold-heat consisted of two factors and each Convergence was 56.46% and 65.93%. Intra-class Correlation Coefficient was 0.67-0.83. Based on the median of samples of primary source, we classified subjects into four category as Cold, Heat, No Cold-Heat, and Cold-heat complex. We examined agreement of diagnosis and coefficient of kappa, and agreement rate of diagnosis was 64.2%, and coefficient of kappa was 0.51. Based on research result, we expect that validity study about questionnaire of cold-heat PI based on usual symptoms will be continued, and hope to be used as subsidiary diagnosis in clinical practice.
Keywords
서 론
한의학에서 표리(表裏), 허실(虛實), 한열(寒熱), 음양(陰陽)의 팔강(八綱)은 진단과 치료 및 건강관리에 중요한 기본강령이다. 특히 한열변증은 다른 변증 방법에 비해 비교적 진단 요건이 분명하고 구체적이기 때문에 일찍부터 연구되기 시작하였다 1) . 한열은 표리, 허실, 한열로 표현되는 세 쌍의 진단개념 중 음양을 가장 잘 대표할 수 있는 범주이고 2) , 표리와 허실에 비해 비교적 층차가 복잡하지 않아 질병의 성질을 판단하고, 치료방향을 설정하는 중요지표로 알려져 있다 3) .
한열은 평소 증상의 경향을 살피고 넓은 의미로 건강상태를 평가하는 지표로 활용되기도 하는데, 특히 사상체질의학에서는 평소의 한열상태를 소증(素證)이라 하여 체질 진단뿐 아니라 체질 병증의 진단지표로 활용하고 있다 4) .
현대의학에서는 과학적 근거를 중시함에 따라 한의학에서도 의사의 주관을 배제한 객관적이고 정량적인 진단을 하고자 설문지나 검사를 많이 이용하고 있다 5) . 한열은 임상에서 問診에 의해 구분하고 진단하는 경우가 많으므로 설문지의 형식이 잘 맞는 변증 방법이라 할 수 있다 2) .
지금까지 진행된 한열변증 설문지 개발에 관한 연구로는 김 등 2 , 6) 의 전문가 설문조사 및 델파이 방법을 활용한 연구, 배 등 7) 의 문헌 중심의 한열 고찰 연구, 유 등 1) 의 문헌고찰 및 델파이 방법을 이용한 설문지 개발, 허실을 함께 묶은 한열허실 설문도구 개발 8 , 9) 이 있다. 또한 중풍 10) 과 치매 11 , 12) , 월경통 13) 과 같이 특정 질환에 따른 문항 개발이 이뤄져왔다.
한열증상은 질환의 유무에 따라, 또는 어떤 질환인지에 따라 그 차이를 보이기 때문에 질환의 특징에 따라 지표와 가중치가 달라야 한다. 따라서 특정 질환에 따른 한열 설문도구는 일반인을 대상으로 적용하기 쉽지 않다. 선행연구에서는 대부분 한과 열을 하나의 축이 아닌 독립적인 2개의 축으로 해석하여 각각의 항목으로 설문문항을 개발하였는데, 진단이 한증과 열증으로 양분화 되는 형태이기 때문에 이에 속하지 않는 경우는 반영하지 못하는 단점이 있었다.
이에 본 연구는 일반인들에게도 활용 가능한 평소 증상 기반의 한열설문지를 개발하여 문항 신뢰도를 평가하였으며, 한열 점수를 이용한 진단결과 신뢰도를 살펴보았다.
연구대상 및 방법
- 1. 연구 대상
본 연구는 비교적 건강한 사람들의 평소 한열증상을 파악하기 위해 대전인근지역 대학생과 경기지역 K 병원의 검진센터를 방문한 검진자 359명을 대상으로 하였다. 자료 수집은 2014년 9월 -2014년 11월 사이에 이루어졌으며, 윤리적 연구 수행을 위해 해당 병원의 임상연구윤리심의위원회의 승인(IRB No. GAIRB2014-271)을 받았다.
- 2. 연구 방법
- 1) 설문지표 발굴
한열 설문지표는 개발된 선행연구의 한열 설문지들을 검토하여 선정 1 , 14) 하였다. 3차례의 내·외부 전문가 회의를 통해 선정한 한열지표들이 평소 증상을 평가하는 지표로 적절한지 논의하였다.
- 2) 설문도구 개발
본 연구에서는 내·외부 전문가 논의를 통해 발굴된 지표를 대상자가 자기보고식으로 응답할 수 있도록 문항화 하였다. 설문문항이 2개의 의미를 포함할 경우 각각 별개 문항으로 분리하고, 비슷한 내용을 묻는 두 개의 문항은 ‘또는’을 사용하여 하나의 문항으로 통합하였다. 특정 병증지표를 묻는 문항은 평소 증상을 묻는 문항으로 수정하였다. 이렇게 만들어진 한열변증 설문지 초안은 한증 11문항, 열증 12문항으로 총 23문항이었다 [Appendix] .
설문 문항의 척도는 기존의 설문문항이 ‘예/아니요’로 되어 있어 정도를 표현하지 못하는 점을 감안하여, ‘전혀 아니다(1점)/아닌 편이다(2점)/그런 편이다(3점)/매우 그렇다(4점)’의 4점 척도로 설정하였다.
- 3) 자료 수집
초안으로 개발한 한열변증 설문지를 이용하여 1차 설문을 시행하여 자료를 수집하였다. 2주 뒤 동일한 설문지로 2차 자료를 수집하였다.
- 3. 통계분석
수집한 자료는 SPSS 21.0 Program을 이용하여 분석하였으며 신뢰도 평가를 위한 방법으로 Cronbach’s α, 요인분석, 급내상관계수(Intra-class Correlation Coefficient, ICC), Kappa 계수를 사용하였다. 한열변증 설문지 개발을 위한 자세한 분석 절차는 다음과 같다( Fig. 1 ).
PPT Slide
Lager Image
Flow of study on reliability of questionnaire for cold-heat pattern identification
1) 후보 설문문항 간 내적 신뢰도는 Cronbach’s α 계수를 통해 평가했으며, Cronbach’s α 계수가 최고치가 될 때까지 신뢰도가 떨어지는 문항을 삭제하였다.
2) Cronbach’s α 계수가 최고치 일 때 남은 문항이 몇 개의 요인으로 묶이는지 보기 위해 요인분석을 진행하였다. 요인적재값은 0.5를 기준으로, 0.5미만인 문항은 삭제하고 다시 요인분석을 실시하였다.
3) 모든 문항의 요인적재값이 0.5이상일 경우 분석을 종료하고 문항을 확정했다.
4) 최종 선정된 문항을 대상으로 검사-재검사법을 이용한 한열 설문도구의 신뢰도를 평가하였다. 재검사를 진행한 대상자 중 결측치가 없는 159명에 대해 급내상관계수(Intra-class Correlation Coefficient, ICC) 분석을 시행하여 요인별 ICC와 전체 ICC를 모두 살펴보았다.
5) 4)와 동일한 대상자를 1차 자료의 한열 점수 표준 중위수를 기준으로 유한(有寒), 무한(無寒), 유열(有熱), 무열(無熱)군으로 구분하였다. 이후 이들을 조합하여 유한무열(有寒無熱)하면 한증(寒證), 무한유열(無寒有熱)하면 열증(熱證), 유한유열(有寒有熱)하면 한열착잡증(寒熱錯雜證), 무한무열(無寒無熱)하면 무한무열증(無寒無熱證)으로 분류하였다. 2차 자료의 한열 유형은 1차 자료의 기준을 이용하여 진단하였으며, 1, 2차에서의 4가지 유형에 대한 진단 일치도를 Kappa 계수를 통해 알아보았다.
결 과
- 1. 인구학적 정보
본 연구의 참여자는 대학생 집단 159명과 일반 건강 검진자 200명을 포함한 총 359명이었다. 남성이 137명(38.2%), 여성이 222명(61.8%)으로 참가자의 평균 연령 34.9세였다. 평균 키와 몸무게는 165.1cm, 62.1kg이었고, 체질량지수(Body Mass Index, BMI)의 평균은 22.6이었다( Table 1 ).
General characteristics of the study subjects
PPT Slide
Lager Image
General characteristics of the study subjects
- 2. 문항 신뢰도 평가
1차 설문 자료를 통해 후보 문항에 대한 내적 일치도를 알아보기 위해 신뢰도 분석을 진행하였다. Cronbach’s α 계수가 최고치가 될 때까지 진행한 결과 총 23개 문항 중 한증 3문항, 열증 5문항이 탈락하였다. 남은 문항 수는 15문항(한증 8문항, 열증 7문항)으로 Cronbach’s α 계수는 한증의 경우 0.79, 열증의 경우 0.83으로 나타났다( Table 2 ).
Remaining and deleted items in reliability analysis
PPT Slide
Lager Image
Remaining and deleted items in reliability analysis
- 3. 요인 분석
선정된 한열변증 설문문항 15개에 대한 구성을 살펴보기 위해 요인분석을 진행한 결과, 한열 각각 2개의 요인으로 분류되었다. 한증의 1요인은 4문항으로 냉감각과, 2요인 역시 4문항으로 열에 관한 선호도 및 소변과 연관이 있었다. 열증의 1요인은 4문항으로 한에 관한 선호도와 관련이 있었고, 2요인은 3문항으로 온감각과 관련이 있었다. 한증의 요인적재값은 56.46%였고 열증의 요인적재 값은 65.93%였다( Table 3 ).
Factor analysis of items for cold-heat pattern identification
PPT Slide
Lager Image
Factor analysis of items for cold-heat pattern identification
- 4. 급내상관계수 분석
요인분석을 통해 묶인 요인 간 재현성을 확인하기 위해 검사-재검사를 이용한 급내상관계수(Intra-class Correlation Coefficient, ICC) 분석을 진행하였다. 그 결과 요인 간 ICC 값은 한증에서 0.76과 0.81, 열증에서 0.77과 0.67로 나타났다. 전체 문항에서의 ICC값은 한증이 0.83, 열증이 0.78로 나타났다( Table 4 ).
Test-retest reliability: Intra-class correlation coefficient
PPT Slide
Lager Image
* ICC-a: Intra-class correlation between factors ** ICC-b: Intra-class correlation of total question
- 5. 표본 중위수를 이용한 한열진단 신뢰도
1차 자료의 한증과 열증 점수의 표본 중위수를 기준으로 한증(寒證), 열증(寒證), 무한무열증(無寒無熱證), 한열착잡증(寒熱錯雜證)으로 나누고, 이를 2차 자료에 적용하여 진단한 뒤 1, 2차 자료의 진단 일치도를 살펴보았다( Fig. 2 ). 진단 일치도는 64.2%, Kappa 계수는 0.51로 나타났다( Table 5 ).
PPT Slide
Lager Image
Diagnostic diagram of cold-heat pattern identification
Test-retest reliability: coefficient of kappa*
PPT Slide
Lager Image
* Criterion using the median in the test set: cold 21, heat 16
고 찰
한의학의 변증 진단은 모호성으로 인해 진단의 객관화 및 정량화에 대한 필요성이 증대하였다. 이에 따라 다양한 통계기법을 활용한 표준화된 진단과 평가를 위한 설문도구가 개발되어왔다 15) . 신뢰성이 있고 타당도가 높은 설문지는 임상연구에서 분류기준으로 사용될 뿐 아니라 실제 임상에서 진단의 보조수단으로 활용되어 의료인의 판단을 돕는 역할을 한다. 따라서 신뢰도 및 타당도 평가는 설문도구가 하나의 진단기준으로 활용되기 위해서 반드시 거치는 과정이다 16) . 본 연구에서는 기존의 병증 한열변증 설문지를 활용하여 평소 증상 기반의 한열변증 설문지를 개발하고 그 신뢰도를 평가함으로써 평소 한열을 진단하는 타당도 연구의 기반으로 삼고자 하였다.
한열이라는 현상은 처음 기후변화의 일부로 인식되었으며, 질병으로서의 한열과 평소 증상인 소증(素證)으로서의 한열 등 다양하게 사용되어 왔다. 소증으로서의 한열은 병의 전 단계, 즉 미병(未病)적 개념이 강하며 사상체질의학에서는 소증이 건강을 평가하고 예후를 추정하는 지표가 된다 17) . 다시 말해 소증의 개선은 보다 나은 건강상태로의 이행이라고 할 수 있다.
사회가 발전하고 높은 삶의 질을 추구하면서 질병의 악화를 막으려는 치료적 측면의 개념에서 예방적 측면의 건강 증진의 중요성이 대두되어 왔는데 18 , 19) , 이러한 관점에서도 평소 한열상태의 지속적 관리는 보다 나은 건강상태를 유지하고 질병을 예방하고 관리하는데 도움이 된다고 생각한다. 또한 한열과 질병 간의 상관성이 연구를 통해 꾸준히 보고되고 있기 때문에 20 - 22) 그만큼 평소 한열 증상의 관리가 중요하다고 보인다. 따라서 본 연구에서는 질병으로 인한 한열보다는 평소 증상에 따른 한열에 초점을 두어, 대상자 군을 비교적 건강한 사람인 대학생과 건강 검진자 집단으로 설정하였다.
먼저 한열변증 설문도구의 후보 문항에 대한 내적 일치도를 알아보기 위해 Cronbach’s α 신뢰도 분석을 진행하였다. Cronbach’s α는 설문 문항들의 응답패턴이 얼마나 일치하는지 여부를 측정하는 통계량으로써, 변화 패턴이 일치하면 내적 일치도가 높다고 할 수 있다 23) . 총 23개의 한열변증 설문 문항 중 8개의 문항을 탈락시켰을 경우 Cronbach’s α 계수가 가장 높은 것으로 나타났다. 탈락된 문항은 한증에서 ‘평소 물을 잘 안 마신다’, ‘평소 묽은 대변을 본다’, ‘평소 가래나 콧물이 맑은 편이다’의 3문항, 열증에서 ‘평소 손발이 따뜻한 편이다’, ‘평소 물을 많이 마시는 편이다’, ‘평소 소변의 색이 노란 편이다’, ‘평소 대변이 딱딱한 편이다’, ‘평소 가래 또는 콧물이 누런 편이다’의 5문항이었다. 즉 한과 열증에서 모두 탈락한 문항은 음수량, 대변상태, 진액의 색에 관한 문항이었다. 이는 임상에서 병리적 성향이 강한 문항이기 때문에 건강군의 평소 증상에서는 신뢰도가 떨어진 것이라 생각된다. 열증에서 추가 탈락한 2개의 문항은 소변색과 말초 온도감각에 관한 문항이었는데 소변색은 앞서 언급한 이유로 신뢰도가 낮게 평가되었다고 사료되며, 사지 말단부위의 온열감은 건강군이라 할지라도 변화할 가능성이 있는 문항이라고 추정된다.
그리하여 남은 문항은 한증 8문항, 열증 7문항으로 Cronbach’s α 계수는 한증이 0.79, 열증이 0.83이었다. Cronbach’s α 계수는 일반적으로 설문개발에서 0.7이상이면 신뢰도를 만족한다는 보는데 24 , 25) , 평소 증상 기반의 한열변증 설문지의 내적 신뢰도는 적절하다고 할 수 있다.
다음은 선정된 한열변증 설문도구 15개 문항에 대한 구조의 타당성을 확인하기 위해 요인분석을 진행하였다. 그 결과 한열변증은 각각 2개의 요인으로 분류되었다. 한증의 1요인은 ‘평소 몸에 차거나 시린 느낌이 있다’, ‘평소 손발이 차가운 편이다’, ‘평소 배가 서늘한 편이다’, ‘평소 얼굴색이 창백한 편이다’의 4개의 문항이었고, 2요인은 ‘평소 따뜻한 기운이나 따뜻한 온도가 좋다’, ‘평소 찬 기운이나 추운 것이 싫다’, ‘평소 소변이 맑거나 투명하다’, ‘평소 따뜻한 물을 마시는 편이다’의 4개의 문항으로 묶였다. 1요인은 냉감각과 관련이 있었고, 2요인은 열에 관한 선호도 및 소변과 관련된 문항이라 해석할 수 있다. 열증의 1요인은 4문항으로 ‘평소 시원하거나 서늘한 것이 좋다’, ‘평소 차거나 시원한 물을 마시는 편이다’, ‘평소 덥거나 따뜻한 기운이 싫다’, ‘평소 몸에 열이 나거나 더운 편이다’, 2요인은 ‘평소 얼굴 또는 눈이 붉은 편이다’, ‘평소 몸에 뜨겁거나 화끈거리는 느낌이 있다’, ‘평소 콧김이 뜨거운 편이다’의 3문항으로 묶였다. 1요인이 한에 관한 선호도라고 본다면, 2요인은 온감각과 관련되어 있다고 할 수 있다. 요인분석을 통한 한열변증 설문도구의 누적 분산 설명량은 56.46%와 65.93%로 나타났는데 사회과학 분야의 누적 설명 분산으로 Hair 등 26) 이 제시한 50-60%의 기준에 부합하고 있었다.
요인분석을 통해 묶인 요인 간 재현성을 확인하기 위해 검사-재검사를 이용한 급내상관계수(ICC) 분석을 진행하였다. ICC 값은 0.5이하는 낮은 수준, 0.5-0.75는 중간, 0.75이상일 경우 높은 수준으로 판단한다 27) . 한열변증 설문도구의 요인 간 ICC 값은 한증에서 0.76과 0.81, 열증에서 0.77과 0.67로 나타났으며 전체 문항에서는 한증이 0.83, 열증이 0.78이었다. 측정하고자 하는 관심변수와 자연발생적으로 형성된 집락 사이의 관계를 의미하는 ICC는 한열변증 설문도구에서 열증의 2요인(중간 수준)을 제외하고는 모두 높은 수준이었다.
마지막으로 1차 자료에서 한증과 열증 점수의 표본 중위수를 이용하여 한열변증을 4개의 유형으로 분류하고, 이를 2차 자료에 적용하여 1, 2차 한열 진단결과의 Kappa 신뢰도를 살펴보았다. 한증 또는 열증으로 명확히 진단하기 위해서는 전문가 또는 기준값을 정해 Cut-off를 제시해야 하는데 본 연구에서는 그 기준을 임의대로 중위수로 설정하였다. 중위수를 기준으로 한증 점수를 유한(有寒)과 무한(無寒)으로, 열증 점수의 유열(有熱)과 무열(無熱)로 나누고 이들을 조합하여 한, 열, 무한무열, 한열착잡증의 4개의 유형으로 분류하였다. 이때의 1, 2차의 진단 일치도는 64.2%, 카파 값은 0.51이었다. 카파 값은 0에서 1사이의 값으로, 1에 가까울수록 예측 값과 실제 값이 정확히 일치한다고 본다. Cohen 28) 은 K=0.41-0.60이면 Moderate agreement라 보았는데 본 한열변증 설문지의 일치도는 적절하다고 해석할 수 있다.
본 연구에서 개발한 한열변증 설문도구는 평소 증상에 기반을 두고 있어 일반인에게도 적용 가능한 장점이 있다. 또한 한열을 지수화 하여 평소 한열현상이 어떤 질환이나 병증과의 연결되고, 나아가 어떤 질환의 원인으로 작용하는지를 살펴볼 수 있는 기반을 확보하였다. 또한 한증과 열증을 독립적인 척도로 인식하여 한증과 열증 2개의 유형이 아닌 4개의 유형으로 진단할 수 있는 기틀을 마련하였다. 그러나 잘 수행된 연구라 할지라도 하나의 연구만으로 인과관계를 대표할 수 없으므로 29) , 다른 집단과 다른 환경에서도 같은 결과가 반복되는지 본 설문지의 적용 가능성을 재확인할 필요가 있다.
본 논문에서 소증의 한열을 한증(寒證), 열증(寒證), 무한무열증(無寒無熱證), 한열착잡증(寒熱錯雜證)으로 명명함으로써 질병에서의 한열로 혼돈할 가능성이 있다. 하지만 세계보건기구 표준용어집(WHO IST)에 소증에 대한 적합한 변증 표현이 없고, 새로운 용어를 만드는 것이 또 다른 혼돈을 야기할 수 있어 질병 변증에 사용하는 용어로 표현하였다. 향후 소한(素寒), 소열(素熱) 등 평소 한열에 대한 용어 정립의 논의가 필요하리라 사료된다. 아울러 본 한열변증 설문도구에 대한 타당도 연구와, 평소 한열이 질병과 어떤 상관성이 있으며 질병 발생의 위험요인으로 작용하는지에 대한 추가적인 연구가 진행되길 기대한다.
결 론
본 연구는 평소 한열상태를 측정할 수 있는 설문지를 개발하여 비교적 건강한 대학생과 건강 검진자를 대상으로 설문지에 대한 신뢰도를 연구한 결과, 다음과 같은 결론을 얻었다.
후보 문항에 대한 내적 일치도를 알아본 결과 Cronbach’s α 계수는 한증에서 0.79, 열증에서 0.83으로 나타났다.
선정된 한열변증 설문도구 15개 문항에 대한 요인분석을 진행한 결과, 한열 각각 2개의 요인으로 분류되었다. 한증의 1요인은 냉감각과, 2요인은 열에 관한 선호도 및 소변과 관련이 있었다(Convergence: 56.46%). 열증의 1요인은 열에 관한 선호도, 2요인은 온감각과 관련이 있었다(Convergence: 65.93%).
묶인 요인 간 재현성을 확인하기 위해 검사-재검사를 이용해 구한 급내상관계수(ICC)는 한증에서 0.76과 0.81, 열증에서 0.77과 0.67로 나타났다. 전체 문항에서의 ICC 값은 한증이 0.83, 열증이 0.78이었다.
1차 자료의 한열 점수 표본 중위수를 기준으로 2차 자료의 유형을 한, 열, 무한무열, 한열착잡증으로 분류한 후 1차와 2차 진단 일치도와 Kappa 계수를 살펴본 결과, 일치도는 64.2%, 카파 계수는 0.51로 나타났다.
이상의 연구결과를 근거로 평소 증상 기반의 한열변증 설문지에 대한 타당도 연구가 이어져, 실제 임상에서 진단의 보조수단으로 활용되길 희망한다.
Acknowledgements
본 연구는 한국한의학연구원 기관주요사업인 ‘동서의학 융합의 미병(未病) 진단기준 개발’(K16091)과 정부(미래창조과학부)의 재원으로 한국연구재단 바이오·의료기술개발사업(NRF-2014M3A9D7034335)의 지원을 받아 수행되었음.
References
Ryu H.H. , Lee H.J. , Jang E.S. , Choi S.M. , Lee S.G. , Lee S.W. 2008 Study on Development of Cold-Heat Pattern Questionnaire. Journal Physiology & Pathology in Korean Medicine. 22 (6) 1410 - 1415
Kim S.K. , Nam T.H. , Park Y.B. 2002 Validity of Questionnaires for Cold-Heat Patternization(Ⅰ). The Journal of the Korea Institute of Oriental Medical Diagnostics. 6 (2) 141 - 153
Bae N.S. , Park Y.J. , Oh H.S. , Park Y.B. 2007 Correlation Analysis for Correlation Dimesion of EEG and Cold-heat Score. The Journal of the Korea Institute of Oriental Medical Diagnostics. 11 (2) 116 - 127
Jang E.S. , Kim M.G. , Baek Y.W. , Kim Y.J. , Kim J.Y. 2009 Influence of Cold and Heat Characteristics and Health State in Sasang Constitution Diagnosis. Journal of Sasang Constitutional Medicine. 21 (3) 76 - 88
Oh S.J. , Park Y.J. , Park Y.B. 2004 Studies on the Characteristics of the Yin-Yang, Heat-Cold by the Yangdorak Patterns. 8 (1) 86 - 108
Kim S.K. , Park Y.B. 2003 Development of Questionnaire for Cold-Heat Patternization. The Journal of the Korea Institute of Oriental Medical Diagnostics. 7 (1) 64 - 75
Bae N.S. , Park Y.J. , Oh H.S. , Park Y.B. 2005 Preceding Studies for Questionnaires on Han-Yol Patternization. The Journal of the Korea Institute of Oriental Medical Diagnostics. 9 (1) 98 - 111
Cho H.S. , Bae G.M. 2009 Research In Developing of Diagnosis Questionnaires on Cold, Heat, Deficiency and Excess. Journal Physiology & Pathology in Korean Medicine. 23 (2) 288 - 293
Kwon O.S. , Kim J.E. , Lee J.W. , Seo C.H. , Han H.Y. , Hong S.H. 2009 Analytic Study of Diagnostic Validity by the Measure of Cold-Heat & Deficiency-Excess for Oriental Medical Examination. Journal Physiology & Pathology in Korean Medicine. 23 (1) 180 - 185
Kim S.Y. , Lee J.S. , Oh D.S. , Kang B.K. , Ko M.M. , Kim J.C. , Kwon S.H. , Bang O.S. 2010 Study on the Relationship between Korean Standard of Pattern Identification(Ⅱ) and Pattern Identification of Cold-Heat and Deficiency-Excess. Journal Physiology & Pathology in Korean Medicine. 24 (1) 15 - 21
Heo E.J. , Kang H.W. , Jeon W.K. 2013 Preliminary Research for Development of Instrument for Cold-Heat & Deficiency-Excess Pattern Identification of Dementia. Journal Physiology & Pathology in Korean Medicine. 27 (5) 553 - 562
Heo E.J. , Lee S.W. , Jeon W.K. , Lyu Y.S. , Kang H.W. 2015 The Evaluation of Instrument for Cold-Heat & Deficiency-Excess Pattern Identification of Dementia. Journal of Oriental Neuropsychiatry. 26 (3) 283 - 292    DOI : 10.7231/jon.2015.26.3.283
Lee I.S. , Cho H.S. , Youn H.M. , Jung K.K. , Kim K.K. , Park J.E. , Choi S.M. 2007 A Study on Diagnosis of Dysmenorrhea Patients by Diagnosis System of Oriental Medicine. Journal of Pharmacopuncture. 10 (1) 137 - 155    DOI : 10.3831/KPI.2007.10.1.137
Ryu H.H. , Lee H.J. , Kim H.G. , Kim J.Y. 2010 Reliability and Validity of a Cold-Heat Pattern Questionnaire for Traditional Chinese Medicine. The Journal of Alternative and Complementary Medicine. 16 (6) 663 - 667    DOI : 10.1089/acm.2009.0331
Park Y.J. , Park Y.B. 2001 A Study on Standardization of Bian Zheng by Some Statistical Methods. The Journal of the Korea Institute of Oriental Medical Diagnostics. 5 (2) 306 - 330
Yeo M.K. , Dong S.O. , Lee Y.S. , Jang E.S. 2015 Review of Reliability and Validity of Questionnaire of Pattern Identification in Traditional Chinese Medicine – Using China National Knowledge Infrastructure. Journal Physiology & Pathology in Korean Medicine. 29 (3) 246 - 255
Jang E.S. , Baek Y.H. , Park K.H. , Lee S.W. 2012 The Difference of Digestion, Sweat, Stool, Urination, Drinking, Coldness and Hotness Characteristics according to Sasang Constitutional Exterior and Interior Diagnosis. Journal of Sasang Constitutional Medicine. 24 (1) 43 - 53    DOI : 10.7730/JSCM.2012.24.1.043
Lee J.W. 1995 Studies on the Theory of Oriental Medicine Diagnosis and Application of Moire Topography. Journal of Korea Institute Oriental Medicine 1 (1) 273 - 287
Chong M.S. , Kim S.C. , Lee E.K. , Chun E.J. , Han J.M. , Lee S.K. , Kang S.H. , Yu T.S. , Jeung J.Y. , Song Y.S. , Lee K.N. 2000 Research on the Development of the Oriental Medical Model on the Health Examination in the Industry. Journal of Society of Preventive Korean Medicine. 4 (1) 32 - 50
Bae K.H. , Lee J.A. , Park K.H. , Yoo J.H. , Lee Y.S. , Lee S.W. 2016 Cold Hypersensitivity in the Hands and Feet May Be Associated with Functional Dyspepsia: Results of a Multicenter Survey Study. Evidence-Based Complementary and Alternative Medicine. 2016 8942690 -    DOI : 10.1155/2016/8948690
Yoshino T. , Katayama K. , Munakata K. , Horiba Y. , Yamaguchi R. , Imoto S. , Miyano S. , Watanabe K. 2013 Statistical Analysis of Hie(Cold Sensation) and Hiesho(Cold Disorder) in Kampo Clinic. Evidence-Based Complementary and Alternative Medicine. 2013 398458 -    DOI : 10.1155/2013/398458
Nietert P.J. , Shaftman S.R. , Silver R.M. , Wolf B.J. , Egan B.M. , Hunt K.J. , Smith E.A. 2015 Raynaud Phenomenon and Mortality: 20+ Years of Follow-up of the Charleston Heart Study Cohort. Clinical Epidemiology. 7 161 - 168    DOI : 10.2147/CLEP.S75482
Kim G.G. , Kim J.W. , Lee E.J. , Choi S.M. , Cho M.H. , Kim D.J. , Lee S.Y. 2004 Study on the Development of Sasang Constitutional Classification Function using Discriminant Analysis Model, I: Variable Selection in Cronbach Alpha Coefficient. Journal of the Korean Data Analysis Society. 6 (2) 493 - 504
Jang W.W. , Jung K.L. , Jan Y.S. , Soo Y.K. , Woo S.S. , Park H.K. 2000 The Development of Korean Health Related Quality of Life Scale(KQUOLS)-Testing Reliability and Validity-. Journal of Korean Academy of Family Medicine. 21 (3) 382 - 394
Hwang I.H. 1994 Research Methods of Questionaries. Journal of Korean Academy of Family Medicine. 15 (1) 30 - 35
Hair J.F. , Anderson R.E. , Tatham R.L. , Black W.C. 1995 Multivariate Data Analysis (4th ed.). Prentice Hall Upper Saddle River, NJ
Rosenthal R. , Rosnow R.L. 1991 Essentials of behavioural research: Methods and Data Analysis. McGraw Hill New York
Landis J.B , Koch G.G. 1977 The Measurement of observer agreement for categorical data. Biometrics. 33 (1) 159 - 174    DOI : 10.2307/2529310
Nassir Ghaemi S. 2015 A Clinician’s Guide to Statistics and Epidemiology. Slow & Steady Seoul