Advanced
Study on the Current Situation and Issues for Clinical Research in Korean Medicine worldwide - Future Clinical Research Strategy I -
Study on the Current Situation and Issues for Clinical Research in Korean Medicine worldwide - Future Clinical Research Strategy I -
-- 미래 임상 연구 전략 Ⅰ--
Journal of Physiology & Pathology in Korean Medicine. 2014. Apr, 28(2): 137-145
Copyright © 2014, The Korean Association of Oriental Medical Physiology
  • Received : March 27, 2014
  • Accepted : April 10, 2014
  • Published : April 25, 2014
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
TagCloud
About the Authors
기용 정
호연 고
승호 선
종진 정
정수 박
윤경 송
태훈 김
성인 홍
유경 최
성규 고
은미 임
충열 이
종형 박
찬용 전
joncy@gachon.ac.kr

Abstract
The purpose of this paper is to explore the strategy of future Korean medicine(KM) clinical research through the study on the current situation and issues for KM clinical research worldwide. In this study, the papers published in English through Pubmed were investigated mainly. And we analyzed the methodological issues from the clinical research reports in the KM fields. As a result of examining the current situation of the RCTs(Randomized Controlled Trials) studies in KM, the sample size for most studies was small and the overall methodological quality appeared to be low. And there was a discussion about whether or not to apply RCTs method to the KM clinical research. The majority of studies have argued the use of RCTs method for KM clinical research. In addition, we could find some problems through the analysis of KM clinical studies. First, the majority of RCTs in KM were of low quality. Second, RCTs method was applied to the KM clinical studies according to the Western medicine methods only. Third, the actual KM diagnosis was not used in the KM studies and inadequate outcomes measurement methods were utilized without considering the characteristics of KM practice. The methodological issues in the KM clinical research were caused by the conflict between the characteristics of KM practice and clinical research method based on the western medicine.
Keywords
서 론
전 세계적으로 의학계에는 근거중심의학(Evidence-Based Medicine, 이하 EBM) 및 이를 뒷받침하는 임상 연구(clinical research)에 대한 중요성이 강조되고 있다 1) . EBM을 위한 임상 연구의 핵심에는 무작위화(randomization), 이중 맹검(double blinding), 위약(placebo) 등으로 이루어진 무작위대조군시험(Randomized Controlled Trials, 이하 RCTs)이 있다 2) .
한의학을 비롯한 전통 의학 분야가 전 세계적으로 그 비중이 확대되면서 한의학 분야도 동일하게 치료의 효능(efficacy), 효과(effectiveness) 및 안전성(safety) 등에 대한 근거를 입증해야 하는 상황에 처하게 되었다 3) . 이에 한의학 및 관련 분야에도 근거 중심 접근이 필수적인 상황이 되었고 4) , 그 결과 2000년대 이후 근거중심의학(EBM)에서 말하는 임상 근거(evidence)의 확립을 위한 임상 연구가 확대되고 있으며, 많은 RCTs 연구들이 이루어지고 있다. 이와 함께 기존 의학 연구에 일반적으로 적용되는 RCTs를 비롯한 임상 연구 방법론(clinical research methodology)이 한의학을 비롯한 전통 의학 분야에 그대로 적용되는 것이 과연 적절한지, 그렇지 않다면 전통 의학 분야에 대한 적합한 임상 연구 방법론은 무엇인지에 대한 다양한 논의들도 함께 이루어져 왔다. 아울러 실제 한의 임상의 치료 효과와 기존 한의 관련 임상 연구 결과와의 간격을 메우고 한의 임상 현장을 실제에 보다 가깝게 적절하게 평가할 수 있는 새로운 임상 시험 방법들에 대한 제안들도 이루어지고 있다 5) .
본 논문에서는 우선적으로 한의 임상 연구의 국내외 현황 및 한의 임상 연구에 대한 다양한 논쟁에 대해 고찰하고자 한다.
이를 통해 현재 한의 임상 연구의 문제점을 돌아보고자 한다. 또한 이번 연구는 추후 미래 한의 임상 연구에 대한 구체적인 제안을 담은 연구의 선행 연구가 될 수 있을 것이다.
연구대상 및 방법
본 연구에서는 2000년 이후 출판된 국내외 저널에서 한의 임상 연구 방법론에 대해 다룬 논문들을 대상으로 하였으며, 논문은 주로 Pubmed( www.ncbi.nlm.nih.gov/pubmed )에서 검색하였다. 그리고 필요할 경우 국내 논문 검색은 전통의학정보포털(OASIS, http://oasis.kiom.re.kr ), 중국 논문 검색은 중국학술정보원에서 제공하는 의학 분야 중국 저널 검색 엔진인 China National Knowledge Infrastructure(CNKI, http://search.cnki.net )를 사용하였고, 일본 논문 검색은 Japan Science and Technology information Aggreator, Electronic (J-STAGE, http://www.jstage.jst.go.jp )을 이용하였다. 검색 범위는 한국의 한의학(韓醫學, Korean Medicine), 일본의 캄포의학(漢方 醫學, Kampo medicine), 중국의 중의학(中醫學, Traditional Chinese Medicine, 이하 TCM), 서양에서 한의학이 포함되거나 관련되어 논의될 수 있는 분야라 할 수 있는 보완대체의학(Complementary and Alternative Medicine, 이하 CAM), 전통 의학(Traditional Medicine), 통합 의학(Integrative medicine)에서의 임상 연구에 대한 논의로 한정하였다. 이와 함께 임상 연구와 관련된 내용으로 앞에서 언급한 한의학을 비롯한 관련 분야의 임상 연구 현황(RCTs를 중심으로) 및 적절한 임상 연구 방법에 대한 논쟁 등에 대한 내용들을 위주로 분석하였다.
본 연구에서는 실제로 완전히 일치한다고 할 수 없기 때문에 논란이 있을 수 있겠지만, 한의학, 중의학, 캄포의학, 보완대체의학, 전통의학, 통합 의학 등의 용어를 문맥 상 특별히 구별이 필요한 경우를 제외하고, ‘한의학’ 및 ‘한의’로 통칭하여 기술하였다.
- 1. 한의 임상 연구의 현황 및 배경
먼저, 한의 임상 연구의 현황을 ‘한의’ 분야에서 가장 대표적이라 할 수 있는 한국의 한의학, 일본의 캄포의학, 중국의 중의학분야에서 발표된 RCTs 연구를 중심으로 살펴보고자 한다.
한국 한의학의 경우 국내에서 발간된 한의학 학술지를 각 학회 및 전통의학정보포털( http://oasis.kiom.re.kr )을 통해 창간호부터 2010년 3월 까지 검색한 결과 1,004편의 임상 연구 논문이 검색되었고, RCTs 연구는 182편이 보고 되었다. 국외의 경우 Pubmed, Cochrane library를 검색한 결과 총 41년 편의 임상 연구 논문이 보고되었고, 이중 16편이 RCTs 논문이었다 6) .
일본 캄포의학의 경우 1988년에서 2007년 사이에 Pubmed와 ICHUSHI(Japan Medical Abstracts Socitety) 검색 결과를 분석한 보고에 따르면, 135편(영어-35편, 일본어-100편)의 캄포의학 관련 임상 시험 논문이 발표되었고, 이중 106편이 RCTs 논문이었다 7) .
중의학의 경우 1999년부터 2009년 사이에 Pubmed, Cochrane library 검색 결과 43개의 RCTs 논문이 검색되었는데, 2002년 이래로 Pubmed에서 TCM에 대한 RCTs 논문의 수가 지속적으로 증가하였다 8) . 중국 내에서도 1990년대 중반부터 지속적으로 RCTs 연구의 수가 증가하고 있다 8 , 9) . 중국 내에서 발표되는 가장 보편적인 임상 연구들은 후향적인 관찰 연구로 중의학의 경우 중국 내에서 발표된 RCTs 연구 현황을 파악하기는 쉽지않다. CNKI(The China National Knowledge Infrastructure)를 통해 1994년 1월부터 2005년 5월까지의 RCTs 논문을 검색하여 분석한 보고에 따르면, 논문 검색 결과 중의학 분야에서 1685개의 논문이 검색되었다. 그러나 이들 논문을 분석하였을 때 단지 207개의 논문만이 실제 RCTs 연구라 할 수 있었다. 중국 내 저널에서 출판된 RCTs에 대한 대부분의 보고들은 무작위화에 대한 적절한 서술이 결핍되어 있었다 9) .
요컨대, 한국, 중국, 일본의 임상 연구 논문은 주로 1990년대 중반 이후부터 점차 그 양이 늘어나기 시작했으며, RCTs 연구 또한 2000년 이후부터 점차 늘고 있으나 그 수는 많지 않은 상황이라 할 수 있다. 아울러 대부분의 연구가 소규모의 연구로 그 연구의 질 또한 만족할만한 수준은 아니라고 할 수 있다 7 , 8 , 10) .
그 이유로 한의 임상 연구 분야는 재정 지원과 과학적 연구를 수행할 수 있는 주요 과학자들이 부족한 상황이며, 그 결과 엄밀한 연구가 이루어지기 어렵다는 지적이 있다 11 , 12) . 아울러, 한의 임상 효과는 일반적으로 부드러워, 임상적으로 효과를 보기에 상대적으로 더 긴 시간을 필요로 한다는 지적도 있다 12) . 즉, 한의 임상 연구는 서양 의학보다 더 큰 규모와 더 긴 시간의 임상 연구가 필요하고, 이로 인해 한의 임상 시험을 수행할 때는 더 많은 비용과 수준 높은 전문가들을 필요로 한다는 것이다 3 , 8 , 12)
한의 임상 연구 분야의 현황을 이야기 할 때 한 가지 더 추가적으로 고려해야할 부분은 임상 연구 방법론과 관련된 부분일 것이다. 대체적으로 한의 분야의 임상 연구는 기존 서양의학의 임상 연구 방법론을 그대로 차용하여 사용하고 있다고 할 수 있다. 이는 기본적으로 임상 의학 연구에서 필수적인 연구 질문과 가설(research questions and hypothesis), 임상 연구 대상자 선정(participants), 구체적인 치료 방법 기술(interventions), 결과 측정 (outcome measurements) 방법, 통계 분석 등의 항목 12) 은 한의학 또한 임상 의학의 한 분야이므로 한의 임상 연구에도 당연히 포함되어야 하는 부분이기 때문일 것이다. 따라서 일반적으로 한의 임상 연구의 실험 설계(design) 및 보고(reporting)는 기존 임상 연구와 같은 가이드라인을 따르길 요구받고 있다 13) . 아울러 기존 서양의학 임상 연구 전문가들이 한의 임상 연구 또한 수행하고 있으므로 기존 서양의학의 임상 연구 방법과 같은 방식으로 연구되고 있는 것은 놀랍지 않은 일일 것이다 5) . 문제는 기존 서양의학의 임상 연구 방법들이 한의 임상의 특성이라 할 수 있는 개개인에 따른 맞춤 치료의 복잡성을 반영하기 어렵다는 데에 있다 5) . 따라서 효과가 없다고 보고되는 한의 관련 RCTs 연구결과들과 한의 치료의 유효한 효과에 대한 보고 및 폭넓은 이용 사이에 ‘간격(gap)'이 존재하는 것은 분명하다 5) . 이에 대해 Watanabe 등 7) 은 한의 임상 연구가 새롭게 수행되어야 하는 이유로 현재 한의 임상에 대한 대부분의 위약대조임상시험(placebo-controlled trials)이 평상시의 임상 현장(usual practice)을 반영하지 못하고 있고 그 결과 일상적인 임상 현장에서 의학적 결정을 내리는데 전혀 도움을 주고 있지 못함을 지적하였다.
- 2. 한의 임상 연구에 대한 논쟁
- 1) 한의 연구의 시작점
한의 치료는 서양의학과 달리 역사적으로 오랜 시간 동안 임상 현장에서 환자들에게 폭넓게 사용되어 왔다. 그러므로 연구의 시작점 또한 서양의학에서와는 달리 실제 임상 진료로부터 시작하는 것이 가능하다는 주장들이 있어 왔다 5 , 14 , 15) . Fønnebø 등 5) 은 실제 임상 진료(clinical practice)에서부터 연구의 출발점이 이루어져야 하고 이에 근거하여 안전성, 비교 유효성(comparative effectiveness) 평가, 효능 평가, 생물학적 기전 연구 등이 추후에 이루어져야 한다고 주장하였다( Fig. 1 ). 아울러 Tang 등 14 , 15) 도 한의 연구의 경우 동물 실험을 통해 특정 약물의 효과를 찾는 기존 연구 방식(mechanism based approach) 보다는 실제 환자에게 적용되어 왔기 때문에 실제 임상에서 나타나는 효능, 효과 중심의 임상 연구(efficacy based approach)가 우선적으로 필요하다고 주장하였다. 따라서 한의 임상 연구에서는 연구의 시작점인 실제 임상 현장(real practice)을 잘 반영한 연구 설계를 통해 임상 연구가 이루어지는 것이 중요한 문제라고 할 수 있을 것이다. 여기서 한 가지 고민해봐야 할 점은 특정 유효 성분의 발견, 생물학적 기전의 발견이 한의 임상 연구의 최종 목표일까 하는 점이다. 그렇지는 않은 것 같다. 서양의학 연구의 경우 최종 연구의 종착점이 결국 실제 임상이기 때문에 최종 단계까지 연구가 이루어져야만 의미가 있다고 할 수 있지만, 한의 연구의 경우 실제 임상에서 시작하여 그 효능 및 효과를 확인하는 순서로 이루어지므로 굳이 특정 유효 성분의 발견, 기전 연구 까지 연구가 이루어지지 않고 임상 효능, 효과 검증 까지만 이루어지더라도 그 자체로 가치가 있다고 할 수 있다.
PPT Slide
Lager Image
Research Strategies in Drug Trials and CAM(Korean Medicine) (proposed). Phases that Contrast the proposed phased Research Strategy in CAM(Korean Medicine)(right) with that conventionally used in Drug Trials(left).(an extract form Fønnebø et al., 20075)
아울러 이런 논의들에 기초하여 한의 임상의 근거를 만들기 위한 임상 연구의 순서가 제안된 바 있는데, 이 부분에 대한 고려 또한 중요하다 할 수 있다. Carnidi 등 16) 이 제시한 한의 임상 연구의 단계 및 그에 맞는 연구 모델은, 먼저 한의 임상에 대한 기록(documentation) 및 기술(description)을 알기 위해 조사(survey) 및 증례 연구(case studies) 등에서 시작해서 그 다음으로 효능 및 효과 판정을 위한 예비 연구로 관찰적(observational), 전향적(prospective), 실용적(pragmatic), 문화 간(inter-cultural) 예비 연구(무작위화되고 대조화된), 이어서 안전성(safety), 효과(effectiveness) 등에 대해 비교 평가(comparative evaluation)를 하기 위한 실용적 다기관 RCT 연구(Pragmatic multicenter RCT), 그 다음으로 설명적 RCT 연구(Explanatory RCT), 기초 과학 연구 등의 순서로 한의 임상 연구를 진행하자는 것이다.
- 2) EBM(RCTs)이 한의 임상 연구에 적용되는 것이 적절한가에 대한 논쟁
한의 임상 연구에 EBM을 위한 RCTs 연구를 적용하는 것에 대해서는 찬성하는 측과 반대하는 측으로 크게 나누어져 있다 3) . 결론부터 말하자면 한의 임상을 EBM의 표준인 RCTs 연구로 평가해서는 안 된다고 주장하는 논문은 소수였다 1) . 그러나 찬성하는 입장에서도 무조건적으로 서양의학과 같은 방식으로 RCTs 연구를 도입하자는 것은 아니라고 할 수 있다. 대부분의 연구에서 RCTs가 한의 임상 연구에 도입될 때 겪을 수 있는 한계들을 함께 지적하고 있다. 즉, RCTs 연구 방법을 한의 임상 연구의 주된 방법으로 채택하되, 한계가 있음을 인정하고, 한의 임상의 원칙과 특성을 반영할 수 있도록 RCTs 연구 방법의 적절한 변형 또는 보완이 필요하다는 것이다 1 - 3 , 17 , 18) . 양측의 입장은 다음과 같다.
- (1) 찬성하는 입장
한의 임상 분야도 무자격 시술사와 안전하지 못한 임상 시술로부터 대중들을 보호하기 위해 서양의학처럼 엄격하게 평가되어야 한다 18) . 따라서 한의 임상 연구의 주된 방법으로 RCTs가 사용되어야 한다는 주장이다. 즉, RCTs 연구를 표준(gold standard)으로 받아들여야 한다는 것이다 3) . 이들은 RCTs를 한의 임상 분야에 적용시키는 것이 한의 임상 연구를 발전시키는 방법이라고 주장한다 1) .
한의 치료는 환자 개개인에게 맞는 개별화된(individualized) 치료이므로, 유사한 환자에게 유사한 치료를 요구하는 RCTs는 적절하지 못하다는 반대 주장에 대한 Tang 등 14 , 15) 의 주장은 참고할만하다. Tang 등 14 , 15) 은 서양의학과 마찬가지로 한의학에서도 특정 시점에 환자의 질병 상태 및 치료 선택을 결정하는 ‘증(證)’의 숫자는 제한되어 있어서, 아마 많이 쓰이는 것은 단지 몇 백개일 것이고 한의 치료에 있어 같은 ‘증(證)’을 가진 환자에게 유사한 치료를 행하는 것은 타당한 일임을 지적하였다. 아무리 개별화된 치료가 강조된다 하더라도 한의학 이론에 기반을 둔 변증 진단이 비체계적으로 무한정 많은 것이 아니고 일정 체계 안에 어느 정도 제한된 수로 존재하므로 개별화된 치료를 핑계로 RCTs 연구 방법을 거부하는 것은 비합리적이라는 것이다. 따라서 RCTs 연구 방법을 한의 임상 연구에 적용하는 것은 타당하다고 주장한다.
그러나 찬성하는 입장에서도 RCTs가 서양의학과 같은 방식으로 무조건적으로 한의 임상 연구에 적용될 때 많은 문제들과 한계가 있음을 지적하고 있다. 이는 RCTs 연구의 특성과 한의 임상 분야의 특성이 서로 다르기 때문이다. 예를 들어 Carter 3) 는 RCTs가 단일 약물과 같은 단일 요소의 효능을 검증하는 데는 가장 적절한 방법이 될 수 있으나 복잡한 요소들과 임상의들이 제공하는 치료와 돌봄에 대한 ‘실제(real)’ 현장들은 거의 설명할 수 없다고 지적하고 있다. Verhoff 등 19) 은 RCTs는 효능(efficacy)에 대한 물음에 답할 수 있는 표준으로 받아들여지는데, 한의 분야에 적용하기에는 한계를 가지고 있고, 그 한계로 RCTs는 강력한 내적 타당도를 가지고 있으나 특별한 무작위화나 표본 추출 과정에만 의존하므로 부족한 외적 타당도를 가지고 있다고 하였다. 그리고 RCTs에서 요구하는 표준화된 진단 과정이 개별화된 진단 및 치료가 시행되는 한의 분야에 항상 실현 가능하거나 적절하지는 않다고 지적하였다. 이러한 상황에 대해 Nahin과 Straus 20) 는 실제 임상 진료(real practice)를 정확히 반영할 수 없는 단일 치료 임상 시험을 할 것인지, 디자인과 수행이 복잡한 다면적인 치료 임상 시험을 시행할 것인지에 직면해 있다고 언급하였다.
- (2) 반대하는 입장
RCTs를 표준(gold standard)로 받아들이는 개념에 대해 반대하는 측에서는 RCT의 객관성이 한의학의 본질을 훼손하고 파편화시키고, 한의 임상의 일부분을 축소시켜 현실과는 다른 연구가 이루어질 것이라고 주장한다 3) . 그리고 많은 한의 임상의들이 그들의 임상이 환원론적인 방식으로 분석되어지고 한의 임상의 전체론적인 성격이 고려되지 않을 때 근거 없는 결과가 도출될 것이라 주장하였다 18) .
반대하는 이유로는 서양의학과 다른 한의학의 특성을 말하고 있다. 이러한 특성에는 실제 생활 관찰, 개인적 경험, 치료적인 상호 만남, 진단 절차의 주관적 기초, 변증, 무수히 많은 진단범주, 개개인의 차이에 따른 맞춤 치료, 시간과 공간에 대한 중요성, 몸의 균형을 회복하려는 치유 과정, 치료 효과에 대한 질적 평가, 전일론, 복잡성, 다양한 영향 및 상호 작용 과정, 인간과 대우주 간의 상호의존, 기능적 과정이 늘 변화무쌍하게 움직이는 관계로서의 몸, 고대의 지혜에 기반을 둔 정당성 등에 대한 강조가 포함된다 1 , 14 , 15) .
Fan 21) 의 경우에는 RCTs는 현대 생의학에 적합한 방식이고, 개개인에 민감한 관찰 연구를 사용하는 것이 한의학을 평가하는데 더 적합하다고 주장하였고, 나아가 서양의학이 현대 과학적 기준에 따라 임상이 이루어지고 발전했듯이 한의학 또한 그 자신의 기준으로 임상이 이루어지고 발전하도록 해야 한다고 주장하였다.
반대하는 측의 한계도 분명히 존재하는데 이에 대한 Shea 1) 의 의견은 참고할만하다. Shea는 그 한계로 다음의 네 가지를 지적하였다 1) .
  • 첫째, 서양의학이 우세한 현실적 상황에서 RCTs가 보편적인 연구 방법으로 받아들여지고 있는데 이에 대해 무조건적으로 거부하는 것은 현실에 맞지 않다.
  • 둘째, 한의학에 RCTs 연구를 적용하는 것을 거부하는 사람들은 한의학, 서양의학, RCTs, EBM을 완전히 일치할 수 없는 것으로 너무 단순화 시키는 경향이 있다. 한의학 또한 임상의학이므로 서양의학의 다양한 임상 연구 방법 중 일부는 사용될 수 있다.
  • 셋째, 현대 한의학은 진단 및 치료에 있어 과거의 한의학과 완전히 같지 않은 상태로 실제 임상에서 다양한 지식들이 쓰이고 있다. 실제 임상에서 서양의학적 진단과 변증논치가 함께 쓰이고 있다.
  • 넷째, 반대하는 측에서 RCTs 연구 외에 별다른 대안을 제시하지 못하고 있다.
- (3) 기존 한의 임상 RCTs 연구의 문제
기존 한의 임상 연구의 문제점은 크게 세 가지로 생각해볼 수 있다. 먼저, 한의 분야에서 시행된 RCTs 연구 자체의 질이 낮은 문제가 있다. 다른 하나는 서양의학에서 사용되는 RCTs 연구방식이 한의 임상의 특성을 무시한 채 그대로 한의 임상 연구에 적용되어 나타나는 방법론적인 문제들이 있다. 마지막으로 진단과 결과 측정에 있어 실제 한의 임상 현실을 임상 연구에 반영하지 못하는 문제가 있다.
- ① 한의 분야 RCTs 연구의 낮은 질 문제
과거부터 한의 분야의 임상 연구는 방법론적인 약점으로 인해 비판받아 왔다 22) . 부적절한 표본 크기(sample size), 적절치 않은 무작위화 방법, 적합하지 않은 대조군 치료, 맹검이 없는 시험, 부적절한 치료 기간, 부정적인 결과가 거의 없는 것과 같은 출판 비뚤림(publication bias) 등이 지적되었다 23) . 구체적으로 한국, 일본, 중국에서 이루어진 한의 임상 연구들을 살펴보면 이런 지적들이 일리가 있음을 알 수 있다.
한국 한의학의 경우 2011년 4월까지 국내 학진 등재지에 발표된 한약 관련 RCTs 연구의 질을 Jadad Quality Assessment Scale, 할당은닉(allocation concealment)을 사용하여 평가한 보고를 살펴보면, 우선 기준을 만족할만한 RCTs 논문은 16편 정도 밖에 되지 않았다. 이들 RCTs 연구의 질 평가 결과는 15편에서 Jadad score 3점 이상으로 전반적으로 양호한 편이었다 24) . 그러나 이와 유사한 연구에서 밝힌 바와 같이 임상 시험에 참여한 대상자가 평균 101명으로 50명에서 100사이의 RCTs가 11편으로 가장 많았고, 가장 적게는 37명에서 가장 많게는 320명 까지 있었다 10) . 침구치료에 대한 RCTs 연구의 질 평가에 대해 장 등 25) 의 약침 연구에서는 총 18편 중 9편의 논문이 Jadad score 3점 이상이었으며, 서 등 26) 의 연구에서는 총 8편 중 3편만이 질 높은 논문으로 평가 되었다. 전체적으로 보면 우선 RCTs 논문의 수가 많지 않고, Jadad score를 통한 질 평가 결과 논문의 질은 낮지 않았지만, 표본 크기가 충분치 않은 소규모의 연구가 대부분 이었다.
캄포 의학의 경우 1988년에서 2007년 까지 수행된 106편의 RCTs 연구에 대해 평가한 보고에 따르면 대부분의 논문이 표본 크기가 작게는 4명에서 많게는 2069명으로 다양하였고, 약 2/3가 100명 이하의 소규모 연구로 대부분의 논문이 표본 크기가 작았고, 불분명한 은닉(concealment)으로 출판 비뚤림(publication bias)이 예측되는 방법론적으로 낮은 질의 논문(low methodological quality)이었다 7) .
중의학의 경우, 중의학과 관련되어 1990년대 후반까지 출판된 RCTs 논문들을 분석한 결과 방법론적인 질에 문제가 발견되었다 23) . 이후에 점차 논문의 질이 개선되었으나 여전히 많은 문제들이 발견되었다. 많은 연구에서 무작위화의 방법이 부적절하게 기술되었고, 단지 몇몇 연구를 제외하고는 표본 크기가 200명이 넘지 않는 소규모 연구가 대부분이었다. 효과는 거의 양적으로 표현되거나 보고되지 않았고, 절반 이상의 연구에서 대상자들의 기본 특성(baseline characteristics) 또는 부작용에 대한 자료가 보고되지 않았다 8) . 아울러 중국 내 저널에서 출판된 RCTs 연구를 표방한 대부분의 연구에서 스스로 ‘RCTs 연구'라 칭하였지만, 분석 결과 실제로는 RCTs 연구가 아니었다. 이는 엄격한 임상 시험 디자인에 대한 이해가 저자 일부에서는 결핍되어 있기 때문이라 할 수 있다 9) .
요컨대, 한의 분야의 RCTs 연구는 그 수가 많지 않은 상태로, 수행된 연구들은 작은 표본 크기의 소규모 연구, 방법론적으로는 엄밀하지 못한 낮은 질의 연구라는 한계를 가지고 있다고 할 수 있다. 그 결과 기존 한의 분야 RCTs 연구가 실제 한의 임상을 적절하게 평가하고 있다고 말하기는 힘들다고 할 수 있다.
- ② 한의 임상 연구에 RCTs 모델을 적용할 때 발생하는 한계
한의 임상 연구에 RCTs 연구 방법을 적용할 때 나타나는 한계에 대한 많은 지적이 있어 왔다 2 , 3 , 18 , 19) . 이는 RCTs의 방법론과 한의 임상의 특성 사이에 충돌되는 부분이 있기 때문에 발생하는 문제라 할 수 있다( Table 1 ).
The Conflict between the Method of RCTs and theCharacteristics of Korean medicine Practice(an extract from Carter et al., 20033))
PPT Slide
Lager Image
The Conflict between the Method of RCTs and theCharacteristics of Korean medicine Practice(an extract from Carter et al., 20033))
먼저 RCTs 연구 방법은 단일 약물과 같은 단일 요소의 효능(efficacy)을 검증하기에 가장 적합한 방식이다 3) . 그러나 한의 임상의 중재(interventions)는 자주 복잡하고 다양한 양상을 가진다 2) . 따라서 한의 임상의 복잡한 중재(complex interventions)의 경우 임상 시험에서 실제 치료 과정의 세부 사항들이 제한될 수 있고, 치료의 어떤 부분이 효과를 나타내는지 알기 어렵다 18) . 즉, 한의 임상 중재가 RCTs 연구 과정에서 일부 생략되거나 축소되어 실제 임상 현실과는 다른 연구가 수행될 수 있는 한계가 있다.
둘째, 무작위화(randomization)와 관련된 한계가 있다. RCTs는 효과 판정에 있어 환자-치료자 관계의 영향을 최소화하거나 배제하고자 노력하는 반면, 한의 임상에서는 환자-치료자 관계의 치료적 효과를 중재의 중요한 부분으로 간주한다 2) . 실제 한의 임상 중재의 경우 환자의 믿음, 선호(preference)가 반영되고 환자-의사 관계가 반영되는데, 무작위화는 이러한 한의 임상 내용을 왜곡시킬 수 있다 2 , 3) .
셋째, 맹검(blinding)과 관련된 한계가 있다. 한의 임상 연구에서 적절한 위약 치료의 발견이 자주 어렵거나 불가능하여, 치료자와 환자의 맹검이 어려울 수 있다 2 , 8) . 특히 치료자의 맹검이 어렵다고 할 수 있다. 치료자와 환자의 맹검이 어려울 때 결과 평가자를 맹검할 수 있는데 이 경우 치료자가 효과 있다고 여기는 효과들이 축소되어 판단될 수 있다 3) . 만약 맹검이 되지 않았을 때에는 치료에 대한 신뢰와 기대로 인해 임상 시험의 결과가 왜곡될 수 있다 18) .
넷째, 표준화(standardization) 및 연구계획서(protocol)와 관련된 문제가 있다. RCTs 연구의 경우 진단, 치료, 결과 측정 등 연구의 모든 과정이 표준화 되어 있어야 하며, 연구계획서에 적힌 절차와 방법대로 연구가 진행되어야 한다. 그러나 한의 치료는 흔히 표준화되어 있지 못하고, 개별화되고 유동적으로 개개인의 환자의 필요에 맞춰 진단 및 치료가 달라진다 2 , 18) . 아울러 역사적으로 한의 임상은 수련(training)과 임상 치료의 표준화가 부족하다고 알려져 왔다 3) . 그리고 한의 임상의들 사이에 여러 학파들(다양한 침 치료법, 학술 이론들)이 존재하는 것 또한 사실이다. 그 결과 표준화된 연구계획서(중재의 표준화가 이루어진)를 작성하기에 어려움을 겪을 수 있다. 한의 임상의들 간의 수련 과정, 경험 및 숙련도의 차이가 존재하므로 진단 및 치료 방법 등을 일치시켜 동일한 치료율을 나타내기는 쉬운 일이 아니다. 아울러 한의 임상을 표준화하는 과정에서 한의 임상 중재를 지나치게 단순화하여 실제 임상 현장의 중재를 왜곡할 가능성이 커지게 된다 12) .
다섯째, 대조군(control)과 관련된 문제가 있다. 한의 임상 시험에서 한의 중재 그룹과 아주 비슷한 적절한 대조군 그룹을 찾는데 어려움이 종종 있다 3 , 8) .
- ③ 한의 임상을 반영하지 못한 진단 및 결과 측정 방법
- 가. 진단
임상 연구에 있어 가장 중요한 부분 중 하나는 대상자를 모집하고 분류하기 위한 명확한 진단 기준(Inclusion and Exclusion criteria)이다 3) .
문제는 많은 한의 분야 임상 연구에서 한의 진단이 사용되지 않았다는 사실이다. 이에 대해 캄포의학에 대한 임상 논문을 분석한 보고에 따르면, 캄포의학 관련 모든 논문이 서양의학적 진단에만 기반을 두어서 이루어졌으며, 전통 의학적 진단에 대한 언급은 어느 논문에도 없었다고 지적하였다 7) . 중의학에 대한 연구에서도 서양에서든 중국 내에서든 대다수의 연구들이 서양의학적 진단과 결과 측정 방법을 기반으로 이루어지는 경향이 있다고 보고되었다 1) . 한의학의 경우 한의 임상 연구에서 한약물 치료에 대해 한의 진단이 어느 정도 사용되었는지에 대한 선행 연구는 없는 상태며, 2006년 까지 국내에서 이루어진 침 임상 시험을 분석한 연구에서는 2006년 까지 이루어진 침 임상 시험에서 한의학적 시각에서 진단, 변증하는 예가 아직 없는 것으로 보고 되었고 27) , 2009년 3월 까지 발표된 약침 관련 국내외 18편(국내 17편, 국외 1편)의 RCTs 연구를 분석한 보고에 따르면 슬통을 대상으로 한 2편의 연구만 변증을 사용하여 개인별 특성에 맞추어 약침 치료를 하였다 25) . 이를 통해 볼 때 한의 임상 연구에서 사용된 한의 진단의 비중도 앞서 언급한 캄포의학 및 중의학과 크게 다르지 않을 것으로 생각된다.
Watanabe 등 7) 은 캄포의학에서는 객관적인 검사 소견이 아니라 환자의 주관적 증상 호소와 이에 근거한 ‘증(sho)'의 진단이 중요한데, 현재 캄포 임상 연구에서는 이러한 부분이 고려되고 있지 못하다고 지적하였다. Jiang 등 8) 은 몇몇 RCTs 디자인에서, 같은 질환(disease)을 가진 환자들을 모집하여 중의학 변증은 무시된 가운데 중의학 또는 서양의학 치료를 받게 하였는데, 그 결과 서양의학 치료는 중의학 보다 더 큰 효과를 나타나는 경향을 나타냈고, 이들 RCTs 연구는 중의학의 실제 효과를 평가하는데 실패하였음을 지적하며, 만약 환자들에게 변증에 따라 다른 치료가 주어졌다면, 효과가 있는 결과가 나타날 수 있을 것이라 주장하였다.
이렇듯 한의 분야 임상 연구에 있어 한의 진단인 변증은 필수적 요소로 매우 중요한 요소라 할 수 있다. 그러나 실제 한의 임상 연구에서 한의 진단인 변증이 잘 사용되고 있지 못한 것이 현실이다. 이는 한의 변증이 표준화되고 객관화되지 못해, RCTs 연구에서 요구하는 명확한 진단 기준을 제시하지 못하고 있기 때문이다. 실제로 변증 진단에 대한 임상적 진단 기준이나 객관적 진단 도구에 대한 연구는 미흡한 상황이라 할 수 있다 28) .
서양의학 진단명과 한의학 치료를 그대로 매칭시켜서 한의 임상이 이루어지는 경우가 아주 없는 것은 아니지만, 드물다고 할 수 있다. 대부분의 한의 임상에서 치료는 한의학적 진단에 따라 이루어진다. 따라서 서양의학적 진단으로만 이루어진 한의 분야 RCTs는 두 가지 부분에서 심각한 문제를 가지고 있다고 할 수 있다. 먼저, 이러한 연구의 경우 실제 한의 임상을 반영한다고 말하기 어렵다. 따라서 그 결과 또한 한의 임상의 효능과 효과를 제대로 검증하고 있다고 말할 수가 없다. 아울러 그 연구 결과가 임상의들의 실제 임상을 반영한 것이 아니므로 실제 진료에 도움을 주거나 기준으로 제시되는데 한계를 가질 수밖에 없다. 즉, 외적 타당도가 심각하게 결여된 연구라 할 수 있다. 다른 하나는 서양의학적 진단으로만 이루어진 RCTs를 통해 효능(efficacy)이 입증된 한약 처방은 미래에 한의학적 지식 없이도 사용될 수 있을 것이다. 그러나 이 경우 총제적인 치료 체계로서의 한의 치료에 대한 정보를 제공할 수 없을 것이다 7) . 더 나아가 이러한 방식의 연구에서 나타난 몇몇 성과 때문에 한의 임상 연구가 이러한 방향으로만 이루어진다면, 한의학의 치료 방법들과 효과들은 매우 제한적으로만 채택될 가능성이 크다. 왜냐하면 이러한 RCTs 연구 기준에 맞지 않는 한의 치료 방법들과 효과들은 실제 임상적 효용성에도 불구하고 거부될 것이기 때문이다. 그리고 실제 한의 임상의 효과를 반영한 연구가 아니므로, 이러한 임상 연구의 경우 실패할 확률 또한 높아질 가능성이 있다. 우려되는 것은 이러한 실패가 한의 임상 전체의 실패로 잘못 인식될 가능성 또한 배제할 수 없다는 점이다.
- 나. 결과 측정 방법(outcome measurements)의 문제
한의 치료를 평가하기 위한 적절한 측정 기준의 선택은 특정 치료나 요법이 효과가 있는지에 대한 결론에 상당한 차이를 만들어낼 것이다 29) . 하지만 아쉽게도 현재는 한의 치료에 대한 적절한 결과 측정 방법이 부재한 상황이라 할 수 있다 3) .
앞서 언급한 바와 같이 한의 분야의 RCTs 연구들이 서양의학적 진단에만 기반을 두어서 이루어진 경우가 많은 상황에서 치료 효능 및 효과를 판정하는 것 또한 서양의학적 질환(disease)에 대한 결과 측정 방법이 주로 사용되는 것이 당연한 일일 것이다. 문제는 한의 임상의 치료 대상이 특정 질환에 국한되어 있지 않다는 데에 있다. 한의 임상에서 치료의 초점은 질환 및 증상에 대한 것뿐만 아니라 몸의 균형을 회복시키는데 종종 맞춰지며 2 , 18) , 질병 범주에 있지 않지만 환자 개개인이 호소하는 다양한 불편감을 개선하는데 에 또한 맞춰져 있다 3 , 18) . 따라서 서양의학적 질병(disease)의 결과 측정 방법만을 사용해서는 한의 임상의 효과를 제대로 평가하기 어려운 문제가 있다. 이 문제를 해결하기 위해 한의 임상의 특성을 대표할 수 있는 결과 측정 방법이 선택되고 개발되어야 한다 30) .
최근의 연구를 살면 보면 한의 임상 연구의 결과 측정 방법의 선택(choice) 및 보고(reporting)에 관한 문제가 제기되었고 구체적으로 다음의 몇 가지 부분이 지적되었다 8 , 12 , 30) . 첫째, 같은 상태에 대한 임상 시험들에서 측정되어 보고된 결과 측정 방법이 매우 다양했는데, 분명한 선택 보고 비뚤림(selective reporting bias)이 있다고 할 수 있다. 둘째, 효과를 느낀 환자들의 퍼센트와 같이 엄격하지 않은 결과 측정 방법(soft outcome measures)이 자주 사용된다. 적당한 측정 도구로 측정하기 쉬운 부분만을 측정하는 경향이 있다는 것이다. 셋째, 주관적 결과 측정 방법이 우위에 놓여 있는 반면에 객관적 결과 측정 방법은 자주 채택되지 않는다. 넷째, 한의학과 연관된 결과에 대해 합의되고 표준화된 평가 방법이 부재하다(예, 설진, 맥진). 다섯째, 생화학적 지표(biochemical indicators)와 같이 임상의와 환자에게 제한된 중요성을 가지는 대리 종점(surrogate endpoints)이 폭넓게 채택되었다. 반면 중요한 종료점 결과들은 자주 보고되지 않았다. 여섯째, 한약의 사용과 관련된 부작용에 대해서 충분한 주의가 기울여지지 않았다. 일곱째, 한의 임상 연구에서 서양의학적 질병의 측정방법 외에 새로운 결과 측정 방법이 사용된 경우가 있는데, 이 경우 타당성이 평가되지 않은 결과 측정 방법이 종종 사용되었다.
마지막으로 결과 측정 기간의 적정성 문제가 있다. RCTs의 경우, 탈락을 줄이고 측정을 더 객관적으로 하고, 가변성을 줄이고 내적 타당도를 높이기 위해 단기 효과 판정을 선호하는데 반해 만성 질환을 위주로 하는 한의 분야의 경우 결과의 장기간(long-term) 추적 관찰이 필요한 경우가 많다 18) . 아울러 한의 임상 치료의 효과는 일반적으로 부드러워 치료 기간이 길어질 수 있으며 12) , 각 사람마다 치료 경험의 차이가 있고, 치료 반응 시점이 다르므로 이를 고려한 적합한 장기간 추적 관찰 기간을 생각해야 한다 18) . 그러나 실제 한의 임상 연구에서 치료 기간이 너무도 짧게 설정되는 경우가 많다. 예를 들어, 불안정 협심증(unstable angina pectoris)에 대한 효과를 검증하는 17개의 RCTs 연구에 대한 체계적 문헌 고찰 연구에 따르면, 이중 15개의 RCTs 연구(88%)에서 치료 기간이 4주였다. 이 기간은 너무도 짧아서 임상적으로 협심증에 대한 분명한 치료 효과를 확인할 수가 없었다 31) . 뇌졸중 환자의 기능 운동 개선에 대한 복합 중의 치료의 효과를 검증한 34개의 RCTs 연구에 대한 체계적 문헌 고찰 연구에 따르면, 이 중 23개의 RCTs 연구(85%)에서 치료 기간은 30일 미만이었다 32) . 두 가지 질환의 중한 정도와 예후 및 실제 임상에서의 치료 기간 등을 고려하였을 때, 이들 연구에서 설정한 치료 기간은 지나치게 짧다고 할 수 있다. 그 결과 이들 연구에서 제시하는 결론은 신뢰하기 힘들다고 할 수 있다. 요컨대, 결과 측정 기간은 실제 한의 임상에서 이루어지는 치료 기간을 기준으로 설정되어야 한다. 이를 위해 실제 임상 치료 기간을 파악하기 위한 전향적 관찰 연구, 델파이법을 통한 전문가 집단 합의 등과 같은 선행 연구가 필요하다고 할 수 있다. 치료 기간이 충분치 못할 경우 실제 한의 임상에서는 효과가 있는 치료들이 임상 연구에서는 효과가 없는 것으로 왜곡된 결과가 도출될 가능성이 높다고 할 수 있다.
결 론
의학 분야에서 치료 효과를 객관적으로 입증하는 근거의 중요성은 지속적으로 강조되고 있다. 이러한 환경 속에서 기존 서양의학계에서 사용되고 있는 임상 연구 방법론이 한의 임상 연구에 도입되어 한의 임상 연구가 이루어지고 있는 것이 사실이다 1) . 문제는 한의 임상 연구에 서양의학의 임상 연구 방법론(주로 RCTs)이 한의 임상의 특성 및 실제 임상 현장을 고려하지 않고 무비판적으로 적용되는데 있다 2 , 3 , 5 , 7 , 8) . 따라서 향후 한의 임상 연구는 기존 서양의학의 RCTs 연구 방법의 엄밀한 객관성뿐만 아니라 한의 임상의 특성 및 실제 임상 현장을 함께 반영하는 연구가 되어야 할 것이다. 아울러, 한의 임상 연구는 효과 또는 효과가 없다는 것을 입증하려는 의도가 내재된 연구가 아닌 항상 자기 비판적 태도를 견지한 가운데 이루어져야 할 것이다.
앞서 살펴본 바와 같이 한의 임상 연구에서 나타나는 여러 긴장들은 한의 임상의 특성에서 우선 기인한다고 할 수 있다. 인간을 전체적으로 바라보는 전일론적 관점, 환자 개개인의 변화를 파악하고 질환이나 질병이 아닌 환자가 호소하는 증후들을 바탕으로 하는 의사의 진단(변증 진단) 및 이에 따른 환자 개개인에게 맞는 개별화된 치료의 시행, 의사와 환자의 관계가 포함된 치료 과정 및 다양한 종류의 치료 과정의 혼합(중재의 복합성 및 복잡성) 등의 특성이 대표적이다 2 , 3 , 7 , 8 , 18 , 19) . 아울러 임상 연구에 바로 적용하기에는 부족한 변증의 객관화 및 표준화의 문제(진단의 문제), 현실적으로 여러 학술 유파로 갈라져 임상의들마다 서로 다른 치료를 하는 문제(중재의 표준화 부족-표준 진료 지침의 부재), 한의 임상의 특성이 반영된 적절한 결과 측정 방법의 문제(결과 측정 방법의 부재) 등의 문제 또한 발견할 수 있다. 외부 환경적으로는 한의 임상 연구를 위한 충분한 재정 지원의 부족 및 한의 임상 연구 관련 전문가의 부족이 큰 문제라 할 수 있다 11 , 12) . 마지막으로 한의 임상 체계가 대형 병원 중심의 서양의학과 달리 개별 개원의 중심의 체계라는 점이다. 보통의 임상 연구가 인적, 물적 자원이 풍부한 병원 시스템을 기반으로 이루어지는 현실을 감안할 때, 한의 분야 임상 연구는 열악한 환경일 수밖에 없다. 이러한 상황 속에서 무엇보다도 한의 임상의 효과를 검증하여 환자에게 보다 좋은 치료를 제공하고자 하는 보다 많은 한의사들의 참여와 관심이 필요하다. 이를 통해 보다 발전된 현대 한의학의 미래를 세워갈 수 있을 것이다.
본 연구는 현재 한의 임상 연구의 현황과 한의 임상 연구 방법을 둘러싼 논쟁 및 문제점들에 초점이 맞추어져 있다. 추후 본 연구를 바탕으로 미래 한의 임상 연구에 대한 구체적인 제언을 담은 추가적인 연구가 이루어질 예정이다. 이번 연구와 앞으로 진행될 연구를 통해 미래 한의 임상 연구 전략의 수립이라는 연구 목적이 달성되길 기대해본다.
References
Shea J.L. 2006 Applying evidence-based medicine to traditional chinese medicine: debate and strategy. J Altern Complement Med. 12 (3) 255 - 263    DOI : 10.1089/acm.2006.12.255
Verhoef M.J. , Casebeer A.L. , Hilsden RJ. 2002 Assessing efficacy of complementary medicine: adding qualitative research methods to the "Gold Standard". J Altern Complement Med. 8 (3) 275 - 281    DOI : 10.1089/10755530260127961
Carter B. 2003 Methodological issues and complementary therapies: researching intangibles?. Complement Ther Nurs Midwifery. 9 (3) 133 - 139    DOI : 10.1016/S1353-6117(03)00042-8
Critchley J.A. , Zhang Y. , Suthisisang C.C. , Chan T.Y , Tomlinson B. 2000 Alternative therapies and medical science: designing clinical trials of alternative/complementary medicines--is evidence-based traditional Chinese medicine attainable?. J Clin Pharmacol. 40 (5) 462 - 467    DOI : 10.1177/00912700022009224
Fønnebø V. , Grimsgaard S. , Walach H. , Ritenbaugh C. , Norheim A.J. , MacPherson H. , Lewith G. , Launsø L. , Koithan M. , Falkenberg T. , Boon H. , Aickin M. 2007 Researching complementary and alternative treatments--the gatekeepers are not at home. BMC Med Res Methodol. 7 11 7 -    DOI : 10.1186/1471-2288-7-7
대한한의학회 2012 군자출판사 서울 4 - 33
Watanabe K. , Matsuura K. , Gao P. , Hottenbacher L. , Tokunaga H. , Nishimura K. , Imazu Y. , Reissenweber H. , Witt C.M. 2011 Traditional Japanese Kampo Medicine: Clinical Research between Modernity and Traditional Medicine-The State of Research and Methodological Suggestions for the Future. Evid Based Complement Alternat Med. 2011 513842 -    DOI : 10.1093/ecam/neq067
Jiang M. , Yang J. , Zhang C. , Liu B. , Chan K. , Cao H. , Lu A. 2010 Clinical studies with traditional Chinese medicine in the past decade and future research and development. Planta Med. 76 (17) 2048 - 2064    DOI : 10.1055/s-0030-1250456
Wu T. , Li Y. , Bian Z. , Liu G. , Moher D. 2009 Randomized trials published in some Chinese journals: how many are randomized?. Trials 10 46 -    DOI : 10.1186/1745-6215-10-46
오 래영 , 설 인찬 , 손 창규 2010 대한한의학회지 31 (4) 1 - 8
Normile D. 2003 Asian medicine. The new face of traditional Chinese medicine. Science. 299 (5604) 188 - 190    DOI : 10.1126/science.299.5604.188
Ernst E. 2006 Methodological aspects of Traditional Chinese Medicine (TCM). Ann Acad Med Singapore. 35 (11) 773 - 774
Ioannidis J.P. , Evans S.J. , Gøtzsche P.C. , O'Neill R.T. , Altman D.G. , Schulz K. , Moher D. 2004 CONSORT Group. Better reporting of harms in randomized trials: an extension of the CONSORT statement. Ann Intern Med. 141 (10) 781 - 788    DOI : 10.7326/0003-4819-141-10-200411160-00009
Tang J.L. , Leung P.C. 2001 An efficacy-driven approach to the research and development of traditional Chinese medicine. Hong Kong Med J. 7 (4) 375 - 380
Tang J.L. 2006 Research priorities in traditional Chinese medicine. BMJ. 333 (7564) 391 - 394    DOI : 10.1136/bmj.333.7564.391
Cardini F. , Wade C. , Regalia A.L. , Gui S. , Li W. , Raschetti R. , Kronenberg F. 2006 Clinical research in traditional medicine: priorities and methods. Complement Ther Med 14 (4) 282 - 287    DOI : 10.1016/j.ctim.2006.07.003
Wilson K. , Mills E. 2002 Closing comment: Evidence-based complementary and alternative medicine: is it a viable concept?. J Altern Complement Med. 8 (6) 875 - 876    DOI : 10.1089/10755530260511865
Mason S. , Tovey P. , Long A.F. 2002 Evaluating complementary medicine: methodological challenges of randomised controlled trials. BMJ. 325 (7368) 832 - 834    DOI : 10.1136/bmj.325.7368.832
Verhoef M.J. , Lewith G. , Ritenbaugh C. , Boon H , Fleishman S. , Leis A. 2005 Complementary and alternative medicine whole systems research: beyond identification of inadequacies of the RCT. Complement Ther Med. 13 (3) 206 - 212    DOI : 10.1016/j.ctim.2005.05.001
Nahin R.L. , Straus S.E. 2001 Research into complementary and alternative medicine: problems and potential. BMJ. 322 (7279) 161 - 164    DOI : 10.1136/bmj.322.7279.161
Fan R.P. 2003 Modern Western science as a standard for traditional Chinese medicine: A critical appraisal. J Law Med Ethics. 31 213 - 221    DOI : 10.1111/j.1748-720X.2003.tb00082.x
Linde K. , Jonas W.B. , Melchart D. , Willich S. 2001 The methodological quality of randomized controlled trials of homeopathy, herbal medicines and acupuncture. Int J Epidemiol. 30 (3) 526 - 531    DOI : 10.1093/ije/30.3.526
Tang J.L , Zhan S.Y. , Ernst E. 1999 Review of randomised controlled trials of traditional Chinese medicine. BMJ. 319 (7203) 160 - 161    DOI : 10.1136/bmj.319.7203.160
김 윤영 , 유 종향 , 이 수경 , 이 시우 2011 동의생리병리학회지 25 (5) 927 - 933
장 민기 , 윤 은혜 , 정 찬영 , 김 은정 , 이 승덕 , 황 민섭 , 김 갑성 2009 대한침구학회지 26 (3) 143 - 163
서 병관 , 백 용현 , 박 동석 2010 대한침구학회지 27 (6) 1 - 10
한 성수 , 구 창모 , 홍 권의 , 박 양춘 , 최 선미 2006 대한침구학회지 23 (6) 1 - 8
문 진석 , 차 민호 , 윤 유식 , 최 선미 2006 한국한의학연구원논문집 12 (3) 17 - 29
Long A.F. , Mercer G. , Hughes K. 2000 Developing a tool to measure holistic practice: a missing dimension in outcomes measurement within complementary therapies. Complement Ther Med. 8 (1) 26 - 31    DOI : 10.1016/S0965-2299(00)90807-0
Zhang L. , Zhang J. , Chen J. , Xing D. , Mu W. , Wang J. , Shang H. 2013 Clinical Research of Traditional Chinese Medicine Needs to Develop Its Own System of Core Outcome Sets. Evid Based Complement Alternat Med. 2013 202703 -
Zhang J.H. , Shang H.C. , Gao X.M. , Zhang B.L. , Xiang Y.Z. , Cao H.B. , Ren M. , Wang H. 2008 Compound Salvia droplet pill, a traditional Chinese medicine, for the treatment of unstable angina pectoris: a systematic review. Med Sci Monit. 14 (1) RA1 - 7
Junhua Z. , Menniti-Ippolito F. , Xiumei G. , Firenzuoli F. , Boli Z. , Massari M. , Hongcai S. , Yuhong H. , Ferrelli R. , Limin H. , Fauci A. , Guerra R. , Raschetti R. 2009 Complex traditional Chinese medicine for poststroke motor dysfunction: a systematic review. Stroke. 40 (8) 2797 - 2804    DOI : 10.1161/STROKEAHA.109.555227