추적

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

양쪽 이전 판이전 판
다음 판		이전 판
med:meta-analysis [2014/03/18 17:37] – 바깥 편집 127.0.0.1med:meta-analysis [2016/07/10 09:50] (현재) – 바깥 편집 127.0.0.1
줄 1: 줄 1:
 +{{tag>의학 통계 메타분석 meta-analysis}}
 ======메타분석 (Meta-analysis)====== ======메타분석 (Meta-analysis)======
  
  
  
-  
  
 +메타 분석은 한 가지 주제를 목적으로 여러 가지 논문의 결과를 종합하는 것이다. 이로써 명확한 의학적 증거(evidence)를 보여 줄 수 있고 통일되지 않은 의견이나 결과에 대해 해결 방안을 제시할 수 있다. 과거 처럼 전문가의 견해나 이론, 경험에만 의지하는 진료 방법이 아닌 과학적 증거를 통한 진료 (Evidence based medicine)를 하기 위한 분석 방법이라고도 할 수 있다. 점차 확대되고 있는 세계적 추세이다.
  
-메타 분석은 한 가지 주제를 목적으로 여러 가지 논문의 결과를 종합하는 것입니다. 이로써 명확한 의학적 증거(evidence)를 보여 줄 수 있고 통일되지 않은 의견이나 결과에 대해 해결 방안을 제시할 수 있습니다. 과거 처럼 전문가의 견해나 이론, 경험에만 의지하는 진료 방법이 아닌 과학적 증거를 통한 진료 (Evidence based medicine)를 하기 위한 분석 방법이라고도 할 수 있습니다. 점차 확대되고 있는 세계적 추세입니다.+메타 분석의 흔한 연구 형태로는 연구 결과를 합쳐 통합 자료(summary data)로 제시하는 경우와 여러 연구에서 사용된 각 환자의 자료를 개별적으로 이용하는 방법이 있다. 후자의 경우 정확한 정보를 확보할 수 있다는 면에서 매우 좋다만 여러 한계가 있다.
  
 +이런 메타 분석을 위해서는 우선 문헌을 검색해야 한다. 검색된 여러 논문 중에서 연구 목적에 부합되는 기준을 찾아야하고 그 기준에 부합된 논문을 추려내야 한다. 여기서 기준이 자의적이라면 연구자의 의도가 들어가 공정한 메타 분석이 될 수 없다. 따라서 검색 방법과 기준 그리고 검색 날짜가 명확히 명시되야 한다.
  
-메타 분석의 흔한 연구 형태로는 연구 결과를 합쳐 통합 자료(summary data)로 제시하는 경우와 여러 연구에서 사용된 각 환자의 자료를 개별적으로 이용하는 방법이 있습니다. 후자의 경우 정확한 정보를 확보할 수 있다는 면에서 매우 좋습니다만 여러 한계가 있습니다.+검색 방법으로는 SCI 논문을 검색할 수 있는 의학 논문 데이터 베이스인 PubMed, EMBASE, Cochrane Library 등이 포함된다. 특정 지역이나 인종을 대상을 한다면 해당 국가의 논문 데이타 베이스를 검색해야한다. 의도하든 의도하지 않든 대상 논문이 검색되지 않아서는 안되겠지요. 검색 결과는 매우 중요한다. 최근에는 Google을 이용해서 논문으로 발표되지 않은 case 들을 가지고 분석하는 경우도 보이다.
  
- +검색 된 논문이 모두 똑같은 가치를 가지지는 않는다. 여러 미디어를 통해 발표되는 논문이나 연구의 실제 가치는 다르다고 말할 수도 있다. 여기서 말하는 가치는 신뢰도를 말한다. 어떤 연구 디자인이 신뢰도가 높은가에 대한 여러 문헌들이 있다만, 모집단을 대표할 수 있는 무작위 선출을 통한 대규모 맹검 연구가 가장 신뢰도가 높다. 여러 분류가 있겠지만, Ishizuka O 박사의 랭킹법은 아래와 같다.
-이런 메타 분석을 위해서는 우선 문헌을 검색해야 합니다. 검색된 여러 논문 중에서 연구 목적에 부합되는 기준을 찾아야하고 그 기준에 부합된 논문을 추려내야 합니다. 여기서 기준이 자의적이라면 연구자의 의도가 들어가 공정한 메타 분석이 될 수 없습니다. 따라서 검색 방법과 기준 그리고 검색 날짜가 명확히 명시되야 합니다.  +
- +
- +
-검색 방법으로는 SCI 논문을 검색할 수 있는 의학 논문 데이터 베이스인 PubMed, EMBASE, Cochrane Library 등이 포함됩니다. 특정 지역이나 인종을 대상을 한다면 해당 국가의 논문 데이타 베이스를 검색해야합니다. 의도하든 의도하지 않든 대상 논문이 검색되지 않아서는 안되겠지요. 검색 결과는 매우 중요합니다. 최근에는 Google을 이용해서 논문으로 발표되지 않은 case 들을 가지고 분석하는 경우도 보입니다. +
- +
- +
-검색 된 논문이 모두 똑같은 가치를 가지지는 않습니다. 여러 미디어를 통해 발표되는 논문이나 연구의 실제 가치는 다르다고 말할 수도 있습니다. 여기서 말하는 가치는 신뢰도를 말합니다. 어떤 연구 디자인이 신뢰도가 높은가에 대한 여러 문헌들이 있습니다만, 모집단을 대표할 수 있는 무작위 선출을 통한 대규모 맹검 연구가 가장 신뢰도가 높습니다. 여러 분류가 있겠지만, Ishizuka O 박사의 랭킹법은 아래와 같습니다. +
  
 {{http://www-file.koreahealthlog.com/attach/1/gk010000000080.gif}} {{http://www-file.koreahealthlog.com/attach/1/gk010000000080.gif}}
- 
  
 <Ishizuka O et al - 논문의 신뢰도를 순위를 정한 모습> <Ishizuka O et al - 논문의 신뢰도를 순위를 정한 모습>
  
 +이들 논문의 기본적인 조건으로 연구에 사용한 용어에 대한 정확한 정의가 기술되어야 하고, 또한 연구 방법에 대한 자세한 기술이 있어야한다. 또한 통계 방법에 대한 정의가 들어 있어야만 한다.
  
-이들 논문의 기본적인 조건으로 연구에 사용한 용어에 대한 정확한 정의가 기술되어야 하고, 또한 연구 방법에 대한 자세한 기술이 있어야합니다. 또한 통계 방법에 대한 정의가 들어 있어야만 합니다. +이렇게 자료를 모으면 통계적 분석을 해야한다. 통계적으로 신뢰를 받으려면 같은 디자인의 연구여야 되겠지요. 또한 가급적 무작위 이중 맹검 연구를 대상으로 분석한다면 좋겠다만, 이런 연구가 많지 않은 분야도 많이 있다. 이런 이유로 최근에는 메타 분석에서 1차 분석, 2차 분석등으로 나누어 보고하는 경우도 있다. 신뢰도가 높은 논문만으로 따로 분석하는 것이다.
- +
- +
-이렇게 자료를 모으면 통계적 분석을 해야합니다. 통계적으로 신뢰를 받으려면 같은 디자인의 연구여야 되겠지요. 또한 가급적 무작위 이중 맹검 연구를 대상으로 분석한다면 좋겠습니다만, 이런 연구가 많지 않은 분야도 많이 있습니다. 이런 이유로 최근에는 메타 분석에서 1차 분석, 2차 분석등으로 나누어 보고하는 경우도 있습니다. 신뢰도가 높은 논문만으로 따로 분석하는 것입니다. +
- +
- +
-메타 분석은 연구자가 의도하지 않았던 편견(bias)가 있을 수 있다는 점에서 주의가 필요합니다. 대표적인 것이 긍정적 결과 편향 현상 (positive-outcome bias, publication bias)입니다. 메타 분석의 결과만 가지고 절대적 진리라고 말할 수 없는 이유 중 하나로 이들 메타 분석 결과는 학회에서 두고 두고 학술적 검토를 하게 됩니다. 여러 의견과 중지를 모아 실제 임상에 적용하는 guide line이 정해지게 되는 것입니다.+
  
 +메타 분석은 연구자가 의도하지 않았던 편견(bias)가 있을 수 있다는 점에서 주의가 필요한다. 대표적인 것이 긍정적 결과 편향 현상 (positive-outcome bias, publication bias)이다. 메타 분석의 결과만 가지고 절대적 진리라고 말할 수 없는 이유 중 하나로 이들 메타 분석 결과는 학회에서 두고 두고 학술적 검토를 하게 된다. 여러 의견과 중지를 모아 실제 임상에 적용하는 guide line이 정해지게 되는 것이다.
  
  
줄 43: 줄 33:
  
 경험 과학적 연구 자료를 다루는 사회과학의 분야에서는 어떤 특정 연구 주제, 연구 질문에 관련된 연구가 해마다 누적되어 간다. 이들 연구를 개별적으로 보면 각각 독특한 피험자, 독특한 연구 설계를 가지고 접근하고 있고 그러한 연구 결과의 제시방식도 연구마다 독특하다. 이렇게 상이하고 다양한 연구들을 하나의 일관된 체계적 틀 속에서 통합하여 분석해 봄으로써 연구결과의 누적을 단순화시킬 수 있는 경제적 방법이 메타분석이라고 지칭할 수 있다. 경험 과학적 연구 자료를 다루는 사회과학의 분야에서는 어떤 특정 연구 주제, 연구 질문에 관련된 연구가 해마다 누적되어 간다. 이들 연구를 개별적으로 보면 각각 독특한 피험자, 독특한 연구 설계를 가지고 접근하고 있고 그러한 연구 결과의 제시방식도 연구마다 독특하다. 이렇게 상이하고 다양한 연구들을 하나의 일관된 체계적 틀 속에서 통합하여 분석해 봄으로써 연구결과의 누적을 단순화시킬 수 있는 경제적 방법이 메타분석이라고 지칭할 수 있다.
- 
  
 메타분석 (meta-analysis) 이라는 것은. 메타분석 (meta-analysis) 이라는 것은.
- +
 1) 정의: 특정한 연구주제에 대해 행해진 여러 독립적인 연구의 결과를 합리적이고 체계적으로 종합하는 통계적 분석방법. 즉, 어떤 주제에 대해서 출판된 여러 논문의 결과들을 모으고 합쳐서 분석하는 방법임. Original article에서 환자 한명 한명을 엄격한 inclusion, exclusion criteria를 가지고 모아서 결과를 내듯이, meta-analysis에서는 논문 하나 하나를 엄격한 inclusion, exclusion criteria를 가지고 모아서 결론을 도출하게 된다. 1) 정의: 특정한 연구주제에 대해 행해진 여러 독립적인 연구의 결과를 합리적이고 체계적으로 종합하는 통계적 분석방법. 즉, 어떤 주제에 대해서 출판된 여러 논문의 결과들을 모으고 합쳐서 분석하는 방법임. Original article에서 환자 한명 한명을 엄격한 inclusion, exclusion criteria를 가지고 모아서 결과를 내듯이, meta-analysis에서는 논문 하나 하나를 엄격한 inclusion, exclusion criteria를 가지고 모아서 결론을 도출하게 된다.
- +
 2) 의의: 각각의 작은 연구들은 limitation이 있으므로, 같은 목적을 가지고 시행된 여러 연구들의 결과를 합리적이고 체계적으로 종합한다는데 의미 2) 의의: 각각의 작은 연구들은 limitation이 있으므로, 같은 목적을 가지고 시행된 여러 연구들의 결과를 합리적이고 체계적으로 종합한다는데 의미
- +
 3) meta-analysis가 적합한 자료의 조건 3) meta-analysis가 적합한 자료의 조건
 (1) 충분한 선행연구 결과물을 수집할 수 있어야 (1) 충분한 선행연구 결과물을 수집할 수 있어야
-(2) Effect size에 해당하는 값(mean, SD, OR, HR 등) 과 N수 p-value가 있어야   +(2) Effect size에 해당하는 값(mean, SD, OR, HR 등) 과 N수 p-value가 있어야 
-(3) 연구논문의 질판단이 가능해야  +(3) 연구논문의 질판단이 가능해야
 (4) 논문 선정의 범위 문제가 명확해야. (4) 논문 선정의 범위 문제가 명확해야.
 (즉, publish된 논문만 할지, gray literature도 포함시킬지, 미발표된 논문들도 포함시킬지, 효과크기가 극단값인 연구도 넣을지 등에 대한 합리적인 기준을 마련할 수 있어야함) (즉, publish된 논문만 할지, gray literature도 포함시킬지, 미발표된 논문들도 포함시킬지, 효과크기가 극단값인 연구도 넣을지 등에 대한 합리적인 기준을 마련할 수 있어야함)
 Cf> publication bias란? positive result인 것은 잘 출판되는 경향이 있기 때문에, 출판된 논문들만 모아서 meta분석을 하면 결과가 positive하게 나오게 됨. Funnel plot을 그려서 publication bias를 체크해봐야 함. Cf> publication bias란? positive result인 것은 잘 출판되는 경향이 있기 때문에, 출판된 논문들만 모아서 meta분석을 하면 결과가 positive하게 나오게 됨. Funnel plot을 그려서 publication bias를 체크해봐야 함.
- +
 4) Advantages of meta-analysis (eg. over classical literature reviews, simple overall means of effect sized etc.) include: 4) Advantages of meta-analysis (eg. over classical literature reviews, simple overall means of effect sized etc.) include:
 Derivation and statistical testing of overall factors / effect size parameters in related studies Derivation and statistical testing of overall factors / effect size parameters in related studies
줄 69: 줄 58:
  
 # 사과와 오렌지를 합해 놓고 거기에서 통합된 결론을 유출하는 것은 비합리적이라는 비판이다. 이에 대해 Glass(1978)는 모든 측면에서 동일한 연구만이 비교될 수 있다는 주장은 자기 모순적이며, 그런 연구는 비교될 필요가 없다고 하였다. 모든 측면에서 동일한 연구는 통계적 오차 내에서 같은 결과를 산출한다. 따라서 비교하고 종합할 필요가 있는 연구는 어떤 특정 측면만이 동일한 연구이며, 어떤 동일한 측면이란 최소한 연구문제를 의미한다고 주장한다. \\ 이에 대해 황정규(1988)는 동일한 연구라는 것이 무엇을 의미하는지도 분명치 않을 뿐 만 아니라 만약 연구가 연구 주제, 연구의 특징, 관련 변인, 연구 절차, 연구 결과 등의 모든 측면에서 동일하다면 그것을 비교한다는 것 자체가 모순이라고 지적한다. 메타분석의 강점과 특징은 상이한 연구들을 통합할 수 있는 이론과 공통된 수단을 제공하므로 같은 기초 위에서 결론을 추출할 수 있는 길을 모색해 주는 데 있다. McGaw(1989)는 이에 대해 맹목적인 합은 정당화 될 수 없으나 관심이 과일일 때 사과와 오렌지를 섞는 것은 적절하다고 하였다. # 사과와 오렌지를 합해 놓고 거기에서 통합된 결론을 유출하는 것은 비합리적이라는 비판이다. 이에 대해 Glass(1978)는 모든 측면에서 동일한 연구만이 비교될 수 있다는 주장은 자기 모순적이며, 그런 연구는 비교될 필요가 없다고 하였다. 모든 측면에서 동일한 연구는 통계적 오차 내에서 같은 결과를 산출한다. 따라서 비교하고 종합할 필요가 있는 연구는 어떤 특정 측면만이 동일한 연구이며, 어떤 동일한 측면이란 최소한 연구문제를 의미한다고 주장한다. \\ 이에 대해 황정규(1988)는 동일한 연구라는 것이 무엇을 의미하는지도 분명치 않을 뿐 만 아니라 만약 연구가 연구 주제, 연구의 특징, 관련 변인, 연구 절차, 연구 결과 등의 모든 측면에서 동일하다면 그것을 비교한다는 것 자체가 모순이라고 지적한다. 메타분석의 강점과 특징은 상이한 연구들을 통합할 수 있는 이론과 공통된 수단을 제공하므로 같은 기초 위에서 결론을 추출할 수 있는 길을 모색해 주는 데 있다. McGaw(1989)는 이에 대해 맹목적인 합은 정당화 될 수 없으나 관심이 과일일 때 사과와 오렌지를 섞는 것은 적절하다고 하였다.
-# 메타분석은 질적으로 빈약한 연구를 질적으로 우수한 연구와 합함으로써 결론의 추출에 편파성을 초래할 가능성이 크다는 점이 지적되고 있다(Eysenck, 1978).  \\ 이에 대해 메타분석자들은 다음과 같은 답변을 한다. 실제로 어떤 단일한 연구가 내적 타당도의 다양한 기준을 완벽하게 만족시킬 수는 없는 일이다. 메타분석의 또 하나의 장점은 이 같이 부분적으로 빈약한 연구 설계를 가지고 연구 결과를 통합함으로써 한쪽 연구가 가진 연구의 질의 빈약성을 다른 쪽 연구가 보상할 수 있다는데 있다. +# 메타분석은 질적으로 빈약한 연구를 질적으로 우수한 연구와 합함으로써 결론의 추출에 편파성을 초래할 가능성이 크다는 점이 지적되고 있다(Eysenck, 1978).  \\ 이에 대해 메타분석자들은 다음과 같은 답변을 한다. 실제로 어떤 단일한 연구가 내적 타당도의 다양한 기준을 완벽하게 만족시킬 수는 없는 일이다. 메타분석의 또 하나의 장점은 이 같이 부분적으로 빈약한 연구 설계를 가지고 연구 결과를 통합함으로써 한쪽 연구가 가진 연구의 질의 빈약성을 다른 쪽 연구가 보상할 수 있다는데 있다.
  
 Glass, McGaw와 Smith(1981)은 20개의 메타분석을 재분석하여 연구의 질을 나누고 연구의 질의 수준에 따라 효과의 크기가 차이가 나는지를 비교하였다. 그 결과 양간의 차이가 있기는 하였지만 효과의 크기가 거의 일관되게 나타나고 있음을 제시하고 있다. 이런 결과는 연구의 질에 따라 실제 효과의 측정치가 크게 차이가 날 것이라는 상식적 기대와 일치하지 않음을 알 수 있다. Rosenthal(1984)은 연구의 질에 따른 가중치의 적용도 고래해 봄직하다는 대안을 제시하고 있다. Glass, McGaw와 Smith(1981)은 20개의 메타분석을 재분석하여 연구의 질을 나누고 연구의 질의 수준에 따라 효과의 크기가 차이가 나는지를 비교하였다. 그 결과 양간의 차이가 있기는 하였지만 효과의 크기가 거의 일관되게 나타나고 있음을 제시하고 있다. 이런 결과는 연구의 질에 따라 실제 효과의 측정치가 크게 차이가 날 것이라는 상식적 기대와 일치하지 않음을 알 수 있다. Rosenthal(1984)은 연구의 질에 따른 가중치의 적용도 고래해 봄직하다는 대안을 제시하고 있다.
줄 90: 줄 79:
  
 메타분석에서 사용하는 통계방법에는 통계적 유의도 검증방법(statistical significant test statistics)과 표준화 평균차를 사용하는 효과크기(effect size)계산방법, 그리고 상관계수(r)를 이용하는 방법이 일반적으로 사용된다. 이 중에서 **효과크기**를 이용하는 방법이 가장 통계적으로 타당한 방법으로 이용되어 왔다. 메타분석에서 사용하는 통계방법에는 통계적 유의도 검증방법(statistical significant test statistics)과 표준화 평균차를 사용하는 효과크기(effect size)계산방법, 그리고 상관계수(r)를 이용하는 방법이 일반적으로 사용된다. 이 중에서 **효과크기**를 이용하는 방법이 가장 통계적으로 타당한 방법으로 이용되어 왔다.
- 
  
 ====통계적 유의도 검증방법==== ====통계적 유의도 검증방법====
줄 98: 줄 86:
  사용되는 연구물에서 연구자가 알아보고자 하는 특성의 구분이 메타분석에서 얻어진 효과의 크기와 어떤 관계가 있는가를 알아보려는 방법이다.  사용되는 연구물에서 연구자가 알아보고자 하는 특성의 구분이 메타분석에서 얻어진 효과의 크기와 어떤 관계가 있는가를 알아보려는 방법이다.
  
-상관계수를 이용한 메타분석 방법에는 상관을 알아보고자 하는 두 변인의 성질에 따라 각기 다른 상관계수, 즉 양분상관(biserial correlation), 양류상관(point-biserial correlation), 등위상관(rank-order correlation), φ상관 혹은 유관계수(contingency coefficient) 등 여러 가지 상관계수들이 쓰일 수 있겠으나 일반적으로 가장 널리 쓰이는 Pearson의 적률상관계수(r)가 가장 신뢰할 수 있는 유용한 계수로 사용되고 있다. 황정규(1988)는 상관연구의 결함을 언급함에 있어 두 개의 변인 사이의 관계의 정도와 방향을 지시하는 상관연구의 결과를 통합하는 것은 실험연구의 결과를 통합하는 것보다 훨씬 복잡성이 적다고 전제 한 후 상관은 반드시 X변인과 Y변인 사이의 관계로 지지되기 마련이고 연구자가 관심 갖는 변인이 특정한 X와 Y같을 때 사용할 수 있는 상관계수를 이용한 통합 방법의 유용성을 기술하고 있다. 여기에서 다루는 상관은 서열 척도나 측정치의 경우에 해당된다. 순전히 양분되어 있거나 다향분류로 되어 있는 변인의 경우는 다음에 논의할 효과의 크기를 사용하는 것이 효과적이다. +상관계수를 이용한 메타분석 방법에는 상관을 알아보고자 하는 두 변인의 성질에 따라 각기 다른 상관계수, 즉 양분상관(biserial correlation), 양류상관(point-biserial correlation), 등위상관(rank-order correlation), φ상관 혹은 유관계수(contingency coefficient) 등 여러 가지 상관계수들이 쓰일 수 있겠으나 일반적으로 가장 널리 쓰이는 Pearson의 적률상관계수(r)가 가장 신뢰할 수 있는 유용한 계수로 사용되고 있다. 황정규(1988)는 상관연구의 결함을 언급함에 있어 두 개의 변인 사이의 관계의 정도와 방향을 지시하는 상관연구의 결과를 통합하는 것은 실험연구의 결과를 통합하는 것보다 훨씬 복잡성이 적다고 전제 한 후 상관은 반드시 X변인과 Y변인 사이의 관계로 지지되기 마련이고 연구자가 관심 갖는 변인이 특정한 X와 Y같을 때 사용할 수 있는 상관계수를 이용한 통합 방법의 유용성을 기술하고 있다. 여기에서 다루는 상관은 서열 척도나 측정치의 경우에 해당된다. 순전히 양분되어 있거나 다향분류로 되어 있는 변인의 경우는 다음에 논의할 효과의 크기를 사용하는 것이 효과적이다.
  
 ====효과크기(effect size)를 산출==== ====효과크기(effect size)를 산출====
-**가장 널리 사용되는 방법**이다. 효과크기란 실험 집단의 평균치가 통제집단의 평균치에 비해 얼마나 더 효과적이었는가의 크기를 표준편차라는 공통의 척도로 변환시켜 놓은 것을 의미한다. 기술통계치가 제시되어 있지 않은 자료들은 효과크기로 변환하기 위하여 Cohen(1965,1977), Friedman(1968), Glass(1981) 그리고 Rosenthal(1984) 등이 제안한 변환공식을 사용한다. 또한 사용빈도가 높은 χ2통계치는 χ2을 효과크기로 직접 변환하는 것이 불가능하므로 우선 상관계수로 바꾼 뒤 **상관계수 r**을 효과크기로 변환하는 절차를 밟는다. 메타분석이 의도하는 각기 다른 척도를 사용하여 발표된 연구의 결과들을 동일한 주제별로 모아 통합적인 대결론을 도출해 내기 위해 각각의 상이한 측정치들을 하나의 공통된 수치로 변환해야 하는데 이 같은 문제를 해결하기 위해 표준편차(Z)척도를 사용한다. 즉 효과크기란 어떤 연구대상에서 실험자가 의도하는 실험조치가 가해졌을 때 그 실험조치가 가해지지 않았을 때에 비해 어느 정도 효과가 있었는지를 Z척도로 환산하여 해석한다.  +**가장 널리 사용되는 방법**이다. 효과크기란 실험 집단의 평균치가 통제집단의 평균치에 비해 얼마나 더 효과적이었는가의 크기를 표준편차라는 공통의 척도로 변환시켜 놓은 것을 의미한다. 기술통계치가 제시되어 있지 않은 자료들은 효과크기로 변환하기 위하여 Cohen(1965,1977), Friedman(1968), Glass(1981) 그리고 Rosenthal(1984) 등이 제안한 변환공식을 사용한다. 또한 사용빈도가 높은 χ2통계치는 χ2을 효과크기로 직접 변환하는 것이 불가능하므로 우선 상관계수로 바꾼 뒤 **상관계수 r**을 효과크기로 변환하는 절차를 밟는다. 메타분석이 의도하는 각기 다른 척도를 사용하여 발표된 연구의 결과들을 동일한 주제별로 모아 통합적인 대결론을 도출해 내기 위해 각각의 상이한 측정치들을 하나의 공통된 수치로 변환해야 하는데 이 같은 문제를 해결하기 위해 표준편차(Z)척도를 사용한다. 즉 효과크기란 어떤 연구대상에서 실험자가 의도하는 실험조치가 가해졌을 때 그 실험조치가 가해지지 않았을 때에 비해 어느 정도 효과가 있었는지를 Z척도로 환산하여 해석한다.
  
  
줄 113: 줄 100:
 {{:med:es_calculator.xls|}} {{:med:es_calculator.xls|}}
  
- +효과크기의 산술적 평균만으로 결과를 제시할 수 있다. 그러나 좀 더 객관화된 결과를 제시하기 위하여 역변량 가중치를 이용한 평균 효과 크기가 많이 사용된다.
-효과크기의 산술적 평균만으로 결과를 제시할 수 있다. 그러나 좀 더 객관화된 결과를 제시하기 위하여 역변량 가중치를 이용한 평균 효과 크기가 많이 사용된다. +
  
  
-  
 ==== 가중치 ( Weight )==== ==== 가중치 ( Weight )====
   - 각 연구들의 Effect size는 그냥 평균 내어지는 것이 아니라 weight를 주어서 합쳐져야 함.   - 각 연구들의 Effect size는 그냥 평균 내어지는 것이 아니라 weight를 주어서 합쳐져야 함.
줄 131: 줄 116:
   - 일반적으로는 summary effect Y는 아래와 같이 구해짐   - 일반적으로는 summary effect Y는 아래와 같이 구해짐
  
 +Y= (∑YiWi)/(∑Wi)  , where Wi=1/(var(Yi))
  
-Y= (∑YiWi)/(∑Wi)  , where Wi=1/(var(Yi)) 
-  
 - 연구의 질은 보통 다음과 같은 순위로 중요한 것으로 간주된다. (level of evidence와 비슷한 의미) - 연구의 질은 보통 다음과 같은 순위로 중요한 것으로 간주된다. (level of evidence와 비슷한 의미)
  
줄 143: 줄 127:
   *      case report   *      case report
   *      expert opinion   *      expert opinion
-  
- 
  
  
줄 161: 줄 143:
 즉, effect size가 homogenous 한 연구들을 합치는 것이 원칙 즉, effect size가 homogenous 한 연구들을 합치는 것이 원칙
  
-동질성 검정 결과 동질하다면, 효과크기의 산술적 평균만으로 결과를 제시할 수 있다.  +동질성 검정 결과 동질하다면, 효과크기의 산술적 평균만으로 결과를 제시할 수 있다.
- +
  
  
 2) Heterogeneity(연구간 상이성)는 언제 생기나 2) Heterogeneity(연구간 상이성)는 언제 생기나
   - 환자, 치료방법, 연구 설계, 연구 수행 등이 동일하지 않을 때 생김   - 환자, 치료방법, 연구 설계, 연구 수행 등이 동일하지 않을 때 생김
- +
 3) Heterogeneity가 생길 때에는 3) Heterogeneity가 생길 때에는
   - 데이터가 정확한지 다시 확인   - 데이터가 정확한지 다시 확인
줄 173: 줄 154:
   - 왜 동질성이 없는 지를 연구함 (효과크기를 나타내는 측정치를 바꾸어 봄, 몇몇 연구들을 빼고 분석해 봄 (이때 연구자의 편견이들어갈 수 있으므로 주의해야함), Subgroup 분석 시행..)   - 왜 동질성이 없는 지를 연구함 (효과크기를 나타내는 측정치를 바꾸어 봄, 몇몇 연구들을 빼고 분석해 봄 (이때 연구자의 편견이들어갈 수 있으므로 주의해야함), Subgroup 분석 시행..)
   - Random-effect meta-analysis 분석법 사용을 조심스레 고려함   - Random-effect meta-analysis 분석법 사용을 조심스레 고려함
- 
  
 ? heterogeneity가 보이면, 공통적인 effect size를 산출하여 제시하는 것이 어려우므로 해석이 어려워진다… ? heterogeneity가 보이면, 공통적인 effect size를 산출하여 제시하는 것이 어려우므로 해석이 어려워진다…
줄 184: 줄 164:
 **회귀분석적용 **회귀분석적용
 *혼합효과모형 *혼합효과모형
- +
  
 ====효과크기의 동질성 검정==== ====효과크기의 동질성 검정====
줄 192: 줄 172:
     INCLUDE "D:\spss_macros\MEANES.SPS".     INCLUDE "D:\spss_macros\MEANES.SPS".
     MEANES ES=es /W=w.     MEANES ES=es /W=w.
-     
-뒤에 ''.'' 필요함.  
-대소문자 구별함;;;; 
  
 +뒤에 ''.'' 필요함.
 +대소문자 구별함;;;;
  
  
줄 206: 줄 185:
  
  http://www.stattools.net/ForestPlot_Exp.php  http://www.stattools.net/ForestPlot_Exp.php
- +
 ====Meta-regression model==== ====Meta-regression model====
 - 각각의 RR, OR 값을 y 로 놓고 회귀분석을 시행 하는 것이 meta regression model (이때 X에 해당하는 값은 설명 변수임). - 각각의 RR, OR 값을 y 로 놓고 회귀분석을 시행 하는 것이 meta regression model (이때 X에 해당하는 값은 설명 변수임).
줄 213: 줄 192:
 ? 여기에 weight를 주어서 regression model을 만드는 것이 바로 meta regression ? 여기에 weight를 주어서 regression model을 만드는 것이 바로 meta regression
 크게 Fixed-effects meta-regression 과 Random effect meta-regression이 있음 크게 Fixed-effects meta-regression 과 Random effect meta-regression이 있음
- +
 1) Fixed-effects meta-regression model 1) Fixed-effects meta-regression model
 True effect가 모든 연구에서 같다고 가정함 True effect가 모든 연구에서 같다고 가정함
줄 220: 줄 199:
 yi=β0+β1χ1j+ β2χ2j +…+nj yi=β0+β1χ1j+ β2χ2j +…+nj
 Where σ2nj is the variance of the effect size in study j. Fixed effects meta-regression ignores between study variation. As a result, parameter estimates are biased if between study variation can not be ignored. Furthermore, generalizations to the population are not possible. Where σ2nj is the variance of the effect size in study j. Fixed effects meta-regression ignores between study variation. As a result, parameter estimates are biased if between study variation can not be ignored. Furthermore, generalizations to the population are not possible.
- +
 2) Random effect meta-regression model 2) Random effect meta-regression model
 True effect가 정규분포를 이룬다고 가정함 True effect가 정규분포를 이룬다고 가정함
줄 226: 줄 205:
 yi=β0+β1χ1j+ β2χ2j +…+n+εj yi=β0+β1χ1j+ β2χ2j +…+n+εj
 Where again σ2εj is the variance of the effect size in study j. Between study variance σ2n is estimated using common estimation procedures for random effects models (restricted maximum likelihood (REML) estimators). Where again σ2εj is the variance of the effect size in study j. Between study variance σ2n is estimated using common estimation procedures for random effects models (restricted maximum likelihood (REML) estimators).
-  + 
-  + 
- +
 ==== Funnel plot==== ==== Funnel plot====
 -추정치를 중심으로 N수가 적을수록 위쪽에 분포하고, N수가 적을수록 아래쪽에 분포하도록 그림을 그려서 publication bias가 있는지를 확인하는 그림 -추정치를 중심으로 N수가 적을수록 위쪽에 분포하고, N수가 적을수록 아래쪽에 분포하도록 그림을 그려서 publication bias가 있는지를 확인하는 그림
 -Sample size가 크고 적고를 떠나서 좌우 대칭으로 있지 못하다면 publication bias가 있다 -Sample size가 크고 적고를 떠나서 좌우 대칭으로 있지 못하다면 publication bias가 있다
--Reference 선을 기준으로 좌우 양쪽으로 random하게 분포해야 함.  +-Reference 선을 기준으로 좌우 양쪽으로 random하게 분포해야 함.
 - 만일, 한쪽으로 쏠려있는 경우에는 Trim and Fill이라는 방법을 이용하여 보정해 줄 수 있음 - 만일, 한쪽으로 쏠려있는 경우에는 Trim and Fill이라는 방법을 이용하여 보정해 줄 수 있음
 (N수가 적은 연구들에 대해서 반대편에도 unpublished results가 있을 것이라고 가정하여, 좌우 대칭으로 만들어준 후에 effect size를 계산해 줌) (N수가 적은 연구들에 대해서 반대편에도 unpublished results가 있을 것이라고 가정하여, 좌우 대칭으로 만들어준 후에 effect size를 계산해 줌)
- +
 ★ Meta 분석에서 가장 중요한 것은 effect size를 어떻게 합치냐 하는 technical한 문제가 아니라, 문헌 고찰과 연구 문헌 선택!!! ★ Meta 분석에서 가장 중요한 것은 effect size를 어떻게 합치냐 하는 technical한 문제가 아니라, 문헌 고찰과 연구 문헌 선택!!!
 그래서 마치 clinical trial에서 환자를 어떻게 selection 했는지 CONSORT plot을 그려주듯이, 어떤 문헌DB에서 어떤 search term으로 논문을 골랐고, 어떤 inclusion/ exclusion criteria로 논문을 골랐는지 flow plot을 그려주는 것이 메타분석에서 필요하다. 그래서 마치 clinical trial에서 환자를 어떻게 selection 했는지 CONSORT plot을 그려주듯이, 어떤 문헌DB에서 어떤 search term으로 논문을 골랐고, 어떤 inclusion/ exclusion criteria로 논문을 골랐는지 flow plot을 그려주는 것이 메타분석에서 필요하다.
-? 부적절한 연구들을 합친 적절한 메타 분석은 혼란만 줄 뿐 전혀 의미가 없다!  +? 부적절한 연구들을 합친 적절한 메타 분석은 혼란만 줄 뿐 전혀 의미가 없다! 
  
-  
 ====Meta-analysis in STATA==== ====Meta-analysis in STATA====
 1) 명령어 설치 1) 명령어 설치
줄 253: 줄 232:
 메타 분석에 사용되는 다양한 명령어는 아래의 사이트참조 메타 분석에 사용되는 다양한 명령어는 아래의 사이트참조
 http://www.stata.com/support/faqs/stat/meta.html http://www.stata.com/support/faqs/stat/meta.html
- +
 참고로 참고로
 http://www.blackwellpublishing.com/medicine/bmj/systreviews/default.asp http://www.blackwellpublishing.com/medicine/bmj/systreviews/default.asp
 여기에 가면 STATA에서 meta-analysis를 하는 법에 대한 pdf 파일이 있다. 여기에 가면 STATA에서 meta-analysis를 하는 법에 대한 pdf 파일이 있다.
 또한 strepto.dta 라는 dataset이 있어서 연습할 수 있게 해준다. 또한 strepto.dta 라는 dataset이 있어서 연습할 수 있게 해준다.
-(open된 data이고 저작권에 걸리지 않는 자료 이므로 한번 받아보세요. ^^) +(open된 data이고 저작권에 걸리지 않는 자료 이므로 한번 받아보라. ^^) 
- +
 2) metan을 이용한 분석 2) metan을 이용한 분석
 우선 strepto.dta 파일을 열고 우선 strepto.dta 파일을 열고
줄 266: 줄 245:
 라고 입력해서 total population에서 event가 발생하지 않은 환자수를 만들어 주어야 한다. 라고 입력해서 total population에서 event가 발생하지 않은 환자수를 만들어 주어야 한다.
 즉, meta분석에 사용되는 data set은 다음과 같은 구조를 가져야 한다. 즉, meta분석에 사용되는 data set은 다음과 같은 구조를 가져야 한다.
- +
 Study_name Study_name
 Expose_death Expose_death
줄 273: 줄 252:
 No_expose_alive No_expose_alive
 Kim (2000) Kim (2000)
-  + 
-  + 
-  + 
- +
 Lee (2001) Lee (2001)
-  + 
-  + 
-  + 
- +
 Park (2003) Park (2003)
-  + 
-  + 
-  + 
-  + 
- +
 짐작했겠지만 expose death, expose alive는 특정 요인에 노출된 사람이고 (intervention arm으로 봐도 된다) no expose 는 특정 요인에 노출되지 않은 control군이다. 이거 혼동하면 OR 값 구할 때 분자분모가 뒤집히므로 안된다…. 짐작했겠지만 expose death, expose alive는 특정 요인에 노출된 사람이고 (intervention arm으로 봐도 된다) no expose 는 특정 요인에 노출되지 않은 control군이다. 이거 혼동하면 OR 값 구할 때 분자분모가 뒤집히므로 안된다….
 metan 명령어를 이용해서 relative risk값을 구해보자 metan 명령어를 이용해서 relative risk값을 구해보자
 .metan deaths1 alive1 deaths0 alive0, rr xlab(.1,1,10) .metan deaths1 alive1 deaths0 alive0, rr xlab(.1,1,10)
 .label(namevar=trialnam) .label(namevar=trialnam)
- +
 이때 deaths1 alive1 deaths0 alive0의 변수 순서가 바뀌면 RR이 뒤집혀서 나올 수 있으므로 주의해야 한다. 위의 dataset 경우라면 이때 deaths1 alive1 deaths0 alive0의 변수 순서가 바뀌면 RR이 뒤집혀서 나올 수 있으므로 주의해야 한다. 위의 dataset 경우라면
 .metan Expose_death Expose_alive No_expose_death No_expose_alive, rr xlab(.1,1,10) .metan Expose_death Expose_alive No_expose_death No_expose_alive, rr xlab(.1,1,10)
 라고 입력해야 한다. 라고 입력해야 한다.
 여기서 xlab 은 X축의 lable과 축 표시이다. 여기서 xlab 은 X축의 lable과 축 표시이다.
- +
 만일 OR를 구하고 싶으면 아래와 같이 rr대신 or을 입력하면 된다. 만일 OR를 구하고 싶으면 아래와 같이 rr대신 or을 입력하면 된다.
 .metan deaths1 alive1 deaths0 alive0, or xlab(.1,1,10) .metan deaths1 alive1 deaths0 alive0, or xlab(.1,1,10)
- +
 이를 실행하면 다음과 같은 결과가 나오고 자동으로 forest plot이 그려진다. 이를 실행하면 다음과 같은 결과가 나오고 자동으로 forest plot이 그려진다.
-  
  
-  + 
 heterogeneity test p-value는 0.066이므로 heterogeneity 문제는 신경 안쓰고 합쳐도 되며, effect size를 합친 최종 OR은 0.7735, 95%CI (0.7249-0.8254), p<0.001 이므로 합쳐서 보았을 때 유의하다고 할 수 있다. heterogeneity test p-value는 0.066이므로 heterogeneity 문제는 신경 안쓰고 합쳐도 되며, effect size를 합친 최종 OR은 0.7735, 95%CI (0.7249-0.8254), p<0.001 이므로 합쳐서 보았을 때 유의하다고 할 수 있다.
- +
 forest plot은 아래와 같이 그려진다. forest plot은 아래와 같이 그려진다.
-  
  
-  + 
- + 
 3) meta 명령어를 이용한 분석 3) meta 명령어를 이용한 분석
 Expose/unexposed/affected/unaffected에 해당하는 cell의 빈도를 모르고 Effect size만 아는 경우도 생길 수 있다. 어떤 논문에서는 two by two table로 sample size는 제시 안 한채 OR만 제시해주기도 하기 때문이다. 이런 경우에는 metan 명령어로 안되고, meta 명령어 패키지를 이용해야 한다. Expose/unexposed/affected/unaffected에 해당하는 cell의 빈도를 모르고 Effect size만 아는 경우도 생길 수 있다. 어떤 논문에서는 two by two table로 sample size는 제시 안 한채 OR만 제시해주기도 하기 때문이다. 이런 경우에는 metan 명령어로 안되고, meta 명령어 패키지를 이용해야 한다.
 먼저 meta 명령어를 깔고 (stb43 sbe16.2 meta) 먼저 meta 명령어를 깔고 (stb43 sbe16.2 meta)
- +
 OR 값과 OR값의 95%CI를 토대로 logOR 값 logOR값의 standard error를 알아야 한다. OR 값과 OR값의 95%CI를 토대로 logOR 값 logOR값의 standard error를 알아야 한다.
 (이것은 계산기로 직접 구해야 하며 이때 log는 밑이 10인 로그가 아니라 자연로그임을 주의) (이것은 계산기로 직접 구해야 하며 이때 log는 밑이 10인 로그가 아니라 자연로그임을 주의)
줄 322: 줄 301:
   .generate selogor=sqrt((1/deaths1)+(1/alive1)+(1/deaths0)+(1/alive0))   .generate selogor=sqrt((1/deaths1)+(1/alive1)+(1/deaths0)+(1/alive0))
 각 cell의 빈도를 모르면 OR값과 95%CI를 바탕으로 그냥 logor, selogor 변수값을 입력해 주면 된다. 그 후 아래와 같이 입력하면 forest plot과 fixed & random effects meta-regression model 을 보여준다. 각 cell의 빈도를 모르면 OR값과 95%CI를 바탕으로 그냥 logor, selogor 변수값을 입력해 주면 된다. 그 후 아래와 같이 입력하면 forest plot과 fixed & random effects meta-regression model 을 보여준다.
- +
   .meta logor selogor, eform graph(f) cline xline(1)   .meta logor selogor, eform graph(f) cline xline(1)
   xlab(.1,1,10) id(trialnam) b2title(Odds ratio) print   xlab(.1,1,10) id(trialnam) b2title(Odds ratio) print
- +
 meta명령어는 metan과 달리 2X2 table의 빈도를 모르더라도 effect size+95%CI만 가지고도 메타분석을 해줄 수 있으며, hazard ratio 와 같은 effect size도 합칠 수 있다. meta명령어는 metan과 달리 2X2 table의 빈도를 모르더라도 effect size+95%CI만 가지고도 메타분석을 해줄 수 있으며, hazard ratio 와 같은 effect size도 합칠 수 있다.
 Because the meta command requires only the estimated treatment effect and its standard error, it will be particularly useful in meta-analyses of studies in which the treatment effect is not derived from the standard 2 × 2 table. Examples might include crossover trials, or survival trials, when the treatment effect might be measured by the hazard ratio derived from Cox regression. Because the meta command requires only the estimated treatment effect and its standard error, it will be particularly useful in meta-analyses of studies in which the treatment effect is not derived from the standard 2 × 2 table. Examples might include crossover trials, or survival trials, when the treatment effect might be measured by the hazard ratio derived from Cox regression.
- +
 이외에도 meta-analysis를 하는 데는 STATA 외에도 다양한 통계패키지가 사용된다. 이외에도 meta-analysis를 하는 데는 STATA 외에도 다양한 통계패키지가 사용된다.
-  + 
- +
 =====References===== =====References=====
  
-  
-  
  
-  + 
 + 
  
 ===== 참고===== ===== 참고=====
-메타분석에 대한 기본적인 내용을 이해하기 위해서는 건국대 오성삼교수님의 "메타분석의 이론과 실제"라는 책을 참조하시면 많은 도움이 될거라고 생각합니다. 실제적인 방법론이나 메타분석을 수행하기 위한 프로그램에 대한 사용법은&nbsp;메타분석을 이용한 기존 논문들을 공부하시는게 좋을거 같구요. +메타분석에 대한 기본적인 내용을 이해하기 위해서는 건국대 오성삼교수님의 "메타분석의 이론과 실제"라는 책을 참조하면 많은 도움이 될거라고 생각한다. 실제적인 방법론이나 메타분석을 수행하기 위한 프로그램에 대한 사용법은 메타분석을 이용한 기존 논문들을 공부하시는게 좋을거 같구요.
  
 박소희 선생님 강의록 박소희 선생님 강의록
줄 349: 줄 328:
 http://en.wikipedia.org/wiki/Meta-analysis http://en.wikipedia.org/wiki/Meta-analysis
  
-참고로 메타분석을 위한 프로그램 툴은 다음과 같은 것이 있습니다.  +참고로 메타분석을 위한 프로그램 툴은 다음과 같은 것이 있다. 
- comprehensive meta analysis (CMA2) - http://www.meta-analysis.com/(trial 버전이 이용가능하구요, 매뉴얼은 pdf화일로 홈페이지에서 제공하고 있습니다. 한글버전이 없기 때문에 영어의 압박이 팍팍... ^^)  + comprehensive meta analysis (CMA2) - http://www.meta-analysis.com/(trial 버전이 이용가능하구요, 매뉴얼은 pdf화일로 홈페이지에서 제공하고 있다. 한글버전이 없기 때문에 영어의 압박이 팍팍... ^^) 
-다음은 메타분석에 대한 기초 내용들을 참고문헌을 통해 짜집기 한거에요~ ^^ +다음은 메타분석에 대한 기초 내용들을 참고문헌을 통해 짜집기 한거에요~ ^^
  
- +  * 오성삼 (1992). 메타분석 방법의 활동동향과 컴퓨터 프로그램을 이용한 메타분석 방법. 교육평가연구, 5, 123-166. 
-  * 오성삼 (1992). 메타분석 방법의 활동동향과 컴퓨터 프로그램을 이용한 메타분석 방법. 교육평가연구, 5, 123-166.  +  * 오성삼 (2002), 메타분석의 이론과 실제, 건국대학교출판부. 
-  * 오성삼 (2002), 메타분석의 이론과 실제, 건국대학교출판부.  +  * 황정규 (1998). Meta-Analysis의 이론과 방법론(경험과학적 연구 결과의 종합을 위하여). 성곡학술재단. 
-  * 황정규 (1998). Meta-Analysis의 이론과 방법론(경험과학적 연구 결과의 종합을 위하여). 성곡학술재단.  +  * Hedges, L.V. &amp; Olkin, I. (1983). Regression models in research synthesis. The American Statistician, 37, 137-140. 
-  * Hedges, L.V. &amp; Olkin, I. (1983). Regression models in research synthesis. The American Statistician, 37, 137-140.  +  * Glass, G.V. (1976). Primary, secondary and meta-analysis of research. Education researcher, 5(10), 3-8. 
-  * Glass, G.V. (1976). Primary, secondary and meta-analysis of research. Education researcher, 5(10), 3-8.  +  * G. V. Glass, B. McGaw &amp; M. L. Smith (1981). Meta-Analysis in Social Research. Sage Publish. 
-  * G. V. Glass, B. McGaw &amp; M. L. Smith (1981). Meta-Analysis in Social Research. Sage Publish.  +  * Hansford, B. C. &amp; Hattie, J. A. (1982). Communication apprehension: An assessment of Australian and United States data. Applied Psychological Measurement, 6, 225-233. 
-  * Hansford, B. C. &amp; Hattie, J. A. (1982). Communication apprehension: An assessment of Australian and United States data. Applied Psychological Measurement, 6, 225-233.   +  * Eysenck, H. (1978). An exercise in mega-silliness. American Psychologist 33, 517. 
-  * Eysenck, H. (1978). An exercise in mega-silliness. American Psychologist 33, 517.  +  * Cohen, J. (1977). Statistical Power Analysis for the Behavioral Sciences(Revised Edition). New York : Academic Press. 
-  * Cohen, J. (1977). Statistical Power Analysis for the Behavioral Sciences(Revised Edition). New York : Academic Press.  +  * Rosenthal, R. (1984). Meta-Analytic Procedures for Social Research. Beverly Hills, CA : Sage. 
-  * Rosenthal, R. (1984). Meta-Analytic Procedures for Social Research. Beverly Hills, CA : Sage.  +  * Fried. Y. &amp; Ferris. G. (1987). The validity of the job characteristics model: a review and meta-analysis. Personnel Psychology, 40(2), 287-322. 
-  * Fried. Y. &amp; Ferris. G. (1987). The validity of the job characteristics model: a review and meta-analysis. Personnel Psychology, 40(2), 287-322.  +  * Jackson, G. (1980), Methods for integrative reviews. Review of Educational Research 50, 438-484. 
-  * Jackson, G. (1980), Methods for integrative reviews. Review of Educational Research 50, 438-484.  +  * S. P. BROWN. (1996). A meta-analysis and review of organizational research on job involvement. Psychological bulletin 120(22), 235-255.
-  * S. P. BROWN. (1996). A meta-analysis and review of organizational research on job involvement. Psychological bulletin 120(22), 235-255. +
  
   * 참고: [[http://toyoutokyo.tistory.com/entry/%EB%A9%94%ED%83%80%EB%B6%84%EC%84%9D-Meta-analysis|http://toyoutokyo.tistory.com]]   * 참고: [[http://toyoutokyo.tistory.com/entry/%EB%A9%94%ED%83%80%EB%B6%84%EC%84%9D-Meta-analysis|http://toyoutokyo.tistory.com]]
-{{tag>의학 통계 메타분석 meta-analysis}}