차이
문서의 선택한 두 판 사이의 차이를 보여줍니다.
양쪽 이전 판이전 판다음 판 | 이전 판 | ||
med:meta-analysis [2012/06/20 19:05] – V_L | med:meta-analysis [2016/07/10 18:20] (현재) – 바깥 편집 127.0.0.1 | ||
---|---|---|---|
줄 1: | 줄 1: | ||
+ | {{tag> | ||
+ | ======메타분석 (Meta-analysis)====== | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | 메타 분석은 한 가지 주제를 목적으로 여러 가지 논문의 결과를 종합하는 것이다. 이로써 명확한 의학적 증거(evidence)를 보여 줄 수 있고 통일되지 않은 의견이나 결과에 대해 해결 방안을 제시할 수 있다. 과거 처럼 전문가의 견해나 이론, 경험에만 의지하는 진료 방법이 아닌 과학적 증거를 통한 진료 (Evidence based medicine)를 하기 위한 분석 방법이라고도 할 수 있다. 점차 확대되고 있는 세계적 추세이다. | ||
+ | |||
+ | 메타 분석의 흔한 연구 형태로는 연구 결과를 합쳐 통합 자료(summary data)로 제시하는 경우와 여러 연구에서 사용된 각 환자의 자료를 개별적으로 이용하는 방법이 있다. 후자의 경우 정확한 정보를 확보할 수 있다는 면에서 매우 좋다만 여러 한계가 있다. | ||
+ | |||
+ | 이런 메타 분석을 위해서는 우선 문헌을 검색해야 한다. 검색된 여러 논문 중에서 연구 목적에 부합되는 기준을 찾아야하고 그 기준에 부합된 논문을 추려내야 한다. 여기서 기준이 자의적이라면 연구자의 의도가 들어가 공정한 메타 분석이 될 수 없다. 따라서 검색 방법과 기준 그리고 검색 날짜가 명확히 명시되야 한다. | ||
+ | |||
+ | 검색 방법으로는 SCI 논문을 검색할 수 있는 의학 논문 데이터 베이스인 PubMed, EMBASE, Cochrane Library 등이 포함된다. 특정 지역이나 인종을 대상을 한다면 해당 국가의 논문 데이타 베이스를 검색해야한다. 의도하든 의도하지 않든 대상 논문이 검색되지 않아서는 안되겠지요. 검색 결과는 매우 중요한다. 최근에는 Google을 이용해서 논문으로 발표되지 않은 case 들을 가지고 분석하는 경우도 보이다. | ||
+ | |||
+ | 검색 된 논문이 모두 똑같은 가치를 가지지는 않는다. 여러 미디어를 통해 발표되는 논문이나 연구의 실제 가치는 다르다고 말할 수도 있다. 여기서 말하는 가치는 신뢰도를 말한다. 어떤 연구 디자인이 신뢰도가 높은가에 대한 여러 문헌들이 있다만, 모집단을 대표할 수 있는 무작위 선출을 통한 대규모 맹검 연구가 가장 신뢰도가 높다. 여러 분류가 있겠지만, | ||
+ | |||
+ | {{http:// | ||
+ | |||
+ | < | ||
+ | |||
+ | 이들 논문의 기본적인 조건으로 연구에 사용한 용어에 대한 정확한 정의가 기술되어야 하고, 또한 연구 방법에 대한 자세한 기술이 있어야한다. 또한 통계 방법에 대한 정의가 들어 있어야만 한다. | ||
+ | |||
+ | 이렇게 자료를 모으면 통계적 분석을 해야한다. 통계적으로 신뢰를 받으려면 같은 디자인의 연구여야 되겠지요. 또한 가급적 무작위 이중 맹검 연구를 대상으로 분석한다면 좋겠다만, | ||
+ | |||
+ | 메타 분석은 연구자가 의도하지 않았던 편견(bias)가 있을 수 있다는 점에서 주의가 필요한다. 대표적인 것이 긍정적 결과 편향 현상 (positive-outcome bias, publication bias)이다. 메타 분석의 결과만 가지고 절대적 진리라고 말할 수 없는 이유 중 하나로 이들 메타 분석 결과는 학회에서 두고 두고 학술적 검토를 하게 된다. 여러 의견과 중지를 모아 실제 임상에 적용하는 guide line이 정해지게 되는 것이다. | ||
+ | |||
+ | |||
+ | =====메타분석의 개념===== | ||
+ | |||
+ | 학문의 다양한 분야에서 쏟아져 나오는 정보의 홍수 속에서 단편적 연구의 발견점들을 통합하여 보다 객관적이며, | ||
+ | |||
+ | Glass(1976)는 메타분석을 기존 연구에서 발견된 사항들의 통합을 목적으로 가지고 일련의개별 연구들로부터 수립된 다양한 연구 결과들을 통계적 분석하는 방법으로, | ||
+ | |||
+ | 경험 과학적 연구 자료를 다루는 사회과학의 분야에서는 어떤 특정 연구 주제, 연구 질문에 관련된 연구가 해마다 누적되어 간다. 이들 연구를 개별적으로 보면 각각 독특한 피험자, 독특한 연구 설계를 가지고 접근하고 있고 그러한 연구 결과의 제시방식도 연구마다 독특하다. 이렇게 상이하고 다양한 연구들을 하나의 일관된 체계적 틀 속에서 통합하여 분석해 봄으로써 연구결과의 누적을 단순화시킬 수 있는 경제적 방법이 메타분석이라고 지칭할 수 있다. | ||
+ | |||
+ | 메타분석 (meta-analysis) 이라는 것은. | ||
+ | |||
+ | 1) 정의: 특정한 연구주제에 대해 행해진 여러 독립적인 연구의 결과를 합리적이고 체계적으로 종합하는 통계적 분석방법. 즉, 어떤 주제에 대해서 출판된 여러 논문의 결과들을 모으고 합쳐서 분석하는 방법임. Original article에서 환자 한명 한명을 엄격한 inclusion, exclusion criteria를 가지고 모아서 결과를 내듯이, meta-analysis에서는 논문 하나 하나를 엄격한 inclusion, exclusion criteria를 가지고 모아서 결론을 도출하게 된다. | ||
+ | |||
+ | 2) 의의: 각각의 작은 연구들은 limitation이 있으므로, | ||
+ | |||
+ | 3) meta-analysis가 적합한 자료의 조건 | ||
+ | (1) 충분한 선행연구 결과물을 수집할 수 있어야 | ||
+ | (2) Effect size에 해당하는 값(mean, SD, OR, HR 등) 과 N수 p-value가 있어야 | ||
+ | (3) 연구논문의 질판단이 가능해야 | ||
+ | (4) 논문 선정의 범위 문제가 명확해야. | ||
+ | (즉, publish된 논문만 할지, gray literature도 포함시킬지, | ||
+ | Cf> publication bias란? positive result인 것은 잘 출판되는 경향이 있기 때문에, 출판된 논문들만 모아서 meta분석을 하면 결과가 positive하게 나오게 됨. Funnel plot을 그려서 publication bias를 체크해봐야 함. | ||
+ | |||
+ | 4) Advantages of meta-analysis (eg. over classical literature reviews, simple overall means of effect sized etc.) include: | ||
+ | Derivation and statistical testing of overall factors / effect size parameters in related studies | ||
+ | Generalization to the population of studies | ||
+ | Ability to control for between study variation | ||
+ | Including moderators to explain variation | ||
+ | Higher statistical power to detect an effect than in ‘n=1 sized study sample’ | ||
+ | =====메타분석의 문제점과 대응===== | ||
+ | 메타분석에서 가장 문제점으로 논쟁이 계속되어 오고 있는 점은 다음의 두 가지이다. | ||
+ | |||
+ | # 사과와 오렌지를 합해 놓고 거기에서 통합된 결론을 유출하는 것은 비합리적이라는 비판이다. 이에 대해 Glass(1978)는 모든 측면에서 동일한 연구만이 비교될 수 있다는 주장은 자기 모순적이며, | ||
+ | # 메타분석은 질적으로 빈약한 연구를 질적으로 우수한 연구와 합함으로써 결론의 추출에 편파성을 초래할 가능성이 크다는 점이 지적되고 있다(Eysenck, | ||
+ | |||
+ | Glass, McGaw와 Smith(1981)은 20개의 메타분석을 재분석하여 연구의 질을 나누고 연구의 질의 수준에 따라 효과의 크기가 차이가 나는지를 비교하였다. 그 결과 양간의 차이가 있기는 하였지만 효과의 크기가 거의 일관되게 나타나고 있음을 제시하고 있다. 이런 결과는 연구의 질에 따라 실제 효과의 측정치가 크게 차이가 날 것이라는 상식적 기대와 일치하지 않음을 알 수 있다. Rosenthal(1984)은 연구의 질에 따른 가중치의 적용도 고래해 봄직하다는 대안을 제시하고 있다. | ||
+ | |||
+ | 이상을 종합하면 메타분석은 축적된 경험 과학적 연구를 종합하기 위한 통계적 방법으로, | ||
+ | |||
+ | ===== 메타분석의 절차===== | ||
+ | Research question & hypothesis | ||
+ | - 연구 자료의 범위 선정 및 수집 (연구자료 출처, 연도) by systematic review | ||
+ | - 분석자료의 특성, 코딩 | ||
+ | - 메타통계분석 | ||
+ | - 분석결과 제시 및 해석 | ||
+ | |||
+ | * Meta-analysis에서 4가지 분석point | ||
+ | 1) Direction of effect | ||
+ | 2) Size of effect | ||
+ | 3) Consistency of effect | ||
+ | 4) Strength of evidence for the effect | ||
+ | =====메타분석 방법===== | ||
+ | |||
+ | 메타분석에서 사용하는 통계방법에는 통계적 유의도 검증방법(statistical significant test statistics)과 표준화 평균차를 사용하는 효과크기(effect size)계산방법, | ||
+ | |||
+ | ====통계적 유의도 검증방법==== | ||
+ | | ||
+ | |||
+ | ==== 상관관계를 사용한 메타분석==== | ||
+ | | ||
+ | |||
+ | 상관계수를 이용한 메타분석 방법에는 상관을 알아보고자 하는 두 변인의 성질에 따라 각기 다른 상관계수, | ||
+ | |||
+ | ====효과크기(effect size)를 산출==== | ||
+ | **가장 널리 사용되는 방법**이다. 효과크기란 실험 집단의 평균치가 통제집단의 평균치에 비해 얼마나 더 효과적이었는가의 크기를 표준편차라는 공통의 척도로 변환시켜 놓은 것을 의미한다. 기술통계치가 제시되어 있지 않은 자료들은 효과크기로 변환하기 위하여 Cohen(1965, | ||
+ | |||
+ | |||
+ | |||
+ | =====효과크기 (Effect Size) 계산===== | ||
+ | * http:// | ||
+ | * http:// | ||
+ | * http:// | ||
+ | |||
+ | {{: | ||
+ | |||
+ | 효과크기의 산술적 평균만으로 결과를 제시할 수 있다. 그러나 좀 더 객관화된 결과를 제시하기 위하여 역변량 가중치를 이용한 평균 효과 크기가 많이 사용된다. | ||
+ | |||
+ | |||
+ | ==== 가중치 ( Weight )==== | ||
+ | - 각 연구들의 Effect size는 그냥 평균 내어지는 것이 아니라 weight를 주어서 합쳐져야 함. | ||
+ | - 일반적으로는 Give more weights to the more informative studies | ||
+ | - Weight by | ||
+ | |||
+ | * | ||
+ | * Event rate (survival data인 경우) | ||
+ | * | ||
+ | * | ||
+ | * Other factor | ||
+ | |||
+ | - 일반적으로는 summary effect Y는 아래와 같이 구해짐 | ||
+ | |||
+ | Y= (∑YiWi)/ | ||
+ | |||
+ | - 연구의 질은 보통 다음과 같은 순위로 중요한 것으로 간주된다. (level of evidence와 비슷한 의미) | ||
+ | |||
+ | * large randomized controlled trial | ||
+ | * small RCT | ||
+ | * prospective cohort study | ||
+ | * case control study | ||
+ | * case accumulation study (case series study) | ||
+ | * case report | ||
+ | * expert opinion | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ==== Heterogeneity==== | ||
+ | 1) Test for heterogeneity | ||
+ | - effect size가 heterogenous 하지 않고 homogenout해야 effect size들을 합칠 수 있음 | ||
+ | - 각 연구에서의 effect size가 동일하다는 귀무가설을 검정해서 heterogeneity 여부를 파악하게 됨 | ||
+ | - Q와 I2을 이용하여 heterogeneity를 검정 | ||
+ | |||
+ | (1) 귀무가설이 기각되면 ? 최소한 하나의 effect size가 다른 연구가 섞여 있으므로 effect size를 합치지 않는 것이 원칙 | ||
+ | |||
+ | (2) 귀무가설이 기각되지 않으면 ? heterogenous하지 않으므로 메타분석에서 효과크기를 결합해도 무방함 | ||
+ | 즉, effect size가 homogenous 한 연구들을 합치는 것이 원칙 | ||
+ | |||
+ | 동질성 검정 결과 동질하다면, | ||
+ | |||
+ | |||
+ | 2) Heterogeneity(연구간 상이성)는 언제 생기나 | ||
+ | - 환자, 치료방법, | ||
+ | |||
+ | 3) Heterogeneity가 생길 때에는 | ||
+ | - 데이터가 정확한지 다시 확인 | ||
+ | - 메타분석을 하지 않음 | ||
+ | - 왜 동질성이 없는 지를 연구함 (효과크기를 나타내는 측정치를 바꾸어 봄, 몇몇 연구들을 빼고 분석해 봄 (이때 연구자의 편견이들어갈 수 있으므로 주의해야함), | ||
+ | - Random-effect meta-analysis 분석법 사용을 조심스레 고려함 | ||
+ | |||
+ | ? heterogeneity가 보이면, 공통적인 effect size를 산출하여 제시하는 것이 어려우므로 해석이 어려워진다… | ||
+ | |||
+ | ====이질분포 효과크기의 해결==== | ||
+ | 효과크기의 동질성이 없다면... | ||
+ | * 랜덤효과모형 | ||
+ | *모수효과모형 | ||
+ | **분산분석적용 | ||
+ | **회귀분석적용 | ||
+ | *혼합효과모형 | ||
+ | |||
+ | |||
+ | ====효과크기의 동질성 검정==== | ||
+ | |||
+ | SPSS에서 File -> New -> Syntax 를 클릭해서 Syntax editor를 불러온다. | ||
+ | |||
+ | INCLUDE " | ||
+ | MEANES ES=es /W=w. | ||
+ | |||
+ | 뒤에 '' | ||
+ | 대소문자 구별함;;;; | ||
+ | |||
+ | |||
+ | ====Forest plot==== | ||
+ | -각각 Study의 | ||
+ | -Boxes and horizontal line으로 그려짐 | ||
+ | -OR, RR은 보통 log scale로 그려짐 | ||
+ | -Weight는 box의 area로 표시됨 | ||
+ | -종합된 effect size와 CI는 맨 아래에 마름모 모양으로 보여지며 이 마름모가 1에 걸쳐있는지를 보게됨 | ||
+ | |||
+ | | ||
+ | |||
+ | ====Meta-regression model==== | ||
+ | - 각각의 RR, OR 값을 y 로 놓고 회귀분석을 시행 하는 것이 meta regression model (이때 X에 해당하는 값은 설명 변수임). | ||
+ | - 연구 수가 적을 때는 권해지지 않음 | ||
+ | - 단순 회귀 분석을 할 경우에는 연구에 포함된 환자수에 무관하게 (즉 small study건 large study건) X와 Y가 결정되어버림 | ||
+ | ? 여기에 weight를 주어서 regression model을 만드는 것이 바로 meta regression | ||
+ | 크게 Fixed-effects meta-regression 과 Random effect meta-regression이 있음 | ||
+ | |||
+ | 1) Fixed-effects meta-regression model | ||
+ | True effect가 모든 연구에서 같다고 가정함 | ||
+ | Weight를 주는 방법이 다름 | ||
+ | Fixed-effects meta-regression assumes that the true effect size θ is normally distributed with N(θ, σθ) where σ2θ is the within study variance of the effect size. A fixed effects meta-regression model thus allows for within study variability, | ||
+ | yi=β0+β1χ1j+ β2χ2j +…+nj | ||
+ | Where σ2nj is the variance of the effect size in study j. Fixed effects meta-regression ignores between study variation. As a result, parameter estimates are biased if between study variation can not be ignored. Furthermore, | ||
+ | |||
+ | 2) Random effect meta-regression model | ||
+ | True effect가 정규분포를 이룬다고 가정함 | ||
+ | Random effect meta-regression rests on the assumption that θ in N(θ, σi) is a random variable following a (hyper-)distribution N(θ, σθ) | ||
+ | yi=β0+β1χ1j+ β2χ2j +…+n+εj | ||
+ | Where again σ2εj is the variance of the effect size in study j. Between study variance σ2n is estimated using common estimation procedures for random effects models (restricted maximum likelihood (REML) estimators). | ||
+ | |||
+ | |||
+ | |||
+ | ==== Funnel plot==== | ||
+ | -추정치를 중심으로 N수가 적을수록 위쪽에 분포하고, | ||
+ | -Sample size가 크고 적고를 떠나서 좌우 대칭으로 있지 못하다면 publication bias가 있다 | ||
+ | -Reference 선을 기준으로 좌우 양쪽으로 random하게 분포해야 함. | ||
+ | - 만일, 한쪽으로 쏠려있는 경우에는 Trim and Fill이라는 방법을 이용하여 보정해 줄 수 있음 | ||
+ | (N수가 적은 연구들에 대해서 반대편에도 unpublished results가 있을 것이라고 가정하여, | ||
+ | |||
+ | ★ Meta 분석에서 가장 중요한 것은 effect size를 어떻게 합치냐 하는 technical한 문제가 아니라, 문헌 고찰과 연구 문헌 선택!!! | ||
+ | 그래서 마치 clinical trial에서 환자를 어떻게 selection 했는지 CONSORT plot을 그려주듯이, | ||
+ | ? 부적절한 연구들을 합친 적절한 메타 분석은 혼란만 줄 뿐 전혀 의미가 없다! | ||
+ | |||
+ | |||
+ | ====Meta-analysis in STATA==== | ||
+ | 1) 명령어 설치 | ||
+ | 우선 Findit metan , Findit meta 를 해서 명령어 package를 다운받아서 깔아야함 | ||
+ | 이외에도 아래의 명령어들을 깔면 더 다양한 메타분석을 할 수 있게 된다. | ||
+ | stb45 sbe24.1 metan, funnel, labbe | ||
+ | stb43 sbe16.2 meta | ||
+ | stb42 sbe22 metacum | ||
+ | stb56 sbe26.1 metainf | ||
+ | stb58 sbe19.3 metabias | ||
+ | stb42 sbe23 metareg | ||
+ | 메타 분석에 사용되는 다양한 명령어는 아래의 사이트참조 | ||
+ | http:// | ||
+ | |||
+ | 참고로 | ||
+ | http:// | ||
+ | 여기에 가면 STATA에서 meta-analysis를 하는 법에 대한 pdf 파일이 있다. | ||
+ | 또한 strepto.dta 라는 dataset이 있어서 연습할 수 있게 해준다. | ||
+ | (open된 data이고 저작권에 걸리지 않는 자료 이므로 한번 받아보라. ^^) | ||
+ | |||
+ | 2) metan을 이용한 분석 | ||
+ | 우선 strepto.dta 파일을 열고 | ||
+ | .generate alive1=pop1-deaths1 | ||
+ | .generate alive0=pop0-deaths0 | ||
+ | 라고 입력해서 total population에서 event가 발생하지 않은 환자수를 만들어 주어야 한다. | ||
+ | 즉, meta분석에 사용되는 data set은 다음과 같은 구조를 가져야 한다. | ||
+ | |||
+ | Study_name | ||
+ | Expose_death | ||
+ | Expose_alive | ||
+ | No_expose_death | ||
+ | No_expose_alive | ||
+ | Kim (2000) | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | Lee (2001) | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | Park (2003) | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | 짐작했겠지만 expose death, expose alive는 특정 요인에 노출된 사람이고 (intervention arm으로 봐도 된다) no expose 는 특정 요인에 노출되지 않은 control군이다. 이거 혼동하면 OR 값 구할 때 분자분모가 뒤집히므로 안된다…. | ||
+ | metan 명령어를 이용해서 relative risk값을 구해보자 | ||
+ | .metan deaths1 alive1 deaths0 alive0, rr xlab(.1, | ||
+ | .label(namevar=trialnam) | ||
+ | |||
+ | 이때 deaths1 alive1 deaths0 alive0의 변수 순서가 바뀌면 RR이 뒤집혀서 나올 수 있으므로 주의해야 한다. 위의 dataset 경우라면 | ||
+ | .metan Expose_death Expose_alive No_expose_death No_expose_alive, | ||
+ | 라고 입력해야 한다. | ||
+ | 여기서 xlab 은 X축의 lable과 축 표시이다. | ||
+ | |||
+ | 만일 OR를 구하고 싶으면 아래와 같이 rr대신 or을 입력하면 된다. | ||
+ | .metan deaths1 alive1 deaths0 alive0, or xlab(.1, | ||
+ | |||
+ | 이를 실행하면 다음과 같은 결과가 나오고 자동으로 forest plot이 그려진다. | ||
+ | |||
+ | |||
+ | |||
+ | heterogeneity test p-value는 0.066이므로 heterogeneity 문제는 신경 안쓰고 합쳐도 되며, effect size를 합친 최종 OR은 0.7735, 95%CI (0.7249-0.8254), | ||
+ | |||
+ | forest plot은 아래와 같이 그려진다. | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | 3) meta 명령어를 이용한 분석 | ||
+ | Expose/ | ||
+ | 먼저 meta 명령어를 깔고 (stb43 sbe16.2 meta) | ||
+ | |||
+ | OR 값과 OR값의 95%CI를 토대로 logOR 값 logOR값의 standard error를 알아야 한다. | ||
+ | (이것은 계산기로 직접 구해야 하며 이때 log는 밑이 10인 로그가 아니라 자연로그임을 주의) | ||
+ | 각 cell의 빈도를 알면 아래와 같이 logOR과 S.E. of log OR을 구해도 되고 | ||
+ | .generate logor=log((deaths1/ | ||
+ | .generate selogor=sqrt((1/ | ||
+ | 각 cell의 빈도를 모르면 OR값과 95%CI를 바탕으로 그냥 logor, selogor 변수값을 입력해 주면 된다. 그 후 아래와 같이 입력하면 forest plot과 fixed & random effects meta-regression model 을 보여준다. | ||
+ | |||
+ | .meta logor selogor, eform graph(f) cline xline(1) | ||
+ | xlab(.1, | ||
+ | |||
+ | meta명령어는 metan과 달리 2X2 table의 빈도를 모르더라도 effect size+95%CI만 가지고도 메타분석을 해줄 수 있으며, hazard ratio 와 같은 effect size도 합칠 수 있다. | ||
+ | Because the meta command requires only the estimated treatment effect and its standard error, it will be particularly useful in meta-analyses of studies in which the treatment effect is not derived from the standard 2 × 2 table. Examples might include crossover trials, or survival trials, when the treatment effect might be measured by the hazard ratio derived from Cox regression. | ||
+ | |||
+ | 이외에도 meta-analysis를 하는 데는 STATA 외에도 다양한 통계패키지가 사용된다. | ||
+ | |||
+ | |||
+ | =====References===== | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ===== 참고===== | ||
+ | 메타분석에 대한 기본적인 내용을 이해하기 위해서는 건국대 오성삼교수님의 " | ||
+ | |||
+ | 박소희 선생님 강의록 | ||
+ | Sterne JA et al. Meta-analysis in StataTM | ||
+ | (available at: http:// | ||
+ | 한서경 선생님 강의록 from 함춘강좌-과학적 임상연구의 설계와 수행 | ||
+ | 생명과학연구를 위한 통계적 방법(개정판) 이재원저 | ||
+ | http:// | ||
+ | |||
+ | 참고로 메타분석을 위한 프로그램 툴은 다음과 같은 것이 있다. | ||
+ | | ||
+ | 다음은 메타분석에 대한 기초 내용들을 참고문헌을 통해 짜집기 한거에요~ ^^ | ||
+ | |||
+ | * 오성삼 (1992). 메타분석 방법의 활동동향과 컴퓨터 프로그램을 이용한 메타분석 방법. 교육평가연구, | ||
+ | * 오성삼 (2002), 메타분석의 이론과 실제, 건국대학교출판부. | ||
+ | * 황정규 (1998). Meta-Analysis의 이론과 방법론(경험과학적 연구 결과의 종합을 위하여). 성곡학술재단. | ||
+ | * Hedges, L.V. & Olkin, I. (1983). Regression models in research synthesis. The American Statistician, | ||
+ | * Glass, G.V. (1976). Primary, secondary and meta-analysis of research. Education researcher, 5(10), 3-8. | ||
+ | * G. V. Glass, B. McGaw & M. L. Smith (1981). Meta-Analysis in Social Research. Sage Publish. | ||
+ | * Hansford, B. C. & Hattie, J. A. (1982). Communication apprehension: | ||
+ | * Eysenck, H. (1978). An exercise in mega-silliness. American Psychologist 33, 517. | ||
+ | * Cohen, J. (1977). Statistical Power Analysis for the Behavioral Sciences(Revised Edition). New York : Academic Press. | ||
+ | * Rosenthal, R. (1984). Meta-Analytic Procedures for Social Research. Beverly Hills, CA : Sage. | ||
+ | * Fried. Y. & Ferris. G. (1987). The validity of the job characteristics model: a review and meta-analysis. Personnel Psychology, 40(2), 287-322. | ||
+ | * Jackson, G. (1980), Methods for integrative reviews. Review of Educational Research 50, 438-484. | ||
+ | * S. P. BROWN. (1996). A meta-analysis and review of organizational research on job involvement. Psychological bulletin 120(22), 235-255. | ||
+ | |||
+ | * 참고: [[http:// | ||