2016. 9. 19. 13:30ㆍBook&Article
제1절 사회현상 측정의 의미
1. 측정이란 무엇인가?
* 측정(measurement)
= “현상이 지니고 있는 추상적(abstract)인 특징(예: 배우자 후보의 능력의 정도)을 일정한 규칙에 따라 우리가 경험할 수 있는 구체적(concrete)인 사물(예: 연봉 1억원)과 연결하는 과정”
= “특정한 규칙에 따라 현상에 숫자(數字)를 부여하는 것”
= 추상적인 개념으로 파악한 사회현상의 속성을 구체적인, 즉 우리가 경험할 수 있는 숫자(numeral)로 나타내는 것
⇒ 사회현상의 연구에 다른 기호보다 양적인 의미(quantitative meaning)를 보유한 기호인 수(number)를 자주 사용하는 이유는 수들(numbers)간의 관계는 통계학을 이용하여 엄밀하게 분석할 수 있기 때문
* 숫자(numeral)
= 아라비아 숫자(Arabic numerals), 로마숫자(Roman numerals) 등의 예에서 알 수 있듯이 ‘1, 2, 3…’ 혹은 ‘I, II, III…’ 등의 형태를 가지는 부호(sign)
* 수(number)
= 양적인 의미(quantitative meaning)가 부여된 숫자
2. 측정의 수준
* 측정의 수준(levels of measurement)
= 다양한 사회현상의 속성을 재는 기본적인 자, 즉 근원척도 유형(types of primary scale)
1) 명목척도
* 명목척도(nominal scale)
= 현상의 속성에 부여된 수(number)가 그 현상의 속성이 어떠한 유형으로 구분되는지만을 알려주는 경우, 이러한 정보만을 가진 자
⇒ 명목척도의 특징을 가진 자로 잰 수가 제공하는 정보는, 유형(category)만을 구분
⇒ 사칙연산 무의미
예) 성별
2) 서열척도
* 서열척도(ordinal scale)
= 사용되는 수가 유목(category)의 구분은 물론 조사현상의 순위정보까지 알려주고 있는 자
⇒ 측정된 수들(numbers)간의 크기비교는 무의미
3) 등간척도
* 등간척도(interval scale)
= 사용되는 수가 집단, 순위 및 동등 간격이라고 하는 3종류의 정보를 가지고 있는 자, 즉 척도
예) 상품의 선호도, 온도계, IQ 점수, 심리검사점수 등
4) 비율척도
* 비율척도(ratio scale)
= 사용되는 수(number)에 집단, 순서, 동일간격의 3종의 정보에다가 절대적인 0(absolute zero)이라고 하는 정보까지 포함한 가장 정보량이 많은 유형의 자, 즉 척도
= 0이 의미를 가지는 유형의 자
예) 무게, 길이, 소득, 매출액, 이자율, 시험점수 등
3. 측정과 통계학간의 관계
1) 측정과 통계분석
* 측정(measurement)과 통계학(statistics)은 유관한 별개의 학문분야
* 측정
= 통계분석의 대상이 되는 ‘수를 공급하는 역할’을 수행
* 통계학
= 측정에 의해 ‘공급된 수들간의 관계를 분석’하는 역할 수행
2) 사회현상의 연구와 근원척도 유형
* 실제 연구에서는 4종류의 근원척도(primary scale)를 모두 사용해서 현상을 측정하고 그 결과를 통계분석하게 되는 것이 일반적
3) 근원척도의 유형과 통계분석기법
* 근원척도(primary scale)가 가진 정보의 종류와 양이 상이
⇒ 각 척도를 적용해서 수집된 자료를 분석하는 통계기법도 상이
⇒ 척도가 제공하고 있는 정보량이 많을수록 분석 가능성도 높아짐
⇒ 가능한 한 많은 정보량을 가진 유형의 척도(즉, 가능하면 등간척도나 비율척도)로 현상을 측정하는 것이 유리
제2절 척도구성
* 척도(scale)란 측정도구(measurement instrument)
* 개별적인 척도(scale)와 근원척도(primary scale)의 구분필요
1. 척도구성 개요
* 척도구성/척도화(scaling)
= 개별적 척도(scale)를 만들어 내는 과정 혹은 방법
= 측정대상 현상의 고유한 속성을 잴 수 있는 눈금을 가진 자, 즉 측정대상 현상에 맞는 척도를 만들어내는 것
* 척도구성(scaling)의 영향 요소
1) 자극(stimulus)요소
(1) 자극(stimulus)요소
= 응답을 얻기 위해 응답자에 가하는 질문 등과 관련된 특성
⇒ 절대적 응답(absolute response) vs. 비교응답(comparative response)
* 비교척도(comparative scale)
= 자극대상(stimulus object)을 직접 비교해서 응답을 구하는 척도
* 비비교척도(non-comparative scale)
= 자극대상간의 직접 비교가 필요 없는 응답을 구하는 척도
(2) 자극(즉, 질문) 구성방법
= 응답자로 하여금 어떠한 유형의 근원척도(primary scale)로 응답하게 질문을 구성하는가 여부
⇒ 조사현상의 본질적인 속성 + 질문(즉, 자극) 구성방법
⇒ 질문에 대한 응답이 상이
⇒ 수집 자료가 속하는 근원척도의 종류가 상이
(3) 하나 이상의 자극(즉 질문)이 필요한가의 여부
* 단일항목척도법(single-item scale) vs. 다항목척도법(multi-item scale)
⇒ 일반적으로 다항목척도법이 선호됨
2) 응답(response)요소
* 판단응답(judgments)
= 정확한 반응(correct response)이 가능한 경우의 응답
예) “2+2는?” 혹은 “100kg과 50kg 중 어느 것이 무거운가?”와 같은 질문에 대한 응답
* 감정응답(sentiments)
= 정확성을 판단할 절대적 근거가 없는 응답
예) 개인적 선호도, 관심, 태도, 가치관 등
3) 응답자요소
* 응답자의 특성
= 응답자가 동일한 질문에 특정한 방식으로 응답할 가능성(probability)
* 특정한 방식
= 동일 질문에 대해 동의/반대하거나 혹은 정답을 맞히거나/틀릴 가능성
⇒ 문항특성곡선(item characteristic curve)
* 많은 경우 응답자의 특성에 대한 가정 하에 여타 요소만을 고려한 척도구성을 실행
예) 모든 응답자는 특정 문항에 대해 유사한 응답을 보이는 평균적인 개인(modal individual)으로 가정하거나, 논외로 함
2. 척도구성방법
1) 명목척도 구성방법
* 대개 판단응답
⇒ 응답시 혼동할 가능성은 매우 적음
* 개방형 질문(open-ended question) vs. 폐쇄형 질문(closed-ended question)으로 응답 유도
2) 서열척도 구성방법
(1) 쌍대비교법
* 쌍대비교법(paired comparison)
= 2개의 자극(stimuli)을 동시에 비교하여 순서에 대한 응답(response)을 구하는 척도구성법
⇒ n개의 자극(예: n개의 샴푸)이 존재한다면 n(n-1)/2만큼의 비교를 수행
* 비교 결과간의 모순(intransitivity)이 존재 가능
⇒ 상표 A>B, B>C, C>D, D>A와 같은 순환적인 선호관계(circular triad)가능
(2) 순위법
* 순위법(ranking/rank order)
= 응답자로 하여금 제시된 자극(순위평가 대상)에 대한 순서를 기입하도록 하는 척도구성법
⇒ 비교대상의 서열을 1, 2, 3 등으로 구분하는 것이기 때문에 응답자들이 일상생활에서 자주 경험해본 방법이므로 쉽게 이해하고 응답을 할 수 있다는 장점
⇒ 쌍대비교법에서처럼 비교대상이 증가하게 되면 비교대상간의 순위를 명확히 결정하는 일이 쉽지 않게 됨
3) 등간척도 구성방법
(1) 평정법/등급법(rating scale)
= 응답자로 하여금 현상이 보유한 속성의 정도를 글(verbal rating), 그림(graphic rating), 숫자(numeric rating)를 이용하여 평가하도록 하는 방법
① 연속평정법(continuous rating)
= 현상이 가진 속성의 정도를 제시된 응답범주(response category)와 상관없이 정밀한 평가치를 구하는 것이 의미가 있는 경우에 사용할 수 있는 척도구성법
⇒ 응답값이 매우 자세하게 구분되는 장점
⇒ 응답자들이 응답값을 자세하게 구분할 능력이 없는 경우에는 오히려 혼돈을 줄 수 있는 방법
② 항목평정법(itemized rating)
= 몇 개의 응답값(예: 1, 2, 3, 4, 5)을 제시하고 이 응답값 중 하나만 선택하도록 하는 척도구성법입
⇒ 구성, 실행, 이해가능성면에서 장점
⇒ Likert척도, 어의차이척도(semantic differential scale), Stapel 척도로 구분
* Likert척도(Liker scale)
= 응답자들에게 서술형(statement)으로 작성된 질문항목에 대한 동의 혹은 반대의 정도를 표시하도록 하는 척도구성법
= 가장 널리 사용되고 있는 척도의 하나
= 보통 1~5 혹은 1~7까지의 응답범위(response category)를 제시하는 것이 일반적
* 어의차이척도(semantic differential scale)
= 척도의 양 끝에 속성의 정도를 표현하는 상반된 수식어(bipolar adjective)를 제시하고 조사대상의 속성 보유정도에 대한 응답자의 평가를 측정하는 척도구성법
⇒ 상표(brand)나 점포(store)에 대한 이미지평가 혹은 상품개념(product concept) 분석 등에 자주 사용
⇒ 응답자가 이해하기 쉽고 응답하기 쉬움
⇒ 상반된 수식어를 찾기 힘든 경우에는 사용하기 어려운 척도
⇒ 보통 -3에서 3까지의 7단계의 응답범주(response category)를 제시
* Stapel 척도(Stapel scale)
= 양극단의 상반된 수식어 대신 한 쪽의 수식어(unipolar adjective)만을 평가기준으로 제시하는 방법
= 어의차이척도의 변형
⇒ 상반된 수식어를 발견하지 못하는 경우에도 간편하게 사용 가능
⇒ 실제 적용시 혼동스럽다는 지적
⇒ 수직적인 형태로 문항을 제시하고, 보통 중간의 응답범위(0점)가 없이 -5에서 5까지의 응답범주(response category)를 제시하는 것이 일반적
* 평정척도 구성시 주의점
첫째, 응답범주(response category)의 수
= 최적의 응답범주는 존재하지 않으며 관행적으로 5~10개의 응답범주를 사용하는 것이 일반적
⇒ 응답범주의 수가 많아질수록 통계분석에 필요한 변수의 변화폭(variability)이 증가
둘째, 응답범주의 균형
= 긍정적 범주와 부정적 범주의 균형 필요
= 현상의 특성이 한 쪽으로 치우친(skewed) 경우에는, 이와 같은 현상의 변화폭을 확보하기 위해 범주의 수가 불균형적인 척도 구성 가능
셋째, 응답범주에 ‘해당사항 없음’과 같은 범주(category)를 포함 권장
(2) 기타 등간척도 구성법
* 비율분할법(fractionation method)
= 응답자에게 한 속성의 보유 정도를 기준으로 다른 속성의 보유 정도를 판단하도록 하는 척도법
⇒ 응답자들이 자극에 대해 명확한 판단을 할 수 있는 경우에 사용
* 고정총합척도법(constant sum method)
= 응답자에게 일정한 합계점수를 주고 이 점수를 평가대상에 할당하여 각 대상을 평가하도록 하는 척도법
4) 비율척도 구성방법
* 판단응답(judgments)의 특징 보유
⇒ 명목척도 구성의 예와 유사한 논리를 적용해서 척도를 구성
제3절 측정의 신뢰성과 타당성
* 측정
= 현상의 특성에 숫자(numeral)를 부여하는 과정
= 과학의 핵심(sine qua non of science)
⇒ 정확한 측정의 조건은?
⇒ 측정의 신뢰성과 타당성
1. 측정(도구)의 신뢰성
1) 신뢰성이란 무엇인가?
* 측정의 신뢰성(reliability)
= 측정도구, 즉 척도의 일관성(consistency of measurement)을 지칭
⇒ 일상생활에서 신뢰성과는 다소 상이한 의미
* 진실된 체중을 모른 채로 몸무게 측정을 하는 경우
⇒ 일관성이 있는 체중계 A가 일관성이 없는 체중계 B보다 더 신뢰 가능
* 진실된 몸무게는 어떻게 측정?
⇒ 측정의 일관성이 확보된 후에야 이 측정치가 관연 진실된 측정치인지를 알아볼 수 있음
2) 측정오류와 신뢰성
* 측정도구의 신뢰성이란 측정오류(measurement error) 개념과 밀접한 관련
3) 측정도구의 신뢰성 판단방법
(1) 반복측정 신뢰성
* 반복측정 신뢰성(test-retest reliability)
= 동일 측정도구를 가지고 현상의 측정을 2회 반복해서 반복된 측정값들간의 상관관계를 분석함으로써 측정도구의 일관성이 높은지를 판단하는 것
⇒ 반복측정시 상당한 시간과 비용이 중복 소요
⇒ 동일 현상을 동일 대상으로부터 측정하는 경우 연구대상들이 측정에 대한 학습을 하게 되어서 측정결과에 영향
(2) 동시측정 신뢰성
* 동시측정 신뢰성 (alternative-form reliability)
= 두 개의 유사하지만 상이한 측정도구(예: 설문지 A type과 설문지 B type)를 사용하여 동일 대상에 대한 측정을 실시한 후 측정된 결과(즉 수집자료)간의 상관관계를 가지고 신뢰성의 정도를 판단하는 방법
⇒ 반복측정 신뢰성(test-retest reliability) 약점을 회피가능
⇒ 측정도구 개발 시간과 비용 상당액 소요
(3) 반분신뢰성
* 반분신뢰성(split half reliability)
= 하나의 측정도구(설문지)를 이용해서 한번만 측정을 시행하되, 측정에 사용된 도구(예: 20개의 설문문항)를 짝수/홀수 혹은 random하게 두 집단으로 나누어 두 집단(각 10개 설문문항)간의 상관계수를 계산해보고 신뢰성의 수준을 판단하는 방법
⇒ 전체 문항을 어떻게 반분하는가에 따라 상이한 상관계수가 생산되고 이에 따라 신뢰성 판단이 다소 변화
(4) 내적일관성 신뢰성
* 내적일관성 신뢰성(internal consistency reliability)/Cronbach의 alpha
= 가능한 모든 반분신뢰도를 구하고 이를 평균한 개념
= 근래에 가장 많이 사용되는 신뢰성 측정방법
4) 신뢰성 제고방안
* 연구대상 개념에 대한 명확한 정의가 선행
⇒ 이러한 정의에 근거해서 측정도구를 구성하는 문항들의 모호한 문구를 제거
* 동일 현상을 설명하는 측정도구를 구성하는 측정항목, 즉 설문문항을 늘림으로써 측정도구의 신뢰성을 제고
* Interviewer의 영향력이 응답값에 나타날 가능성에도 대비
⇒ 신뢰성이 확인된 측정도구를 사용하는 것이 권장됨
2. 측정도구의 타당성
1) 타당성 개념
* 측정의 타당성
= ‘측정도구가 측정하려는 현상을 측정해주는 정도(the extent to which a measure measures what it intends to measure)’를 지칭
2) 타당성의 유형
(1) 표면타당성(face validity)/내용타당성(content validity)
= 사회현상을 대변하는 개념(X 혹은 Y)을 조작적으로 정의(operational definition)한 구성개념(X′와 Y′)이 해당 사회현상이 포괄하는 모든 측면을 골고루 반영하고 있는지에 대한 질적(qualitative)인 판단
= 연구대상 개념의 개념적, 조작적 정의 및 측정도구(문항)가 일반적으로 받아들여지고 있는 해당 개념의 사전적 정의, 기존의 관련 연구에서의 정의 등과 일관성이 있는지 그리고 설문문항들이 개념에 대한 및 대표성(representativeness)이 있는지를 질적으로 판단
(2) 구성개념타당성(construct validity)
= 측정도구가 측정하려는 현상만을 측정하는지를 판단하게 해주는 타당성의 유형
* 집중타당성(convergent validity)
= 현상 X(예: 소비자만족도)를 측정하는 측정문항들이 X를 측정하는지를 판단케 해주는 타당성 증거
* 판별타당성(discriminant validity)
= 현상 X(예: 소비자만족도)를 측정하는 문항들이 현상 Y(예: 재구매의도)를 측정하지 않는지와 관련된 타당성 증거
(3) 예측타당성(predictive validity)/경험타당성(empirical validity)/통계타당성(statistical validity)/기준관련타당성(criterion-related validity)
= 독립변수가 종속변수를 잘 예측(predict)하는가의 정도와 관련이 있는 타당성 증거
(4) 내적타당성(internal validity)
= 구성개념을 측정하는 도구(즉 설문문항)들간에 존재하는 인과관계가 경험적으로 검증이 되는 경우 얻게 되는 타당성 증거
(5) 외적타당성(external validity)
= 구성개념과 구성개념간의 관계의 일반화 가능성과도 관련된 타당성 유형
= 독립변수(개념)와 종속변수(개념)간에 존재하는 것으로 관측된 관계가 여타 상황에서도 존재하는지와 관련
= 특정한 구성개념간의 관계가 다양한 시기(time frames), 장소(places), 표본(samples)에서 성립하는 것으로 검증된다면 이러한 관계는 외적타당성이 매우 높다고 결론
(6) 규칙타당성(nomological validity)
= 구성개념 X′와 측정변수 X″ 그리고 구성개념 Y′와 측정변수 Y″간에 구성개념타당성이 존재하고, 측정변수 X″와 Y″간에 경험적인 논박이 가능한 연구가설이 설정될 수 있는 경우
⇒ 타당성 확인은 타당성이 존재하느냐 아니냐(valid or not)의 문제가 아닌, 타당성 정도(matter of degree)의 문제
⇒ 가능한 한 다양한 타당성 증거에 의해 뒷받침되는 연구가 좀더 과학적인 연구
3) 타당성 측정방법
(1) 다속성 다측정법
* 다속성 다측정법(multi-trait multi-method: MTMM)
= 구성개념타당성(집중타당성 및 판별타당성) 증거를 분석
(2) 기타 방법
* 확인적 요인분석(confirmatory factor analysis)
* 구조방정식(structural equation modeling)
(3) 타당성 제고방법
* 연구문제의 설정, 연구문제에 대한 잠정적인 해답제시(즉, 가설설정), 자료의 수집과 가설검정 등의 전 단계에 걸쳐서 각 타당성 유형마다 관리해야 할 다양한 내용 존재
⇒ 공통적인 내용으로는 연구대상 개념(즉, 변수들)의 명확한 정의, 이러한 정의를 측정하는 도구(즉, 척도)의 선택, 자료의 수집과 분석에서 실수 및 오류의 가능성을 최소화시키는 노력이 필요
⇒ 연구하는 분야 및 연구방법론에 대한 깊은 지식 필요
3. 신뢰성과 타당성간의 관계
* 신뢰성이 높아진다고 해서 타당성이 높아지는 것은 아니나 반대의 관계는 성립
출처: 사회연구방법의 기초