See also, http://www.socialresearchmethods.net/kb/introval.htm

위의 그림은 validity에 관한 설명을 잘 나타내 준다. 위의 그림에서 연두색의 두 네모는 각각 Theory와 Observation을 말하는데, 전자는 이론적으로 살펴 보는 지적 절차를 의미한다. 첫 번째 네모에서 개념(concepts) 혹은 구성(constructs)간의 관계는 (여기서는 인과관계, causal and effect constructs)는 이론적인 논의와 검토에 의해서 만들어 진다. 예를 들면, 여름에는 찬음식의 소비가 많아진다는 명제에서 여름이라는 계절과 찬음식의 소비간의 관계가 그렇다. 여기서 "여름," "찬음식의 소비량"은 각각 하나의 개념이고 이 개념간의 관계가 인관적이다. 이 이론의 근거는 여름에는 온도가 높으므로 사람들이 땀을 많이 흘리고 시원한 것을 찾게 된다는 점이다.

위의 두 개념, "여름"과 "찬음식의 판매량"간의 관계를 실질적으로 증명하기 위해서는 operationalization 과정을 거쳐서 두 개념을 실제로 측정가능한(measurable) 것으로 만들어야 한다. 이를 위해서 연구자는 아마도 여름이라는 개념이 의미하는 것을 측정가능한 그 무엇으로 바꾸어야 하며, 아이스크림의 판매량을 측정하기 위한 방법 또한 강구해야 할 것이다.

간단하게 생각해 볼 수 있는 방법으로는, 여름을 일주일 평균 온도가 적정선 이하 혹은 이상을 넘지 않는 기간으로 operationalization할 수 있다. 이에 따라서 몇월 몇일부터 몇월 몇일까지의 기간을 여름으로 조작적인 정의를 내리고, 이 기간에 아이스크림의 소비량을 측정할 수 있다. 아이스크림의 소비량이 찬음식의 소비량을 측정하기 위한 실질적인 방법으로 대체된 이유는 찬음식이라는 개념이 너무나 많은 음식을 포함하고 있기 때문에 그 중 대표적인 아이스크림의 소비량이 찬음식 소비량을 대신할 수 있다는 논리에 있다.

연구자는 위에서 온도와 찬음식간의 개념적인 인과관계를 선언하고, 이 두 개념을 측정가능한 무엇으로 대체하였다. 후에 연구자가 해야 할 일은 이 두 개념에 대한 측정을 하고 둘 사이의 관계를 경험적으로(실제로 재서) 살펴 보는 것이다. 만약에 두 개의 측정치(여름과 아이스크림의 소비량)간의 관계가 밝혀 진다면, 연구자는 이를 근거로 자신이 처음에 제기한이론의 타당성에 대해서 논할 것이다.

위의 절차에서 온도와 찬음식 소비량간의 관계는 위 그림에서 각각 원인과 결과를 가르키는 개념이며 (위의 네모), 여름과 아이스크림 소비량은 이 개념들을 측정가능하도록 한 보다 구체적인 개념(혹은 변수)라고 하겠다 (아래 네모).

여기서 연구자는 위의 화살표들이 모두 대표성을 띄는 정당한 것이냐라는 질문을 할 필요가 있다. 즉,

• 만약에 온도라는 개념을 명확히 하기 위해서 여름이라는 계절을 선택한 것이 타당한가?
  
• 찬음식소비량 이라는 개념을 측정하기 위해서 아이스크림의 소비량을 측정한 것이 과연 타당한 것인가?
  
  

에 대한 회의(suspicion)에 아무런 의의가 없다면, 우리는 (적어도 외적으로는: 좀더 자세한 것은 다른 기회에) 이 연구실험에 일종의 타당성을 부여할 수 있다. 이런 타당성의 부여가 바로 validity이다.

또한 연구자는

• 여름과 찬음식소비간의 관계가 타당한가?
  
  

에 대한 회의(suspicion)를 해볼 수 있으며, 이 또한 validity를 확인하는 방법이다.

따라서, 연구자는 위의 그림에서 나타나는 모든 화살표 간의 관계가 타당한 지에 대한 이론적, 논리적 확신이 있어야 하고, 이를 확신하는 과정을 validity에 대한 검토라고 한다.

이론적, 논리적 검토는 매우 중요하다. 이는 실질적으로 이전에 행해진 개념적 정의(conceptualization)와 조작적 정의(operationalization)의 옳고 그름을 판단하는 기반이 되기 때문이다. 아래의 예를 들어 보자. 연구 절차상의 문제는 없지만, 논리적인 문제가 있는 예이다.

어느 한 연구자가 남성은 여성보다 힘이 세다고 주장을 한다. 이 주장의 이론적인 근거는 경험적으로 얻어진 남성과 여성의 신체적인 특징이 남성은 육체적인 노동에 보다 잘 견딜 수 있도록 되어 있고, 여성은 그렇지 못하다는데 있다. 즉, 생리학적인 이론이 연구자 주장의 근거가 된것이다 (attributes에 기반을 둔 이론 -- 이론부분 참조).

이 연구문제를 증명하기 위해서 연구자는 조그만 실험을 계획하였다. 교실에 있는 의자를 남성과 여성으로 이루어진 자신의 학생들에게 어깨 위로 들어 올리라는 실험이었다. 의자의 무게가 상당하므로 어깨 이상으로 들어 올리면 힘이 세다는 것을 실패를 한다면 힘이 약하다는 것을 나타내 줄 수 있다고 연구자는 믿는 것이다.

 
이 연구계획의 치명적인 약점 중의 하나는 validity의 부재에 있다. 

즉, 남성, 여성간에는 힘의 차이가 난다는 주장을 증명하기 위해서 연구자는 남성/여성을 분리하였고, 이 들이 의자를 들 수 있는가를 측정하였는데, 의자를 어깨 높이 이상으로 들 수 있는가?라는 측정치와 힘이 세다는 개념간에는 논린적인 연결력이 부족한것이다. 따라서, 이 연구자의 연구설계는 타당성(validity)의 문제가 있다고 하겠다 [1].

CategoryResearchMethods

See TwinPages:Validity