Bless, H., & Burger, A. M. (2016). A closer look at social psychologists' silver bullet: Inevitable and evitable side effects of the experimental approach. Perspectives on psychological science, 11(2), 296-318.
URL: https://journals.sagepub.com/doi/abs/10.1177/1745691615621278
A closer look at social psychologists' silver bullet: Inevitable and evitable side effects of the experimental approach
사회심리학자들의 비법 들여다보기: 실험적 접근의 피할 수 없는 부작용과 피할 수 있는 부작용
The main advantage of experimental research lies in the possibility of systematically investigating the causal relation between the variables of interest. The well-known advantages result from (a) the possibility to manipulate the independent variable, (b) random assignment of participants to the experimental conditions, and (c) the experimenter’s control over the operationalization of the variables and the general experimental setting. We argue that it is exactly these elements that constitute core advantages of experimental research but that are─at the same time─associated with side effects, which are often out of focus when researchers derive theoretical conclusions from their experimental findings. We discuss potential restrictions linked to these core elements of experimental research. Implications for both theory development and research design are discussed.
실험 연구가 갖는 핵심적인 장점은 관심의 대상이 되는 변인들 간의 인과적 관계를 체계적으로 탐구할 수 있다는 가능성에 있다. 이 잘 알려진 장점은 (a) 독립 변인을 조작할 수 있다는 가능성, (b) 실험적 조건으로의 참가자 무선 할당, 그리고 (c) 실험자가 일반적 실험 여건 및 변인들의 조작화를 통제할 수 있다는 데 기인한다. 우리가 주장하려는 것은, 이런 요소들이 실제로 실험 연구의 장점인 것은 맞지만, 연구자가 실험적 발견을 통해서 이론적 결론을 도출할 때에 흔히 간과되곤 하는 부작용 또한 그와 동시에 따라붙는다는 것이다. 우리는 실험 연구에 있어서 이런 핵심 요소들이 어떻게 잠재적인 제약과 연결되어 있는지를 논의한다. 이론의 개발과 연구 설계에 있어서 이것이 어떤 시사점을 갖는지도 논의하겠다.
Herbert Bless
허버트 블레스
Axel M. Burger
액셀 M. 버거
(사회)[1] 심리학자들이 연구 질문을 탐구하기 위해 방법론의 세계를 들여다볼 때, 그들은 우선적으로 실험적 접근이 가능한지를 흔히 살펴보곤 한다. 다른 방법론적 접근보다 우선하게 되는 핵심적인 이유는, 실험적 절차가 관심의 대상이 되는 변인들 간의 인과관계를 탐구할 수 있도록 하기 때문이다. 예컨대, 도움이 필요한 사람을 지켜보는 사람들의 수를 실험적으로 조작함으로써, 연구자들은 부조행동에 있어서 방관자들의 수가 영향을 끼치는지 아닌지를 평가할 수 있다. 관심의 대상이 되는 변인이 (이를테면 성격 변인이나 사회경제적 배경처럼) 조작이 불가능한 경우가 아닌 한, 사회심리학계의 연구자들은 대개 실험에 의존한다. 흥미롭게도, 심지어 결정적인 변인을 조작하는 것이 불가능해 보이는 상황에서조차 연구자들은 (이를테면 상대적인 사회경제적 지위를 조작하는 것과 같이) 그 변인에 근접한 다른 무언가를 실험적으로 조작할 수 있는 길을 찾는다. 사회심리학 교과서들과 학술지들을 살펴보면 실험적 접근이 사회심리학적 연구 문제를 탐구함에 있어서 "비법" 이라는 것을 거의 의심하지 않으며, 사회심리학자들은 가능하기만 하다면 언제든지 그것에 매달린다 (최근의 리뷰를 원할 경우, Wilson, Aronson, & Carlsmith, 2010을 볼 것).
우리는 실험적 접근과 그 장점에 무척 많은 빚을 지고 있으며, 우리는 우리 자신의 연구를 할 때에도 이 접근법에 흔히 매달린다. 그러나 이 글에서, 우리는 실험적 접근이 부작용을 갖고 있으며 그 실험적 발견으로부터 도출되는 이론적 결론에 있어 시사점이 있음을 논의한다. 이 부작용 중 대부분은 실험적 절차의 본질에 내재적으로 연결되어 있다는 것이 중요하다. 이 글의 목적 상, 우리는 실험의 핵심적 요소들을 [표 1]의 첫째 열에 제시함으로써 강조하였다.
첫째로, 실험적 접근은 가정된 인과적 변인이 적어도 두 종류의 서로 다른 값을 갖도록 조작되며 이 조작이 실험자의 통제 하에 놓인다고 본다. 다시 말하면, 잠재적인 인과적 변인의 양적 또는 질적인 특정은 적어도 하나의 실험적 조건으로 변경될 필요가 있다. 둘째로, 참가자들은 서로 다른 실험적 조건에 무선 할당되며, 이로써 참가자들이 자신이 속할 조건을 스스로 선택할 가능성은 사라진다. 셋째로, 실험자는 실험 여건을 통제한다. 이런 이론화를 바탕으로 하여, 실험자는 독립 변인의 조작화뿐만 아니라 어떻게 그리고 언제 종속 변인이 측정될지까지 선택하고 결정한다. 더 나아가, 이 실험자는 (이를테면 시간, 장소, 지시 등; Wilson et al.(2010)을 볼 것) 가능한 한 많은 상황적 측면들이 조건들 내에 그리고 조건들 간에 일정하게 유지되고자 노력한다. 한편에서는, 가정된 인과적 변인에 대한 조작/변화, 무선 할당, 그리고 실험자의 통제라는 세 가지 실험적 요소들은 명백하며 잘 알려지고 매우 중요한 혜택이 된다. 그러나 다른 한편으로, 우리는 이들 요소들이 실험자의 가설이 당초 도출되었던 그 이론에다 실험자의 발견들을 연결시키려 할 때 자주 간과되곤 하는 시사점을 갖는다고 주장한다. 이런 가능성에 대한 시사점에 대해, 우리는 다음과 같이 논의한다. 각각의 요소들마다, 우리는 먼저 잠재적인 문제와 그 부작용의 윤곽을 잡을 것이다 (이것은 [표 1]의 둘째 열에 요약되어 있다). 그러고 나서 우리는 그 문제에 대응하기 위한 다양한 방안들에 대해 장단점을 논의하고 시사점을 살펴볼 것이다 (이것은 셋째 열에 요약되어 있다). [표 1]을 한 줄 한 줄 채워가면서, 우리는 실험적 접근의 세 가지 핵심 요소들을 순서대로 다룬다. 이렇게 함으로써, 우리는 첫째 요소(조작/변화 측면)의 대부분을 정교화한다. 중요한 것은, 우리가 이 논의의 목표를 사회심리학에서의 실험적 접근의 가치를 깎아내리는 데 둔 것이 아니라, 오히려 우리의 중요한 "비법" 이 갖는 숨겨진 결과에 대해서 연구자들을 민감하게 만드는 데 둔다는 것이다.
| 실험적 요소 | 우려점 | 시사점 |
| 조작 | - 변화/수준 혼입 - 시간에 따른 조정 대 누적? - 현저성, 접근성, 기저 수준의 역할? |
→ 변화의 문제를 이론화에 반영하라 → 조작 전에 변인을 평가하라 → 상관 연구 (독립 및 종속 변인의 평가 순서를 다양하게 할 것) → 반복 조작/피험자 내 설계 |
| 무선 할당 | - 무선 할당 대 자기선택의 차이로 인한 서로 다른 심리적 상황 - 특정 상황에 속하는 것과 속하기를 추구하는 것 사이의 차이에 대한 관심의 부족 |
→ 자기선택이 갖는 잠재적 의미를 이론화에 반영하라 → 자기선택이 가능한 조건과 그렇지 않은 조건을 실험 설계에 반영하라 |
| 실험 여건에 대한 통제 | - 일반적 여건과 조작화에 있어서의 편향된 표본 추출 |
→ (특히 리뷰 논문의 경우) 편향된 표본 추출과 그 잠재적 한계점, 그리고 경계 조건을 논의하라 → 표본 크기 확대/개념적 재현 |
[표 1] 실험적 요소에 연합된 우려점들과 그 시사점들의 개관.
1. 실험 요소 1: 독립 변인의 조작
특정 개념에 관심이 있는 연구자들은 그 종속 변인이 다른 여러 변인들에게 영향을 받을 수 있음을 알고 있다. 예컨대, 개인의 부조행동은 방관자의 숫자에도(Darley & Latane, 1968), 돈에 대해서 생각하는지 여부에도(Vohs, Mead, & Goode, 2006), 그리고 그들의 기분이 행복한지 아니면 슬픈지에도(Carlson, Charlin, & Miller, 1988) 영향을 받는다고 정리되었다. 이 접근들의 공통점은 예컨대 기분과 같은 하나의 (또는 다소 적은 수의) 잠재적인 인과적 요인에 먼저 초점을 맞추고, 다음으로 이 잠재적인 인과적 요인을 조작하는 데에, 마지막으로는 초점을 맞춘 인과적 변인이 다른 변인들에 의해 혼입되지 않았음을 보장하는 상태에서 종속 변인의 차이가 앞서의 조작으로 인해 유발되었는지 평가하는 데에 초점을 맞춘다는 것이다. 독립 변인을 조작하기 위해, 연구자들은 이 변인의 특정을 적어도 하나의 실험적 조건으로 변경할 필요가 있다. 예를 들어, 기분을 실험적으로 조작함으로써, 연구자들은 실험 조건에 따라 참가자들의 기분을 더 긍정적이거나 더 부정적인 방향으로 바꾼다. 이렇게 달리함으로써 종속 변인에서 차이가 유발된다면, 인과관계가 추론되는 것이다. 기분과 부조행동 사이의 관계라는 예에 대해서, 이에 상응하는 논의 단락을 읽는 독자들은 "행복한 기분이 부조행동을 증가시킨다" 따위의 진술을 기대할 수 있다. 그러나 이런 결론은, 그것이 실제로는 가용한 경험적 근거를 바탕으로 보장될 수 없을지도 모른다는 점에서 신중히 받아들여야 하는 경우도 있다.
상기했던 예시에서, 어떤 이들은 관찰된 차이가 (a) 부정적 대 긍정적 기분의 절대적 수준에 의한 것인지, 아니면 (b) 기분의 변화에 의한 것인지 궁금할 수 있다. 논의 단락에서 "행복한 기분은 부조행동을 증가시킨다" 고 진술되는 것은 첫째 대립가설을 제안하는 것으로 보이는 반면, 실제 경험적 근거는 변화라는 측면에 내재적으로 연결되어 있을 수 있다. 이 점을 묘사하기 위해, 우리가 기분 조작 이전과 이후에 개인의 기분을 측정했었다고 가정하자. 또한 조작 전에는 두 실험적 조건에서 9점 척도 상의 기분 평균 점수가 5점이 나왔었다고도 가정하자. 더 나아가, 기분의 조작이 성공적으로 이루어져서 조작 후 기분을 평가했을 때에는 긍정적 조건은 모두 2점이 증가하고 부정적 조건은 모두 2점이 감소함으로써, 두 실험적 조건의 평균점수 차이가 4점(3점 대 7점)으로 얻어졌다고도 가정하자. 이제 우리는 두 실험적 조건 사이에서 부조행동에 있어 유의한 차이를 얻었다. 적절한 결론은 무엇일까? 부조행동에서 관찰된 차이가 두 집단 사이의 평균 기분 점수의 절대적 차이를 반영하는가 (3점 대 7점), 아니면 두 실험적 조건 사이의 기분 변화의 유형만을 반영하는가(－2점 대 ＋2점)? 단순히 실험적 발견만을 들여다봐서는 조작의 관찰된 영향력이 높은 수준 대 낮은 수준에 의한 것인지 아니면 변화에 의한 것인지를 확신할 수가 없다. 논의 단락에서 "긍정적인 기분이 부조행동을 증가시킨다" 고 진술하는 것은 첫째 대립가설에 방점을 찍는 것이다. 그러나 실험적 조작에 기초하고 있는 경험적 발견에는 변화의 측면도 내재적으로 연결되어 있음을 인식할 필요가 있다.[2]
흥미로운 것은, 우리의 비법에 내재된 변화의 측면이라는 것이 실험 연구에서 도출되는 이론적 결론에서는 흔히 경시된다는 것이다. 우리 자신의 연구를 예로 들면, 우리는 기분이 어떻게 인지적 처리 전략에 영향을 끼치는지를 탐구한 적이 있다. 그 어떤 경험적 논문에서도 관측된 발견이 기분의 평균 수준의 차이 때문인지 아니면 기분 상태의 변화 때문인지 언급하지 않았다. 심사자들도, 편집자들도 이 문제를 제기했던 적이 전혀 없었다. 느낌에 대해서라면, Schwarz(2012)가 그의 이론화 과정에서 "개인의 느낌의 변화는 상태보다 더 정보적이다"(p. 294)라는 말을 직접적으로 한 적이 있다. 그러나 흥미롭게도, 정보로서의 느낌 이론에서 중요한 이 이론적 요소는 경험적인 수준에서는 대응될 만한 게 거의 없다시피했다. 우리는 수준 대 변화라는 이 쟁점에 대한 논의의 부재가 기분이나 인지 관련 연구에만 그치는 게 아니라 더 일반적일 것이라고 주장한다. 수준을 변화시켜서 구분하는 것이 중요한 이론적 시사점을 갖는 다른 연구 분야들의 예를 조금 들어 보자면, 권력, 자존감, 사회적 지위, 친애 욕구, 고정관념 위협, 또는 불확실성 등이 있다. 지각된 권력이나 사회적 지위의 차이는 지각된 권력이나 사회적 지위의 증감과 심리적으로 동등한 것인가? 자존감의 증가는 외집단 폄하에 끼치는 영향에 있어서 원래부터 높은 수준의 자존감과 유사한 모습을 보일 것인가, 아니면 달라지는 모습을 보일 것인가? 이런 변화 이슈에 대해서 Schwarz(2012)와 같이 이따금 직접적인 진술이 제공될 때도 있지만, 우리는 이 중요한 논점이 이론화에 있어서 (그리고 경험적 연구에 있어서도) 제대로 반영되고 있는 것인가 하는 의구심을 느낀다.
변화와 수준 사이의 잠재적인 혼동이 실험 연구에 내재된 측면이라는 점에서, 몇몇 논점들을 고려할 필요가 있다. 첫째, 변화 대 수준 요소로부터 유발된 실험적 효과가, 조작의 결과가 조정인지 누적인지와 관련하여 서로 다른 시사점을 갖는지 논의하는 것이 필요하다. 둘째, 조정 대 누적의 형태로 나타나는 잠재적 결과가 아닌 기저 메커니즘에 대한 가정으로 넘어가는 것은, 변화 요소가 현저성에 더 밀접하게, 수준 요소는 접근성에 더 밀접하게 연결되어 있으며 이로 인해 실험적 효과의 출현에서 핵심적 역할을 하는 것이라는 주장에 직면할 수 있다. 지금부터 우리는 이 두 측면을 논의하고 그 후 어떻게 이 논점을 이론적이고 경험적인 수준에서 다루어야 할지에 대한 방안으로 넘어가도록 하겠다.
1.1. 변화 대 수준의 결과로서 조정과 누적
이쯤에서 나올 수 있는 한 가지 반론은, 위에서 설명한 바 수준과 변화 간의 혼입이, 문제의 변인이 갖는 심리적 기능을 이해하는 데에는 그다지 중요치 않은 개념적 미묘함일 뿐이라는 것이다. 그러나 우리는 그 반대로 (변화든 수준이든 간에) 실험적 효과의 원천을 식별하는 것이 중대한 시사점을 가지며, 아마도 문제의 변인이 보여주는 결과에 대해서는 장시간에 걸쳐서 가장 직접적일 것이라고 주장하고자 한다.
많은 연구들은 개인이 변화를 탐지하는 데 특히 민감하며 (예컨대, Olson & Janes, 2002), 이러한 예민함과 함께, 변화는 그것이 아무리 사소한 것일지라도 흔히 특정한 영향력을 끼친다는 점을 보여주고 있다. 중요한 것은, 심지어 수준의 차이가 (시작점과 비교할 경우에) 지속되더라도, 이러한 변화의 영향력은 시간이 지나면 흔히 사라지곤 한다는 것이다. 예를 들어, Brickman, Coates, 그리고 Janoff-Bulman(1978)의 연구는 개인의 삶의 환경의 변화가 그들의 삶의 만족도에 영향을 끼친다는 것을 보여주었지만, 그 개인은 새로운 환경에 적응함으로써 그 변화가 가져왔던 초기의 결과는 점차 사라졌다 (관련된 근거로는, Lucas, Clark, Georgellis, & Diener, 2003을 볼 것). 짐작하건대, 개인은 흔히 처음의 "조작" 이 심지어 아직 효과를 끼치는 동안에도 환경적 변화에 적응하는 것일지도 모른다 (예컨대, Frederick & Loewenstein, 1999; Lyubomirsky, 2011). 이 아이디어가 포착된 가장 대표적인 사례로는 아마도 전망 이론이 있을 것인데 (Kahneman & Tversky, 1979), 이것은 효용이 현재 상태와 관련하여 지각되고 평가된다고 말한다. 현재 상태가 변화 이후에 조정된 것임을 고려하면, 변화는 절대적 수준의 영향력과 비교할 때 특별히 강력한 효과를 발휘한다. 이러한 적응 및 조정이라는 관점은, 실험적으로 유도된 변화가 그 지속시간이 다소 짧은 경우가 많기 때문에 그러한 변화가 관찰되었을 것이라고 제안한다. 실험적 절차를 들여다볼 때, 경험적 연구를 진행하는 연구자들이 실험적 조작의 소멸 효과를 의식하고 있다는 점은 쉽게 파악될 수 있는데, 그 이유는 많은 경우 종속 변인의 평가가 실험적 조작 이후 매우 짧은 시간적 지연을 두고 이루어지기 때문이다. 이와 같은 즉각적인 평가로 인해, 조정의 절차가 그 효과를 끼칠 가능성은 낮다.
예상되는 반론 중 흥미로운 것 하나를 언급할 수 있을 것이다. 만일 문제의 특정 변인이 지속적으로 존재한다면, 그 변인이 갖는 효과는 시간이 지남에 따라 약해지는 것이 아니라 오히려 강해질 수 있다는 것이다. 예를 들자면, (a) 개인은 스트레스가 시간이 지나도록 계속 지속될 때 더욱 큰 고통을 받으며, (b) 약하게 불쾌한 상태가 주는 즉각적인 효과는 강하게 불쾌한 상태가 주는 효과에 비해 더 약할지언정 장기적으로는 더 오래, 더 강하게 지속되고 (Gilbert, Lieberman, Morewedge, & Wilson, 2004), 또는 (c) 고정관념에 반복적으로 노출되는 것은 수행 상황에서 그에 대응되는 고정관념 위협을 감소시키는 게 아니라 오히려 증가시킨다.
다양한 연구 영역들을 고려하더라도, 이와 같이 반복적이고 지속적인 조작과 지연된 측정에 관련된 실험적 근거는 드물며, 우리로서도 이러한 잠재적 효과에 관련해서는 다 알지 못한다 (우리는 우리의 주장이 모든 영역들에서 항상 옳지 않을 수 있음을 충분히 인정한다). 실험적 접근에 있어서 변화는 내재적이며 조정과 누적 모두 가능하기 때문에, 특정한 관심의 대상이 되는 변인이 과연 조정되는 것인지 아니면 누적되는 것인지 살펴서 이론화할 필요성이 있어 보인다. 이와 관련하여 van Lange(2013, p. 46)는 최근에 사회심리학 연구에서 "찰나의 시간대" 가 흔히 발견된다는 점을 지적했으며, 또한 그는 이러한 "단기적 영향력"(p. 46)에 대한 강조 때문에 이론적 진전이 그다지 이루어지지 못하는 경우가 많다고 주장했다. 연구자들이 실험적 접근법에 크게 의존한다는 점으로 미루어 짐작하건대, 이 짧은 시간대는 상당한 정도로 만연해 있을 것이다. van Lange의 관찰과 동일하게, 설령 연구자들의 실험적 데이터가 이 문제에 직접적인 결론을 도출하지 않는다 해도, 그들이 최소한 이 논점을 논의라도 한다면 우리는 그것만으로도 이후의 이론적 및 경험적 연구가 촉진될 것이라고 본다.
1.2. 변화의 결과로서의 현저성과 접근성
앞에서 논의했던 바 변화 대 수준 요소의 서로 다른 결과는, 짐작건대 현저성과 접근성이라는 생각에 대한 두 요소의 서로 다른 관계의 결과일 가능성이 다분하다. 심리학적 변인을 변화시킴으로써 그 변인의 현저성 및 접근성은 증가할 것인데, 그 이유는 "변화와 차이는 자극의 절대적 수준에 비해 더 접근성이 높기 때문" (Kahneman, 2002, p. 456)이다. 예를 들어, 개인의 기분을 조작함으로써, 이 변인의 현저성은 아마 증가할 것이다. 개인이 가장 접근성 높거나 혹은 현저한 정보에 초점을 맞춘다는 것을 고려하면, 지금까지 변화하지 않던 중에 변화한 변인은 상황과 비교할 때 영향력을 끼치기가 더 쉬울 것이다. 따라서, 우리는 어떤 변인의 (여기서는, 기분의) 특정한 효과가 전적으로 실험적 조건 사이의 유도된 상대적 차이 때문인지 아니면 증가한 접근성이 그 효과가 나타나기 위한 필요조건인지 명확히 나누어 말하기가 어렵다. 아마도 "바로 그것이야말로 근간이 되는 이론이 말하는 바가 아닌가?" 같은 반론이 나올 수 있다. 실제로 어떤 기저 이론들은 명시적으로 접근성의 생각을 융합시켜서 대응한다. 그러나 우리는 많은 경우에, 비록 대부분은 아닐지언정, 이에 대한 명시적인 토의가 빠져 있다고 생각한다. 다르게 말하면, 우리의 이론들은 흔히 그 관찰된 효과에 대해 상당하게 기여할 것으로 보이는 메커니즘을 명시적으로 다루는 데 실패하곤 한다. 실험적 패러다임에서 접근성이 갖는 역할에 대해, 우리가 고려할 수 있는 질문이 적어도 세 가지 있다: (a) 실험적 조작의 효과성을 확인하는 것이 어떻게 접근성에 영향을 끼치는가? (b) 증가된 접근성이 항상 더 강력한 영향력을 유발하는가? 그리고 (c) 변화의 현저성은 그 독립 변인의 기저 수준과 어떻게 관련되어 있는가? 변화 대 수준 혼입에 대한 가능한 해결책으로 넘어가기 전에, 우리는 이 세 가지 질문들을 먼저 다루고자 한다.
1.2.1. 조작 점검과 접근성
어떤 변인의 증가된 접근성은 단순히 실험적 조작에 관련한 변화로부터 유발되는 것이 아니라 실험 여건에 자주 적용되곤 하는 조작 점검에 의해서도 유발될 수 있다. 대부분의 경우, 변인을 평가하는 것 자체가 그 접근성을 증가시킨다. 이 메커니즘은 실험 집단과 통제 집단 양쪽 모두에게 적용되며, 조작 점검이 흔히 종속 변인의 측정 전에 즉각적으로 이루어지기 때문에 그 영향력도 특히 강하다. 따라서, 심사자들과 편집자들이 흔히 요구하는 바 조작 점검은 문제의 변인의 효과에 영향을 끼칠 수 있다 (예컨대, Kassam & Mendes, 2013; Kühnen, 2010; Sigall & Mills, 1998을 볼 것). 최소한 일련의 연구들을 통해 특정 조작의 효과성이 미리 나타나게 해서라도, 종속 변인의 측정 전에는 조작 점검을 하지 않는 것을 고려할 필요도 있다.[3] 흥미로운 것은, 조작 점검에 대한 응답이 흔히 매개 분석으로 들어가곤 한다는 것이다. 우리의 관점은 독립 변인이 종속 변인에 대해 효과를 갖는 것은 조작 점검으로 인해 그 접근성이 증가되었기 때문이며 조작 점검 없이는 독립 변인의 효과가 덜 두드러지게 나타날 수 있다는 잠재적 위험을 지적하는 데 있다 (그 외에도, Fiedler, Schott, & Meiser, 2011을 볼 것).
1.2.2. 증가된 접근성과 실험적 조작의 효과성
변화와 조작의 존재 간 결합이 접근성을 높여서 효과의 강도 역시 증가시킬 수 있다 해도, 어떤 이들은 지나치게 강한 접근성이 잠재적 효과를 낮출 수도 있다고 주장할 수도 있다. 예를 들어, 점화에 대한 연구는 특정 개념을 지나치게 대놓고 점화하면 좀 더 미묘한 형태로 관찰되는 점화의 효과를 약화시키거나 혹은 심지어 반대로 나타나게 할 수도 있음을 보여주었다 (Lombardi, Higgins, & Bargh, 1987; Martin, 1986 Strack, Schwarz, Bless, Kübler, & Wänke, 1993). 접근성은 개인이 그들의 판단에 있어 원치 않는 오염을 인식하는 데 기여할 수 있으며, 이것은 최초의 효과를 상쇄하는 교정의 과정을 유발시킬 수 있다 (이에 대한 논의로는, Bless & Schwarz, 2010을 볼 것). 따라서, 더 강한 조작은, 그것이 관심의 대상이 되는 변인에 관해서 더 두드러지는 변화와 증가된 현저성이 함께할 때, 적어도 특정 조건 하에서는 더 미묘한 조작에 비해서 약한 효과를 이끌 수 있다. 이 관점에서 보면, 흔히 기저 이론의 더 강한 검증이라고 고평가되곤 하는 미묘한 조작은, 때때로 더 공공연한 조작에 비해서 종속 변인에 대해 더 영향을 끼칠 가능성이 높다. 이런 고려점들은, 이런 효과를 추동하는 것이 증가된 접근성 그 자체가 아니라 오히려 변인에 원치 않는 영향력을 끼치고 교정의 과정을 불러일으키는 실험적 절차의 현저성일 것이라고 짐작되었다는 생각에 의해서 검증되어야 한다 (기분에 관련하여 이 논점을 다루는 문헌으로는, Greifeneder, Bless, & Pham, 2011을 볼 것).
1.2.3. 변화와 기저선 사이의 관련성
현저성과 변화의 결과를 논의할 때, 우리는 실험 연구에 베버-페흐너의 법칙이 적용되는 것은 아닌지 살펴봐야 한다. 베버-페흐너의 법칙에 따르면, 자극들 사이의 차이에 대한 지각은 (즉, 변화의 지각은) 그 자극의 규모에 달려 있다. 주어진 변인의 변화는 그것의 기저선이 높을 때보다는 낮을 때에 더 잘 지각된다. 예를 들어, 1kg 짜리 물건을 들고 있을 때 100g 을 더하는 것은 이미 10kg 짜리를 들고 있는 경우보다 더 잘 탐지된다. 만일 베버-페흐너의 법칙이 실험적 조작에도 적용되는 문제라면, 특정 조작의 결과가 단순히 그 조작의 강도에만 달린 것뿐만이 아니라 관심의 대상이 되는 변인의 시작점의 수준에도 달렸다고 기대해야 한다. 만일 선험적인 수준이 높을 때보다는 낮을 때, 작은 변화도 그 효과를 더 잘 보여줄 것이다. 예를 들어, 흔히 그다지 권력을 갖지 못하고 있던 개인에게 추가적인 권력을 선사해 주게 되면, 이미 강한 권력을 갖고 있던 개인에게 더 많은 권력을 부여하는 경우와 비교했을 때 더 많은 심리적 결과를 나타낼 것이다 (단, 여러 이유들로 인해서 정반대의 가설도 도출될 수 있으며, 이것은 이상의 고려를 하는 것의 잠재력과 중요성을 잘 나타내 보여준다). 유사하게, 연구 시작부터 이미 꽤나 행복하던 사람에게 정동적 상태를 증진시키는 것은 처음에 행복하지 못하던 사람에게 똑같은 증진을 제공하는 경우보다 작은 결과를 유발할 것이다. 다시금 말하지만, 실험적 접근과 밀접하게 관련되어 있는 이 주제를 이론화한 사례는 다소 드물다 (예외적인 사례로는, Maglio, Trope, & Liberman, 2013을 볼 것). 짐작건대, 이런 측면들을 다루는 것은 변인을 탐구하면서 더 나은 이해를 얻는 데 공헌할 것이다.
1.3. 변화-수준 혼입이 갖는 이론적 및 경험적 시사점들
변화의 존재와 절대적 수준에서의 차이 사이에서의 잠재적 혼입에 대해 고려하는 것은 이론적 수준에서나 경험적 수준에서나 몇 가지 시사점과 연결되어 있다. 이론에 관해서는, 우리는 변화의 문제를 직접적으로 다루는 것이 많은 이득이 된다고 믿는다. 기저 이론은 변인의 예측된 결과가 (a) 절대적 수준 때문인지, (b) 변화 때문인지, 아니면 (c) 양쪽 다인지 윤곽을 잡을 수 있다. 이 논의는 특정 변인에서의 유도된 변화의 효과가 얼마의 시간 후[4] 감소하게 되는지 아니면 유도된 변화가 시간이 지남에 따라서 오히려 증가할 수도 있는 장기적 효과를 갖는지에 대한 이론적 논증을 요구한다. 이와 같은 이론화는 결과적으로 조정의 과정을 유발할 수 있는, 그리고 누적적 효과를 야기할 수 있는 변인 간의 변별을 촉진한다. 더 세련되고 정밀한 이론화에 공헌함과 더불어, 이 논점을 다루는 것은 또한 획득된 실험적 발견을 적용적 맥락으로 옮겨 가는 데 큰 도움을 준다. 우리의 주장은, 많은 경우 이러한 적용이 본질적으로 그 효과들이 접근성의 변화에 수반되는지 아닌지, 그리고 조정 또는 누적의 과정이 나타날 것인지 아닌지에 대한 가정을 요구한다는 것이다. 정말로 그렇다면, 이러한 논점들에 대해 우리의 이론들 상당수가 보이는 괄목할 만한 침묵은 사회심리학의 실험적 발견으로부터 이론적 토대를 갖춘 적용을 도출하는 데 있어서 잠재적인 장애물을 형성하게 된다 (이론의 평가와 적용성 간의 관계에 대해서는, van Lange, 2013 또한 볼 것). 예를 들어, 파란 접시일 때보다 빨간 접시일 때 사람들은 덜 건강한 음식을 더 많이 먹는다 (Genschow, Reutner, & Wänke, 2012; Reutner, Genschow, & Wänke, 2015). 대부분의 상황에서 음식이 빨간 접시에 담겨 나오지 않음을 생각해 보면, 여기서의 실험적 조작은 변화로 간주될 수 있다. 따라서, 이 강고한 실험적 효과가 (Bruno, Martini, Corsini, & Oleari, 2013을 볼 것) 만약에 그들이 지속적으로 빨간 (파란) 접시에 음식을 담는다 해도 여전히 관찰될지, 그리고 이러한 접근이 성공적인 식이요법이 될 수 있을지 여부는 불명확하다. 사실, Wänke와 그 동료들 본인들부터가 (Wänke, 개인적 서신, 2015년 7월 2일) 빨간 접시가 개인이 건강한 음식을 먹는 경향에 있어서 지속적인 효과를 유지할지는 불분명하다는 데 동의했다.
이론화에 있어서 변화/접근성 측면에 대해 공개적으로 논의하는 것을 지지하는 것과 더불어, 우리는 이 문제의 일부를 경험적으로 (비록 완전히 해결은 못하더라도) 다룰 수 있는 몇 가지 제안들을 내놓고자 한다. 그 다음에, 우리는 (a) 관심의 대상이 되는 변인의 사전 측정, (b) 상관적 근거의 가능성, 그리고 (c) 피험자 내 반복 조작에 대해서 논의한다.
1.3.1. 관심의 대상이 되는 변인의 사전 측정
하나의 가능한 경험적 접근은 실험적 조작 이전에 핵심 변인들을 평가하는 데 있다. 예를 들어, 먼저 기분을 평가한 후에 뒤이어 기분 조작을 하는 것이다.[5] 그러고 나면 연구자들은 실험적 조작의 영향력을 검증할 뿐만 아니라 수준 측면과 변화 측면을 분리해낼 수도 있게 된다. 조작 전과 조작 후 측정 사이의 차이는 (혹은 변화는) 계산이 가능하며, 어떻게 이 차이가 종속 변인에 연관되는지도 검증할 수 있다. 관계가 존재할까? 만약 실험적 조건을 통해 유도된 평균-수준 차이가 통제되었다면, 그래도 관계가 존재할까? 이 관계의 크기는 실험적 조작의 효과와 비교할 때 어떠할까? 우리는 이런 접근이 그 해석상의 문제를 끌고 올 수 있다는 점을 인정한다. 그럼에도 우리는 그것이 변화와 절대적 수준 측면 사이의 관계에 대해 몇몇 유용한 단서를 제공할 수 있다고 믿는다. 특히, 사전 평가를 진행하지 않는 보통의 절차와 결합했을 때, 이러한 근거는 이론화에 있어 상당한 발전을 이끌 것이다.
1.3.2. 상관적 근거 고려하기
상기 논점을 다루는 또 다른 가능성은 상관적 근거를 고려하는 데 있다. 먼저 인정하자면, 상관적 근거는 해석하는 데 있어 많은 문제가 따르며, 이는 거의 모든 사회심리학 교과서들에서 논의된 바와 같다. 그럼에도, 상관적 근거는 관심의 대상이 되는 변인이 단순하게 측정된다는 점에서 (그리고 조작되거나 변화되지 않는다는 점에서) 변화의 문제를 비껴갈 수 있다. 더욱이, 접근성 측면은 독립 변인보다 종속 변인을 먼저 측정함으로써, 더 좋게는 두 가지 순서를 모두 따름으로써 (게다가 잠재적 순서 효과는 접근성의 역할에 대해서 알려줄 수 있으므로) 다루어질 수 있다. 이와 같은 보완적인 상관적 근거는 강력한 경험적 지지를 제공하며, 추가되고 더 세련된 이론화도 가능하게 한다. 중요한 것은, 이와 같은 관점은 상관적 근거의 역할이 사소하고 열위에 있음을 탓하기 위해서 흔히 나타나는 경향과는 다르다는 것이다 (예컨대, Wilson et al., 2010을 볼 것).
1.3.3. 반복 조작/피험자 내 설계
잠재적인 조정 및 누적의 과정을 다룰 수 있는 또 다른 가능성은 반복 조작이나 반복 측정에 있다. 아마도 가장 직접적으로는, 조정 및 누적의 과정은 시간적 흐름에 따르는 잠재적 효과를 조사함으로써 검증될 수 있을 것이다. 이 목적을 위해서는 종속 변인을 시간에 따라서 반복 측정하는 것이 필요하다. 시계열 분석은 (개관을 위해서는, Velicer & Fava, 2003을 볼 것) 시간에 따라 발생하는 효과와 인과관계를 이해할 수 있게 한다. 단지 종속 변인을 반복적으로 평가하는 것 이외에 다른 대안은 조작을 반복하는 것이다. 동일한 참가자가 동일한 조작에 반복적으로 노출되면, 우리는 최초에 관찰되었던 효과가 유지되는지, 증가하는지, 아니면 감소하는지 검증할 수 있다.
이렇게 보면, 참가자가 동일한 처치에 반복적으로 노출되는 상황과, 서로 다른 독립 변인의 수준에 노출되는 상황을 비교할 수 있다 (피험자 내 설계 대 피험자 간 설계의 통계적, 방법론적, 그리고 이론적 측면에 대한 논의로는, Greenwald, 1976; Keren, 1993을 볼 것). 한편으로, 조작의 반복은 조정의 과정이 가능하게 한다. 다른 한편으로, 독립 변인의 서로 다른 수준을 반복적으로 부여하는 것은 현저성/접근성 측면을 증가시킨다. 가능하다면, 우리는 이 두 종류의 영향력을 경험적으로 비교할 필요가 있다고 보는데, 그 이유는 이 비교가 결과적으로는 이론적 결론으로 이어질 수 있기 때문이다.
예를 들어, 지각적 유창성이 진실 판단에 어떻게 영향을 끼치는지에 대한 연구로서, 참가자들은 유창성이 높거나 낮은 진술들을 반복적으로 제시 받았다 (이를테면, Dechene, Stahl, Hansen, & Wänke, 2010; Hansen, Dechene, & Wänke, 2008; Reber & Schwarz, 1999). Wänke와 그 동료들은 (리뷰에 대해서는, Wänke & Hansen, 2015를 볼 것) 피험자 간에 유창성이 조작되었을 때에도 (즉 모든 시행에서 유창성이 동일할 때에도) 피험자 내에 유창성이 조작될 때와 비교하여 (즉 각 시행에서 유창성이 다양할 때와 비교하여) 진실 판단의 유창성이 영향력을 갖는지 조사하였다. 상기한 추론을 대입하면, 피험자 내 설계는 상대적으로 유창성의 현저성을 증가시키는 반면, 피험자 간 설계는 반복의 횟수가 증가함에 따라서 조정의 과정을 더욱더 유발시킨다. Hansen과 동료들(2008)은 피험자 내 설계에서 진실 판단에 유창성이 끼치는 효과에 대한 숱한 보고들을 관찰했다. 그러나 참가자 간에 유창성이 조작되었을 때, 진실 판단에 끼치는 유창성의 효과는 작거나 아예 없었다. Wänke와 Hansen(2015)은 이에 대해서 "내적 상태의 변화는 흔히 더 알아채기 쉬우며, 아마도 그 상태의 절대적 수준보다는 그 환경에 대한 진단적 단서와 더 관련이 깊을 것" 이라고 주장했다 (p. 195; 그 외에도, Shen, Jiang, & Advaval, 2010도 볼 것). 이 결론의 기저에서, Wänke와 Hansen은 유창성이 어떻게 판단과 의사결정에 영향을 끼치는지에 대한 세련된 이론화를 제공했는데, 이것은 피험자 간 설계 대 피험자 내 설계 사이의 반복 조작을 비교하는 것에 대해 많은 것을 배울 수 있다는 점에서 우수하다 (피험자 간 설계 대 피험자 내 설계에 대한 더 많은 발견으로는, Crawford, Kay, & Duke, 2015를 볼 것. 또는, 결합 평가 대 분리 평가에 관한 개념적 프레임워크에 대해서는, Hsee, Blount, Loewenstein, & Bazerman, 1999를 볼 것).
피험자 내 설계 대 피험자 간 설계의 비교는 간접적으로는 지각된 변화가 다양한 출처를 가질 수 있다는 가능성과도 관련되어 있다. 이 관점에서, Wänke & Hansen(2015)는 변화가 사전의 상태에서 (이를테면, 그 마지막 문항은 읽기 쉬웠다거나) 유발되었을 수도 있지만, 한편으로는 통상적으로 기대되는 것에서 (이를테면, 사람들은 광고 문구가 읽기 쉬울 거라고 기대한다거나) 유발되었을 수도 있다고 주장했다. 후자의 논점은 실험 중에 참가자들의 행동을 이해하고 해석하기 위해서 연구자는 그들의 경험적 조작이 흔히 기대되는 것과 어떻게 달라지는지에도 신경을 써야 한다는 점을 강조한다. 그러나 많은 경우, 문제의 변인이 어떻게 실험실 밖에서 분배되는지에 대해서는 불행히도 알려진 것이 거의 없다. 우리의 참가자들이 보통 행복한 기분인지 아니면 보통 슬픈 기분인지, 일상에서 권력을 경험하고 있는 것인지, 음식이 주로 빨간 접시에 담겨 나오는 것인지, 우리가 이득 프레임의 상황보다는 손실 프레임의 상황에 더 많이 처하는지 등이다. 참가자들의 실험실 밖 또는 심리학적 실험이 무엇인지에 대한 그들의 통념으로부터 유도된 바 암묵적이거나 명시적인 기대에 의존하여, 똑같은 실험적 조작도 완전히 다른 효과를 낳을 수 있다.
우리는 변화/조정 논점이 모든 실험적 조작에서 동일한 정도로 문제가 되지 않을 수 있음을 충분히 인정한다. 우리의 제안은 넓은 의미의 실험적 조작이 개념들을 활성화시키는 데 연결되거나 (이를테면, 사회적 규범이나 고정관념, 공격성 개념, 일화적 기억 등을 활성화시킬 때) 또는 실험적 조작이 심리적 경험을 (이를테면, 기분, 유창성, 불확실성, 조절 초점 등을) 변화시키고자 설계되었을 때에 한해서는 특히 변화 논점이 중요하다는 것이다. 만약 참가자가 상당한 다양성이 조작되는 상황에 빈번히 노출되는 환경적 특성에서라면 이 논점은 덜 중요할 것이다. 예를 들어, 대상이 되는 개인의 신체적 외모가 조작되고 그 이후 지각된 주체성 특질과 공동성 특질을 평가하는 경우에는, (최소한 피험자 간 설계일 경우에) 변화 측면은 덜 중요해 보인다.
이 단락의 논의는 변화/조정 논점을 이론적 수준에서건 경험적 수준에서건 다루는 것이 가능하다는 것이다. 그러나 이 논점이 자주 과소평가되거나 도외시되는 것으로 보이기 때문에, 사회심리학뿐만 아니라 다른 심리학 연구분야에서 이론화를 할 때에는 이 주제에 더 많은 관심을 기울이는 것이 매우 유익할 것이다.
2. 실험 요소 2: 무선 할당
실험적 절차에 있어서 참가자를 실험적 조건에 무선 할당하는 것은 핵심적 요소이다. 이 무선 할당은 (일단 성공한다면) 그 실험적 조건이 조작을 가했는지 여부에만 따라 달라지며 서로 다른 실험적 조건에 할당된 참가자들이 다른 변인에 의해서 체계적으로 달라지지 않는다는 점을 보장한다. 이처럼 잠재적인 상황적 영향력이 각 조건들에 고르게 분배됨으로써 (즉, 상황적 효과가 계산에 있어 오차항의 기초로서 제공됨으로써) 통제되기 때문에, 실험자는 실험적 조건을 비교함으로써 상황적 인과성을 평가할 수 있다. 다시 말하면, 무선 할당은 종속 변인에 대한 실험적 조건 사이의 차이가 조작을 가한 독립 변인 이외의 다른 변인에 의해서 발생하는 것을 막는다.
비록 연구자들이 사람에 의한 원치 않는 효과를 없애기 위해서 무선 할당을 사용하기는 하지만, 그들은 그와 동시에 개인의 행동이 사람과 상황의 함수라는 것 역시 알고 있다 (Lewin, 1935; 1951). 오랜 세월 동안, 사람과 상황의 상호작용에 대한 탁월한 논의가 이어져 왔으며 (예컨대, Bowers, 1973; Buss, 1979; Funder, 2008; Kihlstrom, 2013), 이들은 순전히 상황적이거나 순전히 성향적인 설명이 갖는 한계점에 대해 논의했다. 비록 이 상호작용의 정확한 본질이 (예를 들면, 동적 대 정적) 그 기저 모형에 따라 달라질지는 모르지만, 이 두 요소 중 하나를 제거하거나 무시하는 방법론적 접근이 그들의 연결된 상호작용적 영향력을 포착할 수 없음은 명백하다. 이 일반적 가정에 기초하여 무수히 많은 사회심리학적 실험들이 사람 요인을 포괄하였고, 이를 통해서 개인의 성향이 상황적 영향력의 크기 내지 심지어는 방향까지도 거의 대부분 조절할 수 있음을 나타내 보였다.
사람과 상황이라는 논쟁과 별개로, 무선 할당의 심리학적 결과에 대해 추측해 보는 것도 중요하리라 보인다. 이를 위해서, 우리는 개인이 왜 특정 상황에 직면하게 되는지 들여다보았다. 여기에는 적어도 세 가지 다른 이유가 있어 보인다. 첫째로, 개인은 우연히 상황에 직면하곤 하며, 어쩌면 심지어 그들의 의향에 반하여 직면하게 되기도 하는데, 이는 무선 할당 절차와 맞아떨어지는 상황이다. 예를 들어, 권력의 결과를 알아보는 실험에서, 개인은 권력이 있거나 혹은 없는 상황에 무선 할당된다. 둘째로, 개인은 여러 선택지들을 갖고 있으며, 자신이 직면하기를 원하는 상황을 원치 않는 상황들 사이에서 선택할 수 있다. 예를 들어, 선택의 기회를 제공받았을 때, 어떤 개인은 권력을 갖는 상황을 선택하는 반면 다른 개인은 권력이 없는 상황을 선택할 수 있다. 셋째로, 많은 일상적 상황에서는, 개인은 상황에 할당되지도 않으며 그들이 원하는 특정 상황을 선택하지도 않는다. 개인은 흔히 특정 상황에 이르기 위해 노력해야 하고, 그 상황으로 이끄는 특정 활동에 관여해야 한다. 실험적 연구는 어떻게 무선 할당이 (즉, 능동적인 추구와 비교했을 때) 획득된 발견을 해석하는 데 있어서 영향을 끼칠지에 대해 놀랍도록 침묵을 지킨다. 이것이 흥미로운 이유는, 어떤 상황에 속해 있다는 것이 때로는 그 상황에 속하기 위해 애쓰는 것과 정반대의 효과를 불러일으킬 수 있기 때문이다. 예를 들어, 권력의 결과에 관련된 실험 연구들은 개인이 고권력 또는 저권력 상황에 무선 할당되었을 때 고권력이 저권력보다 더 긍정적 정동을 이끈다는 것을 보여준다 (Keltner, Gruenfeld, & Anderson, 2003; Kifer, Heller, Perunovic, & Galinsky, 2013). 그러나 개인은 그들의 권력 추구와는 무관하게 무선 할당에 의해서 권력을 부여받은 것이다. 다른 연구에서는 반대로, 권력에 대한 추구가 부정적 정동과 연합되어 있다는 것을 제시했다 (예컨대, Emmons, 1991). 우리가 이 두 발견의 세트를 하나로 엮는다면, 단순히 속하는 것과 손에 넣는 것 사이에는 큰 차이가 나타날 수도 있다.
2.1. 이론적이고 경험적인 시사점들
우리의 많은 이론들은 이번에도, 개인이 각 상황들을 스스로 선택할 수 있는지 그렇지 못한지의 여부와 무관하게 특정 변인이 영향력을 행사할 수 있는지의 여부에 대해서 침묵을 지킨다. 대부분의 근거들이 무선 할당의 요소를 품는 실험적 연구에 기반하고 있음을 고려하면, 그 암묵적 가정은 (자기선택법에 비해서) 무선 할당과 그에 상응하는 심리적 결과가 특정 변인의 효과에 영향을 끼치지 않는다는 데 있어 보인다. 비록 무선 할당과 자기선택법 사이의 구분이 의미가 없는 경우가 많다는 사실을 우리가 충분히 인정하기는 해도, 우리는 이 구분법이 중요해지는 많은 상황들이 있다고 추정한다. 그렇다면, 이 논점을 이론화하는 것은 의미가 클 것이다.
이론적 분석에 따르면 관심의 대상으로서 주어진 변인에 있어 무선 할당과 자기선택법이 결정적인 역할을 수행한다는 결론이 나온다고 가정해 보자. 그렇다면, 두 조건 사이에서 얻어진 발견을 서로 비교하는 것이 흥미로울 것이다 (인정하건대, 각각의 "실험적" 조건이 참가자들에게는 너무 매력이 없어 보여서 자발적으로는 선택할 리가 없다는 이유로 자기선택법이 거의 불가능한 경우도 있을 것이다). 예를 들어, Gaines & Kuklinski(2011)는 이와 같은 접근의 가능성과 문제점을 정교화했다. 요점은, 그들이 참가자들을 무선 할당 조건 또는 자기선택 조건 사이에서 무선 할당할 것을 제안했다는 것이다. 무선 할당 조건에서 실험자는 참가자들을 실험적 조건 중 하나로 무선 할당한다. 자기선택 조건에서 참가자들은 그들이 선호하는 조건을 선택할 수 있다. Gaines & Kuklinski(2011)는 어떻게 부정적인 정치적 캠페인이 정치인에 대한 평가에 영향을 끼치게 되는지의 의문에 대해서 이상의 접근법을 적용했다. 흥미로운 점은, 부정적 캠페인이 통제 집단과 비교할 때 상당히 다른 효과를 나타냈다는 것인데, 이는 참가자들이 부정적 캠페인 조건에 할당되었는지 아니면 그들 자신이 부정적 캠페인의 요소를 제공받기를 선택했는지에 따라 달린 것이었다. 우리의 주장은, 이와 같은 비교의 결과가 실험적 여건의 준비물들이 (여기서는 무선 할당이) 주어지지 않는 상황에 사회심리학을 적용할 때 강력한 공헌을 한다는 것이다. 다시 말하면, 순전히 실험적 절차에만 의존하지 않는 것은, 실험적 접근법에만 내내 천착하는 것에 비해서, 때때로 우리의 지식과 이론화를 더 잘 진전시킬 수 있다.
3. 실험 요소 3: 실험 여건에 대한 연구자의 통제
실험 연구의 또 다른 핵심 요소는 연구자가 실험 여건에 대해 완전한 통제권을 갖고 있다는 것이다. 연구자는 독립 변인을 어떻게 조작할지와 종속 변인을 어떻게 평가할지를 선택한다. 그들은 실험적 조작과 잠재적 효과의 평가 사이의 간격을 결정하며, 전체를 한데 모을 수 있는 표지 기사를 선정한다. 더 나아가, 그들은 독립 변인의 영향력과 함께 출현할 수 있는 다른 변인들의 영향력을 제거하거나 최소한 줄일 수도 있다.
이상적으로 보면, 조작화의 선택은 각각의 조작과 평가가 기저 이론에 있어서 얼마나 대표적인지에 의해 이루어진다. 그러나 그것은 실제로는 일반적인 여건과 조작화의 표집 과정에서 체계적인 편향을 일으킬 수 있다고 짐작된다 (Fiedler, 2011을 볼 것). 사실, 이 문제는 지난 몇십 년 동안 계속해서 제기되어 왔었다. McGuire(1973)는 자신의 이론에 확신을 갖고 있는 연구자들이 어떻게 그들의 조작화를 (여건, 독립 변인, 종속 변인, 기타 등등) 기대되는 효과가 마침내 관찰될 때까지 몇 번이고 반복하면서 최적화하게 되는지를 묘사했다 (이에 대한 논의로는, Greenwald, 1975 또한 볼 것). 더 최근에는, Fiedler(2011)가 이러한 선택 혹은 표집 편향이 연구 설계나 변인, 측정, 수행된 분석 등의 측면들을 포함한다고 지목한 바 있다. 만일 실험적 조작화가 흔히 기저 이론의 편향된 표본을 표상한다면, 이론적 수준에서나 경험적 수준에서나, 어떻게 편향된 표본 추출의 문제를 다룰 것인가가 중대한 논점이 된다.
우리가 실험 여건의 전구유형적 측면을 들여다보았을 때 편향된 표본 추출 문제는 더욱 명확해진다. 예를 들어, 연구자들들은 상당한 가단성을 지닌 새로운 판단적 대상을 선호하며, 또한 개인적 결과에 거의 혹은 아예 연결되지 않은 가설적 시나리오 및 판단 혹은 의사결정에 자주 의존하는 것처럼 보인다. 변화에 대한 단락에서 묘사했듯이, 조작과 그 효과에 대한 평가 사이에는 상당히 짧은 간격이 존재한다. 흔히들, 조작 점검은 종속 변인의 측정보다 선행하므로, 따라서 조작된 구성에 대한 접근성을 증가시키게 된다. 많은 경우에 사회적 상황에 대한 정보는 언어적으로 전달되며, 사회적 상황을 다룸에도 불구하고 실제로는 다른 사람이 존재하지 않는다. 더욱이, (실험실) 실험 참여에 동의함으로써, 참가자들은 대개 실험자에게 일정 시간 동안 협력하기로 (어디까지나 협력일 뿐, 우리는 요구 효과를 공개적으로 거론하고 있지 않다. 이에 대한 논의로는, Bless, Strack, & Schwarz, 1993을 볼 것) 동의하는 셈이다. 그러고 나서, 실험 여건은 흔히 다른 화성화된 동기화와 목표들을 제거하거나 줄이게 된다. 그 결과로, 그 독립 변인은 일종의 동기화의 진공 속에서 영향력을 행사하는 것이다. 인정하건대 상기 묘사와 사뭇 다른 많은 연구들이 있을 것이며, 예를 들면 개인이 다른 사람들과 실제로 상호작용하는 연구나, 개인이 실제로 개인적 결과를 지각하게 되는 연구가 있을 것이다. 그러나 우리는 일반적으로 보면 상기 특성이 실험적 사회심리학 연구에서 매우 자주, 그리고 지배적인 요소로서 나타난다고 제안한다.
3.1. 이론적이고 경험적인 시사점들
상기 요소들 중 상당수가 독립 변인의 효과에 기여하는 것은 명확해 보인다. 다시 한 번, 우리는 실험적 접근이 잘못된 해석을 이끈다고 주장하려는 것이 전혀 아니다. 그러나 우리는 실험의 힘에 의지함으로써 우리가 흔히 자신의 결론을 위한 편향된 표본 추출이 갖는 시사점을 일반적 수준에서나 이론적 수준에서나 경시하곤 한다고 제안한다. 사실, 영가설에 대한 거부는 흔히 "X가 Y에게 영향을 끼친다" 는 귀납적 추론으로 이어진다 (영가설 검정의 논리에 대한 일반적 논의로는, Krueger, 2001을 볼 것). 잠재적인 조절 변인들이 흔히 다루어지지만, 어떻게 실험자가 연구 여건을 선택하고 만들어내는지에 대한 일반적 문제에 이 조절 변인들이 연결되는 경우는 거의 없다. 다시 말해, 설계 및 조작화에 있어서의 선택적 표본 추출에 대한 논의는 흔히 간과된다.
편향된 표본의 형성을 숨김으로써, 우리는 기저 이론의 한계와 경계 조건을 놓치고 있는지도 모른다. 이 논점을 다루는 것은 기저 이론의 정확성을 높일 것이며, 이것은 이론의 평가에 있어 핵심적인 요소가 된다. 인정하건대, 이런 측면을 명확히 하는 것은 한편으로는 간명성과 일반성을 낮추게 되기도 한다 (이 논점에 대한 논의로는, Gawronski & Bodenhausen, 2015를 볼 것). 더욱이, 모든 실험들의 잠재적 한계와 경계 조건을 다루는 것은 길고 오래 걸리는 노력이 되기도 하며, 우리는 모든 각각의 실험들에 대한 조작화와 설계의 표본 추출에 대한 포괄적인 논의를 옹호하는 것이 아니다. 그럼에도 일반적으로는, 특히나 이론이 리뷰의 형식으로 제시될 때에는 (예를 들어, 리뷰 논문의 투고를 받고 있는 실험사회심리학발전, 심리학검토, 유럽사회심리학검토 등의 학술지) 이 측면에 더 많은 주의를 기울여야 한다. 우리가 주장하는 것은, 이런 리뷰 시리즈를 읽는 일반적인 독자들은 이러한 이론적 고려를 원래 바람직한 정도만큼 자주 하지는 않는다는 것이다.
경험적으로 보아, 동일한 연구 질문을 다루는 다양한 방법들, 설계들, 그리고 조작화들을 적용함으로써 경험적 지지를 넓히는 것이 가장 효과적이다 (자극 추출의 중요성에 대한 논의로는, Wells & Windschitl, 1999; Westfall, Judd, & Kenny, 2015를 볼 것). 상기 관점으로 미루어 보면, 최초 관찰된 효과가 실험적 절차의 어떤 알려지지 않은 측면 때문에 잠재적으로 유발되었던 것인지 여부를 개념적 재현이 다룰 수 있기 때문에 장기적으로 매우 유용한 답이라는 것이 분명해 보인다 (직접재현과 개념재현 간의 논의에 대해서는, 이를테면 Stroebe & Strack, 2014; 그 외에도 Brandt et al., 2014; Cesario, 2014; Lykken, 1968; Schwarz & Strack, 2014를 같이 볼 것). 개념재현이 상황의 표본 추출을 넓히는 데 적합한 해결책인 반면 (그 사례로는, Stroebe & Strack, 2014를 볼 것), 추가적으로 우리는 서로 다른 개념적 재현이 그 실험의 일반적 측면을 서로 너무 많이 공유하지 않도록 하는 것이 중요하다는 것을 강조한다 (개념재현을 지지하는 사례로는, Schwartz, 2015를 볼 것). 우리 연구 분야를 이끄는 최고의 학술지들에서 보고되는 실험 연구들을 좀 더 자세히 살펴보면, 마치 어떤 측면들은 실험 여건을 막론하고 늘 똑같은 것마냥 보이며, 심지어 그 연구들이 개념재현이라 불릴 만한 범주에 들어가는 경우에도 그렇다.
실험자의 통제력에 대해 인정함에 있어 중요한 것은, 실험 여건과 참가자의 추출이 또한 효과 크기의 해석에 있어 시사점을 갖는다는 것이다. 효과 크기는 예를 들어 특별히 강력한 조작을 할 때에도 증가할 수 있다. 설득 연구를 예로 들면, 논증의 질적 측면의 효과는 어떤 논증이 선택되는지에 대한 직접적인 함수이다. 더 나아가, 효과 크기는 실험자가 외부로부터의 소음의 변동이 없도록 한다거나 혹은 표본이 (이를테면 연령이나 배경 등에 있어) 이질적이기보다는 오히려 동질적이도록 하는 등, 더 많은 통제를 가할 때에도 증가한다. 따라서, 효과 크기는 또한 연구자가 실험 도구, 여건, 그리고 참가자들을 어떻게 추출하는지에 대한 함수이기도 하다. 여러 연구들 간에 효과 크기를 비교해 보면, 핵심적인 해석은 늘 관심의 대상이 되는 서로 다른 변인들 간의 개념적 차이에 달려 있는 듯 보이는 반면, 그 조작화의 선택 과정은 덜 자주 논의되곤 한다. 더욱이, 상기 논의했던 이유로 인해, 실험실에서의 실험으로 얻어진 효과 크기는 흔히 응용적 여건에서의 효과의 강도에 대해서는 별 의미가 없게 된다. 대부분의 경우, 실험실에서의 실험은 변인들 간의 상관관계가 존재하는지에 대한 근거를 제공하기 위해서 설계되지만, 바깥 세상에서 그 관계의 강도가 어느 정도일지에 대해서는 꼭 정확히 알려주는 것만은 아니다.
다시 말하지만, 우리는 실험적 접근이 잘못된 해석으로 우리를 이끈다고 주장하려는 것이 전혀 아니다. 그러나 우리는 실험의 힘에 의지함으로써 우리가 흔히 자신의 결론을 위한 편향된 표본 추출이 갖는 시사점을 일반적 수준에서나 이론적 수준에서나 경시하곤 한다고 제안한다.
4. 일반적 결론
이 글에서 우리는 실험적 접근의 핵심 요소로서 조작과 무선 할당, 그리고 실험 여건에 대한 실험자의 통제를 논의했다. 우리의 주장은 이런 요소들이 실험적 절차 속 수많은 장점에 공헌함에도 흔히 간과되곤 하는 부작용들과 잠재적으로 연결되어 있다는 것이다. 중요한 것은, 우리의 논의가 문헌의 다른 곳에서 논의되었던 바 실험 진행의 구체적인 과정의 맥락적 세부사항에서 기원하는 것이 아니라 (개관을 위해서는, Nichols & Edlund, 2012를 볼 것) 그 실험적 절차의 핵심 요소들로부터 기원하는 부작용들에 초점을 맞추고 있다는 것이다. 이 관점에서, Klein 등(2012)을 예로 들면, 실험적 발견을 해석할 때 실험이 처한 사회적 맥락을 고려하는 것의 중요성을 강조하고 있다. 우리의 최종적 논의에서, 우리는 범위를 확장시켜서 이 글에서 제기한 요점들이 이론화, 경험적 연구, 그리고 출판 시스템의 구조적 측면에 갖는 시사점들을 짚어본다.
그 어떠한 경험적 연구든 간에 한계와 제약이 있다는 데에는 의심의 여지가 없다. 어떠한 연구든, 그것이 실험 도구를 선별하고 참가자들을 선택하여 정해진 시간에 평가를 진행하는 한, 제약이 걸린 상태로 진행되는 것이다. 우리의 핵심적인 우려 중 하나는, 연구자들이 그들이 획득한 발견을 토대로 이론적 결론으로 이동할 때 이런 제약들이 거의 고려되지 않는다는 것이다. 부분적으로 이것은, 귀납적 접근법으로 인해, 자료가 어떻게 획득되었는지에 대한 제약이 논의되는 경우는 특정 제약이 발견된 내용에 영향을 줄 것이라는 설득력 있는 가정이 존재하기 때문이라고 짐작된다. 예를 들어, 대부분의 실험실 연구는 일요일에 진행되지 않는데, 이는 정동적 상태가 인지적 처리과정을 조절하는 방식에 주말이라는 날짜가 그다지 영향을 끼치지는 않으리라 생각하기 때문이다. 우리는 상기 주말이라는 예시와는 다르게, 실험적 접근의 핵심 요소들은 흔히 추가적인 논의를 필요로 한다고 제안하고자 한다. 변화는 효과를 관찰하기 위한 중요한 조건 내지는 필요조건이 되는가? 그 효과는 기저의 구성에 대한 접근성이 증가될 때 나타나는가? 참가자들이 각각의 상황을 스스로 선택하는 경우에도 효과는 관찰될 것인가? 실험적 조작의 효과는 얼마나 오래 지속되는가? 조작이 반복되거나 혹은 지속적으로 유지될 때 누적 또는 조정을 기대할 수 있는가? 이런 논점들이 실험적 접근에 밀접하게, 그리고 부분적으로는 불가피하게 연결되어 있음을 고려하면, 우리의 이론이 이들 질문들에 대해 드러내는 근시안은 놀랍기까지 하다. 우리는 이런 질문들을 이론적 수준에서 다룸으로써 그 기저 이론과 관련된 실험적 자료를 더 잘 해석하게 될 수 있다고 제안한다. 나아가 암묵적인 가정을 명시적이고 검증 가능하게 만드는 것은 이론을 세련되게 하고 날카롭게 만들 수 있는데, 이것은 van Lange(2013)가 심리학 이론 평가의 핵심 기준으로 논의했던 것이다.
우리의 논의에서 우리는 실험과 그 기저 이론 사이의 관계에 초점을 맞추었으며, 흔히 이 관계는 '내적 타당도' 라고 불린다. 그럼에도 불구하고, 분명한 것은 우리의 분석의 시사점이 또한 외적 타당도에도, 그리고 실험적 발견이 어떻게 일반화되고 실험실 밖 여건에까지 적용될 수 있는지에도 관련이 있다는 것이다. 잠재적 적용은 우리의 이론이 그들의 경험적 지지가 제약되는 경우에 대해 놀랍도록 침묵을 지키게 되는 환경에 직면하게 된다. 결과적으로, 가능한 '적용' 은 '이론적' 질문을 해소할 필요가 있다. 예를 들어, 적용을 할 때에는 동일한 참가자에게 동일한 조작이 반복되는 경우 특정 효과가 감소할지 혹은 누적될지에 관련된 (이론적) 질문에 대응하고 그것을 해소할 필요가 있다. 적용이 우리의 현재 토의의 핵심적 주제인 것은 아니지만, 그럼에도 우리는 제한적 (혹은 비제한적) 조건을 융합하여 우리의 이론을 개선하는 것이 사회심리학 연구의 더 나은 적용에 공헌할 수 있다고 강하게 믿는다 (이론 평가의 기준점으로서 적용 가능성에 대한 논의로는, van Lange, 2013을 같이 볼 것).
그래서, 우리가 이것을 모르고 있는가? 우리가 제약된 조건 하에서 우리의 이론을 검증한다는 것을 우리가 모르는가? 당연히 우리는 알고 있다. 하지만 우리는 어떻게 이런 제약들이 우리의 이론화에 연결되어 있는지에 대해 명백하게 표명하는 데 자주 실패한다. 여기서 우리는, 경험적 연구 논문들에 이런 논의가 다소 적고, 리뷰 논문에서도 체계적인 논의가 부족하다고 본다. 더욱이, 이런 논점들에 대한 체계적인 논쟁은 실험법을 소개하는 경우에는 진행하기가 어렵다 (이를테면, Wilson et al., 2010). 이 글에서 중요한 것은 우리가 비법(즉 실험적 접근)을 내려놓자고 제안하는 것이 아니라, 그 대신에 지배적 연구 접근법이 갖는 잠재적인 부작용에 대해 더 민감해져야 한다고 강조하는 것이다.
우리의 논의는 우리가 개괄했던 바 경험적 연구에 있어 몇 가지 시사점을 갖는다. 일반적으로, 실험적 접근에서의 제약이 획득된 결과에 영향을 끼치는지 여부를 경험적으로 검증할 필요성이 있어 보인다. 연구에서 획득된 발견이 실험 도구 및 여건에서의 원치 않는 혹은 의도적인 선별적 표본추출 때문에 나타난 것이 아님을 보여주는 데 있어서 개념적 재현은 핵심적이다 (Fiedler, 2011; Greenwald, 1975; Schwartz, 2015를 볼 것). 중요한 것은, 획득된 발견이 최초의 효과를 지지하거나 혹은 대립되거나의 여부와는 무관하게 개념적 재현이 의미 있다는 것이다. 성공적인 개념적 재현이 기저 이론에 대한 신뢰를 높이는 반면, 성공적이지 못한 개념적 재현은 가설적 효과를 조절하는 변인을 제시하며, 나아가 기저 이론을 더욱 세련되게 개선시킨다. 개념적 재현의 중요성을 고려하면, 우리의 연구 영역은 새로운 이론을 도입하는 것과 더 오래 된 이론의 잠재력과 한계점들을 검증하는 것 사이에서 균형을 잡아야 한다 (관련된 주장에 대해서는, Fiedler, 2004; Kruglanski, 2004를 같이 볼 것).
상기한 분석이 제안하는 바는, 몇몇 개념적 재현들이 완전히 실험실 밖에서 진행된다면 많은 도움이 되리라는 것이다. 아이러니하게도, 열위에 있다고 흔히 간주되는 근거들이 이 문제를 해결할 수도 있다. 예를 들어, 가설적 효과에 대해서 두 건의 실험 및 한 건의 상관 연구를 진행하는 것보다 세 건의 실험 연구를 진행하는 것이 일견 더 나아 보일 수 있다. 그러나 우리의 논의에 따르면, 실험적 접근으로는 제대로 다룰 수 없는 논점들을 상관 연구가 조명할 수 있다.
현재 우리의 분야는 잠재적인 사기나 직접재현의 문제, 혹은 p-해킹 문제와 같은 여러 논란들로 고생하고 있다. 이들 논점들 모두가 공통적으로 공유하는 우려는, 보고된 발견들이 기저 이론에 비추어 결정적이냐는 것이다. 우리의 분야에서 나타나는 의심스러운 연구 관행들에 대한 현재의 두드러지는 논의에 비추어 볼 때, 이 글은 적절하게 수행된 실험에서 제기되는 해석 상의 문제에 대해 더 자세히 들여다보는 것 또한 매우 중요할 수 있다는 생각을 견지한다.
[1] 사회심리학이라는 우리의 배경을 고려할 때, 비록 실험의 일반적인 논리가 사회심리학 연구에만 제한되는 것이 아닐지라도, 우리는 일차적으로 사회심리학의 관점을 취해서 실험적 접근의 잠재적인 부작용을 다루고자 한다.
[2] 중요한 점은, 극단적 사례에서 우리는 심지어 정반대의 시사점을 발견할 수도 있다는 것이다. 긍정적 기분 조건에서의 일부 참가자들이 2점이라는 상당히 낮은 점수로 시작했으며, 조작으로 인해 그들의 기분이 4점으로 증가했다고 가정하자. 그리고 한편으로는, 부정적 기분 조건의 일부 참가자들이 8점이라는 상당히 높은 점수로 시작했으며, 조작으로 인해 그들의 기분이 6점으로 감소했다고 가정하자. 이 두 하위 집단에 대해서는 변화와 수준의 관점이 정반대의 시사점을 갖게 되는데, 그 이유는 더 낮은 절대적 수준이 증가와 연합되었고, 더 높은 절대적 수준이 감소와 연합되었기 때문이다.
[3] 중요한 점은, 우리가 완전한 제거를 옹호하지 않는다는 것이다. 우리는 오히려, 조작 점검이 적용되었을 때와 적용되지 않았을 때의 독립 변인의 영향력을 비교할 것을 제안한다. 만일 서로 다른 효과가 얻어진다면, 연구자는 그때 그들의 기저 이론의 결과에 대해서 고민할 필요가 있다.
[4] 시간에 따르는 감소에 있어 몇 가지 유형이 존재한다는 것은 생각의 여지가 있다. 첫째로, 관찰된 효과는 개인이 새로운 수준에 맞추어 조정되었기 때문에 감소했던 것일 수 있다. 예를 들어, 개인은 직업 활동에서 승진 등으로 인해 더 많은 권력을 부여받지만, 그 새로운 상황에 맞추어 스스로를 조정함으로써, 더 높은 수준의 권력은 (그것이 여전히 주어져 있음에도 불구하고) 그 사람의 생애 만족도에 끼치던 영향력을 상실할 수 있다. 둘째로, 최초의 변화는 (이를테면, 영화 관람과 같은 이유로 인해 증가된 기분의 수준은) 단지 일시적이기 때문에 그 선행적 변인은 (여기서는, 기분의 더 높은 수준은) 시간이 지나면 더 이상 유지되지 않을 수 있다. 셋째로, 동일한 조작이 반복되면 습관화가 유발되어 그에 대응되는 심리적 상태를 불러일으키지 못할 수 있다.
[5] 우리는 핵심적 변인의 사전 평가가 항상 가능하지는 않다는 것과, 그것이 참가자들의 추가적인 주의를 끌어서 결국 실험 조작의 영향력을 감소시키거나 증가시킬 수 있다는 것을 인식한다.
역자 코멘트
실험적 조작을 통해서 지각된 권력이 '높아진' 참가자의 심리는, 원래부터 '높은' 권력을 만끽하는 현실 속 권력자들의 심리와 같다고 장담할 수 있겠는가? 이런 문제로 골머리를 앓아 본 사회심리학도에게는 위의 논의가 큰 도움이 될 것이다. 위와 같은 진지한 고민을 하는 문헌이 있는 한, 우리의 실험은 준실험이 아닐 수 있는 것이며, 사회심리학도로서 우리는 분명히 자부심을 가질 수 있다.