mir.pe (일반/어두운 화면)
최근 수정 시각 : 2024-10-18 20:55:58

블라인드 테스트

맹검법에서 넘어옴
<colbgcolor=#000> 과학 연구 · 실험
Scientific Research · Experiment
{{{#!wiki style="margin: 0 -10px -5px"
{{{#!folding [ 펼치기 · 접기 ]
{{{#!wiki style="margin: -6px -1px -11px" 		<colbgcolor=#000><colcolor=#fff><rowcolor=#000,#fff> 배경 과학적 방법
기반 수학( 미적분학 · 선형대수학 · 미분방정식) · 통계학( 수리통계학 · 추론통계학 · 기술통계학)
연구· 탐구 논증( 귀납법 · 연역법 · 유추(내삽법 · 외삽법)) · 이론( 법칙 · 공리 · 증명 · 정의 · 근거이론 · 이론적 조망) · 가설 · 복잡계( 창발) · 모형화(수학적 모형화) · 관측 · 자료 수집 · 교차검증 · 오컴의 면도날 · 일반화
연구방법론 합리주의 · 경험주의 · 환원주의 · 복잡계 연구방법론 · 재현성( 연구노트)
통계적 방법 혼동행렬 · 회귀 분석 · 메타 분석 · 주성분 분석 · 추론통계학(모형( 구조방정식) · 통계적 검정 · 인과관계와 상관관계 · 통계의 함정 · 신뢰도와 타당도)
측정· 물리량 물리량( 물리 상수 · 무차원량) · 차원( 차원분석) · 측도 · 단위(단위계( SI 단위계 · 자연 단위계) · 단위 변환) · 계측기구 · 오차( 불확도 · 유효숫자 · 과학적 기수법)
실험 실험설계 · 정성실험과 정량실험 · 실험군과 대조군 · 변인(독립 변인 · 조작 변인 · 종속 변인 · 변인 통제) · 모의 실험( 수치해석) · 맹검법 · 사고실험 · 인체실험 · 임상시험 · 실험 기구
연구윤리 뉘른베르크 강령 · 헬싱키 선언 · 연구투명성 · 연구 동의서 · 연구부정행위 · 표절( 표절검사서비스) · 편향 · 문헌오염 · 자기교정성 · 연구윤리위원회
논문· 과학 공동체 소논문 · 리포트 · 논문제출자격시험 · 연구계획서 · 형식( 초록 · 인용( 양식 · 참고문헌) · 감사의 글) · 저자 · 학회 · 세미나 · 학술대회 · 동료평가 · 지표 · 학술 데이터베이스 · 게재 철회 · 학제간 연구
철학 관련 정보 · 연구방법론 관련 정보 · 수학 관련 정보 · 자연과학 관련 정보 · 물리학 관련 정보 · 통계 관련 정보 · 사회과학 조사연구방법론 }}}}}}}}}

blind test ｜ 맹검법(盲檢法)

1. 개요2. 종류3. 상세4. 허위광고에 악용5. 관련 문서

1. 개요

블라인드 익스퍼리먼트, 맹검, 은폐법이라고도 한다.

어떤 제품이나 서비스 등의 품질 등을 공정하게 테스트하기 위해 눈을 가린 상태에서 우선순위를 선정하는 시험방법이라고 흔히 알려져 있지만, 사실상 과학 실험의 기본으로, '과학 실험'이나 '과학적 지식'이라는 이름이 붙은 모든 것은 블라인드 테스트를 기본으로 쌓아올려진 지식이다.

과학 실험의 객관성을 위해 반드시 지켜야 할 과학적 방법 중의 하나. 실험자나 피실험자가 자신의 알고 있는 지식의 영향으로 결과에 편향을 주기 때문에 일어나는 현상을 방지하기 위한 것이다. 쉽게 예를 들면 원효대사가 해골물인 줄 모르고 마셨을 땐 꿀맛이었다가 해골물인 걸 알고나니 역겹게 느껴졌던 일화가 있다. 이것이 지켜지지 않은 실험은 주관적 해석이 들어가기 쉬우며, 사이비 과학으로 빠지거나, 심지어 자신의 편향된 해석을 과학의 이름으로 (실제론 사이비 과학이면서) 무식한 사람들에게 강요하는 매우 잘못된 영향을 끼치게 된다. 예를 들어 어느 어르신께서 '나도 OO라는 병에 걸렸을 때 XX를 먹으니 좋아지더라. 따라서 XX는 OO의 치료제임이 틀림없다!'라고 말하는 경우. 이는 블라인드 테스트를 무시했을 뿐만 아니라 성급한 일반화의 오류까지 범하고 있는 경우이다. 거기다가 상관관계와 인과관계의 차이도 모르는 것이다.[1]

심리학 · 임상 실험에 매우 강조되지만, 물리학 실험에서 측정자나 분석자의 주관이 개입될 요소를 없앤다거나 할 때도 필요하다. 특히, 현대의 소비심리학, 경제학 쪽에서 일반인들에게 잘 알려져서, 맥주, 커피, 와인, 담배 등의 제품의 선호도 등을 소비자의 주관이 개입되지 않게 측정하기 위해 사용한다.

2. 종류

단일맹검법(single-blind test)은 가장 기초적인 맹검법으로, 실험에 참가한 참가자에게 "당신은 현재 A집단 또는 B집단에 무작위 배정되었습니다"라고만 말해줌으로써 그 사람이 실험집단에 속해 있는지 통제집단에 속해 있는지, 실험의 목적이 대관절 무엇인지 일절 알려주지 않는 것을 말한다.

이중맹검법(double-blind test)은 특히 실험자와 실험 대상 모두 주관적 편향에 영향 받기 쉬운 심리학 실험과 의학 임상 실험에서 쓰인다. 실험을 설계한 실험자마저 자신이 무엇을 테스트하는지 모른 채 진행한다. 의약품 개발 등에서 플라시보 효과를 막기 위해서 환자뿐만 아니라 약을 주는 의사도 그 약이 가짜인지 진짜인지 모르는 상태로 실험하는 것이다.

영향을 줄 수 있는 모든 인간의 요소를 배제하기 위해, 삼중맹검법(triple-blind test)도 있을 수 있다. 여기서는 자료를 분석하는 분석자 내지는 연구 관련 위원회조차도 모르게 한다. 인간의 주관이라는 것을 최대한 배제하는 것이 중요하기 때문이다.

3. 상세

눈을 가린다(블라인드한다)는 표현은 피험자의 판단에 영향을 주는 요소, 즉 브랜드나 생김새, 실험자의 명성 등에 의한 정보를 차단한다는 뜻이다. 실제로 감각은 그저 '지금 볼 수 있는' 정보만으로도 확실히 쉽게 오염된다. 대표적으로 청각은 스피커의 외양을 보여주는 것만으로도 크게 왜곡되는 것이 드러나기도 했다.

소믈리에들은 미각을 갈고닦기 위해, 매일 블라인드 테스트를 하여 감각을 유지하고 있다. 와인 관련 블라인드 테스트로는 파리의 심판 사건이 있다.

사실 파리의 심판이 워낙에 유명해서 그렇지 현대에는 정설로 받아지던 수많은 것들이 블라인드 테스트로 인해 편견이었다는 것이 드러나기도 한다.

황금귀들에게 친숙한 용어이기도 하다. 주로 까는 용도로 사용된다. 돌비와 DTS를 구별하는데 쓰인다.

황금귀 관련 논란 사이에서는 여태 수많은 블라인드 테스트가 행해져 왔지만, 여태까지 "효과가 있었다, 구별 가능하다" 라는 이야기가 나온 블라인드 테스트들을 보면 이름만 블라인드 테스트이고, 단일 맹검법의 기본적인 부분조차 제대로 지켜지지 않은 테스트였다는 것을 알 수 있다. 이런 테스트들의 방식을 보면 피실험자에게 A와 B 기기를 쥐어주고는 A에 비해 B가 어떻게 다른가 라고 설명하라 하는데, 위 코카콜라 사례로 비유를 하면 처음부터 브랜드를 알려주고서 시작하는 것이나 다름없는 테스트이므로 이름만 "블라인드 테스트"이고 사실상 평범한 제품 비교나 리뷰나 다름 없는 테스트가 대다수 였다는 점에서 신뢰도가 매우 떨어질 수 밖에 없다는 것이 문제이다.

4. 허위광고에 악용

대개 신규 시장진입자가 "우리 제품은 경쟁업체보다 더 싸고 품질이 높은 제품이다. 속지말자 브랜드빨"을 나타내고자 할 때 사용한다. 즉, 자사 제품의 우수성을 증명하고자 할 때 사용하는 마케팅 기법이라고도 할 수 있겠다.

펩시 전 CEO 존 스컬리가 이 블라인트 테스트를 이용한 광고 #로 코카콜라를 누른 이야기도 유명하다.


맥도날드 맥카페의 역 블라인드 테스트 광고. 실제로 눈 대신 브랜드를 숨기는 역 블라인드 테스트도 많이 사용된다.

국내광고법상 타사의 것와 비교하는 비교광고에서도 비방광고는 일절 금지되어 있기 때문에 역 블라인드 테스트는 주로 '자사 기존 제품 대비'라는 형태로 정말 많이 사용된다.

단, 이런 블라인드 테스트의 경우도 정말 모든 조건이 동일한가의 의문은 제기될 수 있다. 위 동영상의 커피도 커피를 내린 뒤 시간이 지나면서 산화되는 부분이나 온도에 따라 맛이 조금씩 다른(식으면서 신 맛이 강해지거나 탁한 느낌이 나는) 경우가 존재하며 종종 시민대상 블라인드 테스트를 한다고 해놓고는 진행하는 사람이 어느쪽으로 방향을 모는 테스팅을 하는 경우가 있다. 애초에 이런 광고들은 그나마 조작을 안하더라도 자신들에게 불리한 결과를 모조리 날려버린다는 게 문제다. 위의 맥카페 실험이 과정에 오류나 조작이 전혀 없었다 치더라도 과연 참가자 모두가 4000원짜리 커피를 택했을 것 같은지 생각해보자. 100명중 3명만 4000원짜리 커피를 택한다고 해도 저런 식으로 편집이 가능하고 광고에 뭐 그리 엄격하냐 할 수 있겠으나 이는 과학적 방법을 빙자한 기만이다. 즉, 이런 광고들의 효과는 어떨지 몰라도 소비자에게는 상당히 매너없는 광고인 셈이다.

그리고 블라인드 테스트의 가장 유명한 예인 펩시의 대 코카콜라 마케팅도 문제가 많은 테스트였다. 블라인드 테스트 당시 소비자에게 제공한 양은 한 모금거리가 채 안되는 적은 양이었다. 약 세 숟가락 정도의 양만을 시음할때와 한 잔, 혹은 한 캔씩 소비할때는 아예 이야기가 다르다. 펩시가 코카콜라보다 더 달아서 사람들이 적은 양만 시음했을때는 펩시가 압도적으로 높았고, 후에 한 잔, 혹은 한캔씩 줬을때는 코카콜라의 승리였다. 참고로 이 시험도 그리 성공적이진 못 했는데 참가자들이 시음하고 나서 바로 브랜드 명을 알아차렸기 때문이다.

그리고 이 시험의 연장선으로 한 시험으로 가장 골때린 시험이 있었는데 바로 펩시콜라와 코카콜라를 서로 다른 캔에 옮겨서 각각 오리지널 펩시, 코카콜라와 같이 사람들의 반응을 시험해봤는데 일단 코카콜라의 선호도가 가장 높았고 2등이 코카콜라 캔에 든 펩시, 그리고 3등이 펩시 캔에 든 코카콜라, 꼴찌가 펩시였다. 이 때문에 사람들이 코카콜라의 빨간 캔 디자인에 상당한 호감을 가지고 있다는 결론이 내려졌다.

5. 관련 문서


[1] 신약 개발 과정의 임상 시험에서는 반드시 위약을 복용한 실험군과의 대조가 포함된다. [2] 여론조사는 일반라면 선호도가 그대로 나왔다. 실험은 포장지 요리법에 따라 라면을 끓인 다음에 면을 제외하고 국물만 밥에 말아서 심사위원들이 심사. 가장 맛이 순한 축이었던 스낵면의 선호도가 가장 높았다. 이후 스낵면은 이 사실이 포장지에 적히게 된다.

분류