얼굴은 왜 뒤집으면 못 알아볼까 — 얼굴 인식 뇌과학 입문

뒤집힌 얼굴 앞에서 우리 뇌가 하는 일

스마트폰 사진첩을 거꾸로 든 채 넘기다 보면, 분명 잘 아는 친구인데도 얼굴이 낯설게 느껴진 적이 있을 것이다. 글자는 뒤집혀도 몇 초면 읽어내는데, 얼굴은 유독 거꾸로 세우면 누구인지 알아보기가 어렵다. 이 사소한 경험 안에 얼굴 인식의 핵심 원리가 숨어 있다. 우리 뇌는 얼굴을 눈·코·입이라는 부품의 목록으로 저장하지 않는다. 대신 그 부품들이 서로 어떤 간격과 배치로 놓여 있는지, 그 관계 전체를 하나의 덩어리로 읽는다. 이 글은 얼굴을 '판단'하기 위한 것이 아니라, 얼굴을 '알아보는' 뇌의 작동 방식을 다루는 심리·뇌과학 이야기다. 어떤 얼굴이 착하거나 유능하다는 식의 결론은 여기 없다. 다만 왜 사진 속 내 얼굴이 어색한지, 왜 거꾸로 든 얼굴이 남처럼 보이는지에 대한 담백한 설명이 있을 뿐이다.

얼굴은 부품이 아니라 '배치'다

심리학자 Maurer와 Le Grand, Mondloch가 2002년에 정리한 종설 "The Many Faces of Configural Processing"는 이 배치 중심의 처리를 세 층으로 나눈다. 첫째는 '1차 관계(first-order relations)'로, 눈 두 개가 위에 있고 그 아래 코, 다시 아래 입이 놓인다는 기본 배열이다. 이 배열 덕분에 우리는 어떤 대상을 단숨에 '얼굴'로 범주화한다. 둘째는 '전체적 처리(holistic processing)'로, 이목구비를 따로 떼어 보지 않고 하나의 통합된 형태로 뭉뚱그려 지각하는 것이다. 셋째는 '2차 관계(second-order relations)'로, 눈 사이 간격이 얼마인지, 코와 입 사이 거리가 어떤지 같은 미세한 간격 정보다. 사람 얼굴이 다 비슷한 부품을 가졌는데도 저마다 다르게 보이는 것은 바로 이 2차 관계의 미묘한 차이 덕분이다. 즉 얼굴 인식은 '무엇이 있는가'보다 '어떻게 놓여 있는가'의 문제인 셈이다.

이 배치 중심 처리가 실제로 존재한다는 것을 심리학자들은 두 가지 대표적 과제로 확인해 왔다. 하나는 '부분-전체 과제(part-whole task)'다. 어떤 얼굴에서 코 하나를 기억하게 한 뒤, 그 코를 따로 떼어 보여줄 때보다 원래의 온전한 얼굴 안에 넣어 보여줄 때 사람들은 그 코를 훨씬 잘 알아맞힌다. 부품이 전체 배치 속에 놓여 있을 때 지각이 더 정확해지는 것이다. 다른 하나는 '합성 얼굴 과제(composite face task)'다. 한 사람의 윗얼굴과 다른 사람의 아랫얼굴을 위아래로 딱 맞춰 붙이면, 두 반쪽이 마치 새로운 한 사람처럼 뭉쳐 보여 윗얼굴만 따로 판단하기가 어려워진다. 그런데 위아래를 좌우로 어긋나게 밀어놓거나 사진을 거꾸로 세우면 이 융합이 풀려 두 반쪽이 다시 따로 보인다. Maurer와 동료들이 2002년 종설에서 정리했듯, 이 두 과제는 얼굴이 부품의 단순한 합이 아니라 통합된 전체로 지각된다는 것을 보여주는 고전적 증거다.

흥미로운 점은 이 배치 감각이 태어날 때부터 완성돼 있는 게 아니라는 것이다. Maurer 연구진은 눈 사이 간격 같은 2차 관계를 예민하게 읽어내는 능력이 아동기 내내 천천히 자라 청소년기에 이르러서야 어른 수준에 가까워진다고 정리한다. 어린아이도 얼굴을 알아보긴 하지만, 미세한 간격 차이를 어른만큼 섬세하게 구별하는 데는 오랜 시간과 경험이 필요하다는 뜻이다. 얼굴을 통째로 읽는 능력은 순전히 타고나는 재능이라기보다, 수많은 얼굴을 보며 서서히 다듬어지는 기술에 가깝다.

거꾸로 든 순간 무너지는 것 — 얼굴 뒤집기 효과

이 배치 중심 처리가 얼마나 방향에 취약한지를 처음 실험으로 보여준 사람이 Robert Yin이다. 그는 1969년 논문 "Looking at Upside-Down Faces"에서 집이나 비행기 같은 사물과 사람 얼굴을 각각 똑바로 또는 거꾸로 보여준 뒤 기억을 검사했다. 결과는 인상적이었다. 사물은 뒤집어도 재인 성적이 조금밖에 떨어지지 않았지만, 얼굴은 뒤집었을 때 성적이 유독 크게 곤두박질쳤다. 이 현상을 '얼굴 뒤집기 효과(face inversion effect)'라 부른다. 해석은 이렇다. 똑바로 선 얼굴은 뇌가 익숙한 배치 정보를 총동원해 통째로 처리하지만, 거꾸로 뒤집히면 그 배치 회로가 힘을 잃고, 어쩔 수 없이 눈·코·입을 하나하나 뜯어보는 비효율적인 방식으로 후퇴한다. 그래서 잘 아는 얼굴도 거꾸로 들면 남처럼 낯설어지는 것이다.

대처 착시, 배치의 붕괴를 눈으로 보다

배치 처리의 존재를 가장 극적으로 체감하게 해주는 것이 '대처 착시(Thatcher effect)'다. 직접 상상해 보면 이해가 쉽다. 먼저 활짝 웃는 얼굴 사진 한 장을 떠올린다. 이 사진에서 두 눈과 입만 오려내 각각 위아래로 180도 뒤집은 뒤 원래 자리에 다시 붙인다. 이제 이 조작된 사진을 통째로 거꾸로 세워 든다. 놀랍게도 이 상태에서는 얼굴이 조금 어색할 뿐, 그럭저럭 봐줄 만하다. 그런데 그 사진을 천천히 똑바로 돌려세우는 순간, 눈과 입이 기괴하게 뒤틀린 무서운 얼굴이 튀어나온다. 똑같은 사진인데 방향만 바뀌었을 뿐이다.

왜 이런 일이 생길까. 얼굴이 거꾸로 있는 동안에는 배치 회로가 잠들어 있어 눈·입의 국소적 뒤틀림을 알아채지 못하다가, 똑바로 서는 순간 배치 회로가 다시 깨어나 '이 배치는 정상이 아니다'라는 경보를 울리기 때문이다. 즉 뇌는 거꾸로 선 얼굴에서는 부품 하나하나만 대충 확인하지만, 똑바로 선 얼굴에서는 부품들의 관계 전체를 한꺼번에 검사한다. 이 착시는 1980년 심리학자 Peter Thompson이 당시 영국 총리 대처의 사진으로 처음 선보여 이런 이름이 붙었다. 우리 뇌가 얼마나 배치에 예민한지, 그리고 그 예민함이 방향에 얼마나 크게 좌우되는지를 이보다 잘 보여주는 예는 드물다.

뇌 속 얼굴 전담 구역, 방추상 얼굴 영역(FFA)

그렇다면 이 배치 중심의 얼굴 처리는 뇌 어디에서 일어날까. 1997년 Nancy Kanwisher와 McDermott, Chun은 기능적 자기공명영상(fMRI)을 이용해 참가자에게 얼굴과 사물을 번갈아 보여주며 뇌 활동을 비교했다. 그 결과 측두엽 아래쪽 방추상회(fusiform gyrus)의 한 부위가 사물보다 얼굴을 볼 때 유독 강하게 반응한다는 것을 발견하고, 이 구역을 '방추상 얼굴 영역(fusiform face area, FFA)'이라 이름 붙였다. 흥미롭게도 이 영역은 얼굴이 거꾸로 뒤집히면 반응이 약해지는데, 이는 FFA가 부품의 나열이 아니라 똑바로 선 얼굴의 배치를 처리하는 데 특화돼 있음을 시사한다. 다만 이 부위가 '오직 얼굴만' 담당하는 전용 모듈인지, 아니면 오랜 훈련으로 익숙해진 대상을 전문적으로 구별하는 범용 회로인지는 지금도 학계에서 토론이 이어진다. 어느 쪽이든, 뇌에 얼굴에 특화된 구역이 있다는 사실 자체가 얼굴이 뇌에게 얼마나 특별한 자극인지를 말해준다.

알아보기와 표정 읽기는 다른 길 — 브루스와 영의 모형

얼굴에서 우리가 읽어내는 정보는 한 가지가 아니다. 저 사람이 '누구인지', 지금 '어떤 표정인지', 입 모양이 무슨 말을 하는지는 서로 다른 종류의 정보다. 1986년 Vicki Bruce와 Andrew Young은 "Understanding Face Recognition"에서 이 여러 정보가 뇌 안에서 각기 다른 경로로 처리된다는 기능적 모형을 제시했다. 이 모형에 따르면 누구인지 판별하는 '신원 인식'과 표정에서 감정을 읽는 '표정 처리'는 상당 부분 분리된 통로를 탄다. 실제로 뇌 손상 환자 중에는 표정은 잘 읽으면서도 그 사람이 누구인지는 못 알아보는 경우, 혹은 그 반대인 경우가 보고된다. 이 모형이 중요한 이유는, 얼굴 인식이 하나의 뭉툭한 능력이 아니라 여러 전문 부서가 협업하는 조직 같은 것임을 보여주기 때문이다. 우리가 스치듯 본 얼굴에서 '아는 사람인가'와 '기분이 어떤가'를 거의 동시에 처리해내는 것도 이 병렬 구조 덕분이다.

그래서 사진 속 내 얼굴이 어색하다

이제 처음의 궁금증, 왜 사진 속 내 얼굴은 늘 낯설고 마음에 안 드는지로 돌아와 보자. 첫째 이유는 거울과 사진의 좌우 반전이다. 우리는 거울로 하루에도 몇 번씩 좌우가 뒤집힌 자기 얼굴을 본다. 뇌는 자주 본 배치일수록 편안하게 느끼는데(심리학에서 말하는 단순노출 효과), 정작 사진은 남들이 보는 방향, 즉 거울과 반대 방향이라 익숙한 배치와 미묘하게 어긋난다. 앞서 본 대로 얼굴은 이 미세한 배치 차이에 예민하므로, 남들 눈엔 멀쩡한 사진이 나에게만 유독 어색한 것이다.

둘째, 사진은 표정이 한 순간에 얼어붙은 정지 화면이다. 실제 얼굴은 끊임없이 미세하게 움직이며 인상을 만드는데, 그 흐름이 임의의 한 프레임에서 멈추면 평소의 '나'와 다르게 지각되기 쉽다. 셋째, 카메라 렌즈의 화각과 거리, 조명은 이목구비 사이의 간격 정보를 실제와 다르게 왜곡한다. 요컨대 사진 속 내 얼굴이 어색한 것은 얼굴이 못나서가 아니라, 뇌가 기대한 배치와 사진이 보여주는 배치가 어긋나기 때문이다.

이것은 관상이 아니다 — 알아보기와 판단하기의 거리

여기까지의 이야기는 전부 얼굴을 '알아보는' 뇌의 기술에 관한 것이지, 얼굴로 사람을 '판단하는' 일과는 무관하다. 뇌가 얼굴 배치에 민감하다는 사실은, 그 배치로 성격이나 능력, 운명을 읽을 수 있다는 뜻이 결코 아니다. 우리는 낯선 얼굴에서 순식간에 인상을 만들어내지만, 그 인상이 그 사람의 실제 성품과 일치한다는 과학적 근거는 없다. 얼굴 인식은 '저 사람이 누구인가'까지만 데려다줄 뿐, '저 사람이 어떤 사람인가'는 대답하지 못한다. 이 글은 어떤 사람의 성격·능력·건강·운명·정체성도 얼굴로 판단하지 않습니다.

그러니 사진 속 내 얼굴이든 남의 얼굴이든 좋다·나쁘다를 단정하지 말자. 덧붙여, 얼굴을 잘 못 알아보는 어려움(안면인식장애 등)이 궁금하더라도 이 글로 자가진단을 내리는 것은 금물이다. 일상에 지장을 줄 만큼 불편하다면 인터넷 정보 대신 신경과·정신건강의학과 전문의와 상담하는 편이 옳다. 얼굴 읽기는 어디까지나 뇌와 지각을 이해하는 교양이자, 재미로 보는 문화·심리 이야기일 뿐이다.