얼굴로 사람을 알 수 있다는 오래된 유혹
얼굴을 슬쩍 보기만 해도 그 사람을 알 것 같은 느낌은 무척 오래됐어요. 눈매가 매서우면 마음도 그럴 것 같고, 인상이 순하면 속도 그럴 것 같죠. 이 글은 바로 그 직감이 걸어온 길을 따라가면서, 왜 얼굴로 사람을 판단하면 안 되는지를 이야기하려고 해요. 미리 말해두면, 얼굴은 누군가의 성격이나 운명을 보여주는 창이 아니에요.
이 직감은 편리하고, 그래서 위험해요. 복잡한 사람을 얼굴 하나로 간단히 정리해 버리니까요. 문제는 그 간단함이 역사 속에서 몇 번이나 편견과 사이비과학의 도구가 되었다는 점이에요. 관상에서 골상학으로, 다시 우생학과 'AI 관상'으로 이어지는 흐름을 따라가 보면, 얼굴로 사람을 재단하는 생각이 어떻게 차별로 번졌는지가 보여요.
먼저 선을 하나 그어둘게요. 저희가 관상을 다루는 방식은 그것을 동아시아의 문화·역사로 소개하는 거예요. 반대로 이 글이 비판하는 건 관상이든 최신 AI든 얼굴을 근거로 사람의 됨됨이를 단정하려는 태도예요. 얼굴을 읽는 재미와 사람을 판단하는 오만은 생각보다 가까워서 그 경계를 넘지 않으려 하는데, 얼굴은 애초에 사람을 판단하는 근거가 아니니까요.
관상에서 관상학 책으로 — 델라 포르타와 라바터
얼굴로 성품을 읽으려는 시도는 고대 그리스까지 거슬러 올라가지만, 근대적 형태로 정리된 건 16세기예요. 이탈리아 학자 잠바티스타 델라 포르타는 1586년 『인간 관상학(De humana physiognomonia)』에서 사람의 얼굴을 여러 동물에 빗대어 기질을 읽으려 했어요. 사자를 닮으면 용맹하다는 식이죠. 지금 보면 재치 있는 유비지만, 닮음이 주는 인상일 뿐 사람의 성품을 판단하는 근거가 되지는 못해요.
정작 관상학을 유럽의 유행으로 만든 사람은 18세기 스위스의 목사 요한 카스파어 라바터예요. 그의 『관상학 단편(Physiognomische Fragmente, 1775~1778)』은 옆모습 실루엣과 이목구비를 정교한 도판으로 분류해, 얼굴을 보면 내면을 읽을 수 있다고 설득력 있게 주장했어요. 책은 베스트셀러가 됐지만, 그 주장은 사람의 내면을 실제로 판단하는 근거가 되지 못했어요.
인기 뒤에 이미 있던 비판
흥미롭게도 라바터의 관상학은 당대에도 반박을 받았어요. 물리학자이자 풍자가였던 게오르크 크리스토프 리히텐베르크는, 얼굴로 사람을 판단하면 무고한 이가 생김새 때문에 의심받게 된다며 신랄하게 비판했어요. 즉 '얼굴로 사람을 판단하면 안 된다'는 반론은 관상학의 전성기부터 이미 존재했고, 저희도 그 입장에 서 있어요. 얼굴은 사람을 판단하는 잣대가 아니에요.
'과학'의 옷을 입다 — 골상학과 롬브로소
19세기에 접어들자 관상은 스스로 '과학'을 자처하기 시작했어요. 측정하고 분류하면 객관적이라는 착각이 더해지면서, 편견은 더 단단하고 위험해졌죠. 그 대표가 골상학과 롬브로소의 범죄인류학이에요. 둘 다 지금은 폐기됐지만, 얼굴과 두개골로 사람을 재단하는 시도가 어떻게 차별로 이어지는지 잘 보여줘요. 다시 강조하면, 이런 방법은 사람을 판단하는 근거로 쓸 수 없어요.
골상학 — 두개골의 혹을 읽다
골상학(phrenology)은 프란츠 요제프 갈과 요한 슈푸르츠하임이 1800년대 초에 퍼뜨린 이론이에요. 두뇌의 기능이 부위별로 나뉘어 있고, 그 발달이 두개골의 튀어나온 정도로 드러난다고 봤죠. 머리의 혹을 만져 성격이나 재능을 읽을 수 있다는 발상이었는데, 해부학적으로 반증되며 사이비과학으로 남았어요. 두개골 모양은 그 사람의 기질을 알려주지 않고, 사람을 판단하는 근거가 되지 않아요.
골상학은 단지 응접실의 유행으로 끝나지 않았어요. '특정 집단의 두개골이 열등하다'는 주장으로 확장되면서 노예제와 식민 지배, 인종 위계를 정당화하는 데 동원됐어요. 측정과 숫자로 포장됐을 뿐, 그 바탕은 편견이었죠. 그래서 얼굴이나 머리 모양으로 사람의 우열을 나누는 건 과학이 아니라 차별이고, 사람을 판단하는 근거가 될 수 없어요.
롬브로소 — '타고난 범죄자'라는 낙인
이탈리아 의사 체사레 롬브로소는 1876년 『범죄인(L'uomo delinquente)』에서, 범죄자는 진화적으로 '뒤처진' 사람이며 튀어나온 턱이나 비대칭 얼굴 같은 신체 특징으로 알아볼 수 있다고 주장했어요. 이른바 '타고난 범죄자' 이론이죠. 하지만 그의 표본은 이미 수감된 사람들에 치우쳐 있었고 비교집단도 엉성했어요. 얼굴 생김새로 범죄 성향을 타고난다는 주장은 근거가 없을뿐더러, 사람을 판단하는 근거로도 쓸 수 없어요.
그럼에도 롬브로소의 발상은 법정과 이민 심사에 스며들어 실제 사람들에게 낙인을 찍었어요. '범죄자처럼 생겼다'는 인상이 증거를 대신하는 순간, 무고한 사람이 얼굴 때문에 의심받게 되죠. 이 대목이 이 글이 가장 경계하는 지점이에요. 얼굴은 유죄의 증거가 될 수 없고, 사람을 판단하는 근거가 되어서는 안 돼요.
| 시대·인물 | 핵심 주장 | 무엇이 문제였나 |
|---|---|---|
| 1586 · 델라 포르타 | 얼굴을 동물에 빗대 기질을 읽으려 함 | 닮음의 인상일 뿐 근거 없는 유비 |
| 1775~78 · 라바터 | 옆모습·이목구비로 내면을 도표화 | 당대에도 반증·풍자로 비판받음 |
| 1800년대 · 갈·슈푸르츠하임 | 두개골 모양으로 마음의 기능을 읽음(골상학) | 해부학으로 반증된 사이비과학 |
| 1876 · 롬브로소 | '타고난 범죄자'의 신체 특징이 있다 | 표본 편향·차별을 과학으로 포장 |
| 1883 · 갈튼 | 합성 초상으로 '유형'의 얼굴을 찾음(우생학) | 평균만 드러났고 차별 정책으로 오용 |
| 2016 · 우 & 장 | AI가 사진으로 범죄자를 가려낸다 주장 | 데이터 편향을 학습, 2017년 반박됨 |
평균 얼굴의 함정 — 갈튼과 우생학
영국의 프랜시스 갈튼은 이 흐름을 통계와 사진으로 밀어붙였어요. 그는 여러 사람의 초상을 겹쳐 찍어 하나의 '합성 초상'을 만들면 어떤 유형의 전형적인 얼굴이 드러날 거라고 기대했어요. 범죄자들의 얼굴을 겹치면 '범죄자의 얼굴'이 나오리라 본 거죠. 그러나 이런 방법으로는 사람의 자질을 판단하는 근거가 결코 나오지 않았어요.
재미있는 건 그 결과예요. 갈튼의 합성 범죄자 초상은 특별히 흉악해 보이기는커녕 오히려 평범하고 그저 '평균적인' 얼굴에 가까웠어요. 유형을 찾으려던 실험이 도리어 그런 유형이 없다는 걸 보여준 셈이죠. 얼굴을 아무리 평균 내도 범죄 성향 같은 건 나타나지 않으니, 그것을 사람을 판단하는 근거로 삼을 수 없어요.
갈튼은 1883년 저작에서 '우생학(eugenics)'이라는 말을 만들었어요. '좋은 혈통'을 늘리고 '나쁜 혈통'을 줄이자는 이 발상은 20세기에 강제 불임수술과 이민 제한, 나아가 홀로코스트의 논리로까지 오용됐어요. 얼굴과 혈통으로 사람의 가치를 매기려는 시도가 얼마나 끔찍한 결과로 이어졌는지 보여주는 역사예요. 그래서 얼굴은 사람의 우열이나 가치를 판단하는 근거가 될 수 없어요.
AI라는 새 옷 — 우 & 장 2016, 그리고 반박
그런데 이 오래된 발상은 21세기에 'AI'라는 새 옷을 입고 돌아왔어요. 2016년 샤오린 우와 시 장은 「얼굴 이미지를 이용한 범죄성 자동 추론(Automated Inference on Criminality using Face Images)」이라는 논문에서, 기계학습으로 신분증 사진만 보고 범죄자와 비범죄자를 가려낼 수 있다고 주장했어요. 얼굴 범죄자 판별이라는 옛 관상의 꿈이 알고리즘의 이름으로 되살아난 셈이죠. 하지만 이 주장은 곧바로 반박됐고, 사람을 판단하는 근거로 쓸 수 없어요.
무엇이 잘못됐나 — 데이터의 함정
2017년 블레즈 아구에라 이 아르카스, 마거릿 미첼, 알렉산더 토도로프는 「관상학의 새 옷(Physiognomy's New Clothes)」이라는 글로 조목조목 반박했어요. 핵심은 데이터였어요. '범죄자' 사진은 정부가 찍은 수감자 신분증이었고 '비범죄자' 사진은 웹에서 가져온 것이라, 옷차림·표정·촬영 방식부터 달랐죠. 특히 비범죄자 쪽이 살짝 더 웃고 있었어요. 모델은 범죄성이 아니라 이런 차이를 학습했을 뿐이라, 그 결과를 사람을 판단하는 근거로 삼을 수 없어요.
다시 말해 알고리즘은 '누가 범죄자인가'가 아니라 '어떤 사진이 신분증처럼 찍혔는가'를 맞히고 있었던 거예요. 겉보기 성능이 아무리 높아 보여도, 그건 얼굴이 아니라 데이터의 편향을 반영한 착시였죠. 화려한 수학으로 포장돼 있어도 본질은 롬브로소의 반복이라, 사람을 판단하는 근거가 될 수 없어요.
왜 위험한가 — 편향의 되먹임
이런 시스템의 진짜 위험은 틀린다는 것만이 아니에요. 범죄 기록 자체가 이미 사회의 편향을 담고 있어서, 그 데이터로 학습한 모델은 편향을 그대로 배우고 다시 그 편향을 '객관적 예측'인 척 되돌려줘요. 특정 집단이 더 자주 단속받아 온 역사가 있으면, 모델은 그 집단의 얼굴을 위험하다고 지목하게 되죠. 이렇게 편향이 되먹임되는 구조라, 이런 기술은 사람을 판단하는 근거로 쓰여선 안 돼요.
무엇보다, 얼굴로 사람을 미리 재단하면 그 판단이 현실을 바꿔버려요. 위험하다고 낙인찍힌 사람은 더 감시받고, 그 결과가 다시 '거봐, 맞잖아'의 증거로 쓰이니까요. 이 자기실현적 고리를 끊는 유일한 방법은 처음부터 얼굴로 사람을 판단하지 않는 거예요. 저희가 관상 윤리를 이야기하는 이유가 여기에 있어요.
그래서 얼굴을 어떻게 대할까
그렇다고 얼굴에 대한 모든 연구가 사이비라는 뜻은 아니에요. 첫인상 심리학은 '얼굴이 진실을 말한다'가 아니라 '사람들이 얼굴을 보고 어떤 인상을 받는가'를 연구해요. 토도로프의 연구가 보여주듯, 우리는 0.1초 만에 인상을 만들지만 그 인상은 자주 틀려요. 이 분야는 얼굴로 사람을 판단하는 도구가 아니라, 오히려 우리의 판단이 얼마나 미덥지 않은지를 알려주는 거울에 가까워요.
그래서 관상을 대하는 건강한 태도는 그것을 문화와 역사로 즐기되 사람을 판단하는 잣대로는 삼지 않는 거예요. 눈매가 날카롭다고 성격이 모진 것도 아니고, 인상이 순하다고 마음이 여린 것도 아니에요. 얼굴이 주는 인상은 참고만 할 뿐, 그 사람의 성격이나 능력을 단정하지 않아요.
얼굴로 사람을 판단해온 500년의 역사가 우리에게 남긴 교훈은 분명해요. 그 길은 늘 차별로 이어졌고, '과학'의 옷을 갈아입어도 본질은 같았다는 거예요. 그러니 얼굴은 호기심과 존중으로 바라보되, 결코 사람을 판단하는 근거로 삼지 말기로 해요. 그게 이 오래된 유혹에서 벗어나는 길이에요.
자주 묻는 질문
관상도 결국 골상학이나 우생학처럼 위험한 건가요?
관상 자체는 동아시아의 문화·역사 전통이고, 이 글이 비판하는 건 그걸 '사람을 판단하는 잣대'로 쓰는 태도예요. 관상을 교양으로 즐기는 것과 얼굴로 누군가의 성격이나 자질을 단정하는 건 완전히 다른 문제예요. 저희는 관상을 문화로만 다루고, 사람을 판단하는 근거로 쓰지 않아요.
AI가 얼굴로 범죄자를 판별한다는 기술은 진짜 가능한가요?
2016년 그런 주장을 담은 논문이 있었지만, 2017년 여러 연구자가 데이터의 편향 때문에 생긴 착시라고 반박했어요. 범죄 기록은 사회·제도의 편향을 담고 있어서, 그런 데이터로 학습한 모델은 얼굴이 아니라 편향을 배우게 돼요. 그래서 얼굴로 범죄자를 가려낸다는 주장은 과학적 근거가 없고, 사람을 판단하는 근거가 될 수 없어요.
롬브로소의 '타고난 범죄자' 이론은 지금은 완전히 폐기됐나요?
네, 롬브로소의 이론은 표본이 편향됐고 통계도 엉성해서 학문적으로 오래전에 반증됐어요. 다만 '위험해 보이는 얼굴'이라는 편견은 여전히 사람들 마음에 남아 있어서, 무의식적 인상이 판단에 끼어들지 않게 조심하는 게 중요해요. 얼굴 생김새는 그 사람의 성향을 알려주지 않으니, 얼굴로 사람을 판단하지 않는 게 맞아요.
그럼 첫인상 심리학도 관상이랑 같은 건가요?
아니요, 둘은 성격이 달라요. 관상은 '얼굴이 내면을 드러낸다'는 전통적 믿음이고, 첫인상 심리학은 '사람들이 얼굴을 보고 어떤 인상을 받는지'를 관찰하는 연구예요. 후자는 얼굴이 진실을 말한다고 주장하지 않고, 오히려 우리의 인상이 얼마나 자주 틀리는지를 보여줘요. 그래서 인상 연구는 사람을 판단하는 도구가 아니라, 편견을 알아차리는 도구에 가까워요.
옛날 관상학 책들은 왜 그렇게 인기가 많았나요?
라바터의 관상학 책은 18세기 유럽에서 베스트셀러였는데, 복잡한 사람을 얼굴 하나로 이해할 수 있다는 단순함이 매력이었어요. 하지만 그 단순함이야말로 위험의 씨앗이었죠 — 편견에 '과학'이라는 이름표를 달아줬으니까요. 그 책들은 지금은 사람을 판단하는 자료가 아니라, 당시 사회의 편견을 보여주는 역사 사료로 읽혀요.
작성 정보 및 참고 자료
작성일 2026년 7월 4일 · 최종 수정 2026년 7월 4일
- Giambattista della Porta, 'De humana physiognomonia'(1586) — 얼굴을 동물에 빗댄 관상학 고전
- Johann Kaspar Lavater, 'Physiognomische Fragmente'(1775–1778) — 근대 관상학을 대중화한 저작
- Franz Joseph Gall & Johann Spurzheim — 골상학(phrenology), 1800년대 초
- Cesare Lombroso, 'L'uomo delinquente'(1876) — '타고난 범죄자' 이론과 범죄인류학
- Francis Galton — 우생학(eugenics)이라는 용어와 합성 초상 실험, 'Inquiries into Human Faculty and Its Development'(1883)
- Xiaolin Wu & Xi Zhang, 'Automated Inference on Criminality using Face Images'(2016)
- Blaise Agüera y Arcas, Margaret Mitchell & Alexander Todorov, 'Physiognomy's New Clothes'(2017)