『수학의 몽상』(이진경 저, 푸른숲)

수유너머N 회원/ 고승환

 저자는 말한다. 수학의 역사를 보라. 조금만 들여다보면, “수학의 본질은 자유다”(『수학의 몽상』, 이진경 저, p.21)는 사실을 알 수 있다고. 여기서 자유란, 하나의 생각만이 절대적으로 옳은 것이 아니라, 여러 가지 생각이 있을 수 있는 가능성을 말한다. 이 말을 듣고 쉽게 동의하기가 힘들 수 있다. 왜냐하면 대부분 우리가 겪어본 수학은 그렇지 않기 때문이다. 수학은 “공리 내지 공준과 같은 몇 가지 규칙을 정해두고, 그것을 이용해서 어떤 명제를 끌어내거나 반박하며, 필요한 계산을 하기도 하고, 계산을 하는 데 필요한 어떤 모델을 만들기도 하는 게임”(『수학의 몽상』 p.23)이다. 그렇기 때문에, 필요에 따라 규칙을 더하거나 덜어낼 수 있고, 바꿀 수도 있다.

 수학의 세계에서는 하나의 수학이 무려 2000년을 지배했다. 바로 유클리드 기하학이다. 유클리드 기하학은 23개의 정의, 5가지 공리 그리고 5가지 공준을 정해두고 그것을 이용해서 465개의 명제를 만들고 증명한다. 숫자만 보아도 유클리드 기하학이 얼마나 절대적이었는지 느낄 수 있다. 실제로 유클리드 기하학은 수학뿐만 아니라, 다른 학문에도 깊은 영향을 미쳤다. 물론, “어떤 의미에서 설명이란 결국 독단적일 수밖에 없다.”(『과학과 근대세계』, 화이트헤드 저, p.146) 거기에 더해 그 설명을 믿고 따르는 많은 사람들이 있다면, 그 설명은 막강한 힘을 갖게 된다.

 만약 우리가 독단적으로 하나의 사상이 한 시대를 지배하고 있을 때, 이것을 깨고 싶다면 어떻게 해야 할까? 유클리드 기하학에 반하는 생각이 들 때, 그것이 인정받기 위해서는 어떻게 해야 할까? 그 방법은 현재 지배하는 수학에 대항하여 다른 수학을 제시하는 것이다. 즉, 지배적인 수학은 잘못되었으니 버려야 한다는 것이 아니라, 그것이 미처 담아내지 못한 부분을 드러내어 다른 수학도 가치의 위계 없이 대칭적으로 있을 수 있다는 점을 보이는 것이다.

 그렇다면, 비유클리드 기하학은 무엇인가? 지배적이었던 유클리드 기하학과 어떻게 대결했을까? 앞서 말해두었듯이, 유클리드 기하학에는 5가지 공준이 있었다. 그 내용은, 첫째, 한 점에서 다른 점에 직선을 그을 수 있다. 둘째, 선분을 연장하여 하나의 직선을 만들 수 있다. 셋째, 한 점을 중심으로 하고, 한 선분을 반지름으로 하는 원을 그릴 수 있다. 넷째, 모든 직각은 서로 같다. 다섯째, 어떤 직선 L과 그 직선 위에 있지 않은 점 P가 주어졌을 때, 점 P를 지나서 직선 L과 평행인 직선은 단 한 개만 존재한다.

 이 다섯 가지 공준들 중에서, 비유클리드 기하학은 다섯 번째 공준에 의문을 갖는다. 사실, 유클리드 기하학 안에서도 다섯 번째 공준은 문제였다. 다른 공준과는 달리 다섯 번째 공준은 정리로 보였다. 그래서 수학자들은 나머지 네 공준을 가지고 다섯 번째 공준을 증명하려 했지만, 실패했다. 여기서, 그들의 선택은 다섯 번째 공준을 자명한 공준으로 받아들였다. 그런데, 비유클리드 기하학은 다른 공준으로 바꿔도 좋을 거라는 생각을 했다.

 그렇다면, 비유클리드 기하학은 다섯 번째 공준을 어떻게 바꿨을까? 간단하다. 직선 L과 L위에 있지 않은 점 P가 주어졌을 때, 점 P를 지나서 직선 L과 평행인 직선이 무수히 많이 존재하거나, 아예 존재하지 않는다고 바꿨다. 수학에서는 무수히 많이 존재한다고 한 경우는 쌍곡기하학이라고 부르고, 존재하지 않는 경우는 구면기하학이라고 부른다.

 어떻게 공준을 바꾸는 것이 인정받을 수 있었을까? 그것은 다른 공간을 생각한 데에 있었다. 유클리드 기하학의 다섯 번째 공준은 직선 공간에서 의미가 있다. 하지만, 비유클리드 기하학은 곡선 공간 안에서 생각했다. 저자는 이것을 구슬공간의 기하학이라 표현하며 재미있는 소설형식으로 설명한다. 누구나 한번쯤은 커다란 구슬에 비치는 이상한 본인의 모습을 보며 웃었던 기억이 있을 것이다. 구슬에 비친 모습을 보면, 구슬 가장자리는 크게 벌어지고, 구슬 중앙으로 갈수록 급격히 줄어들면서 휘어진다. 그런데, 이 것은 구슬공간 밖에서 우리 눈에 그렇게 보이는 것일 뿐이다. 구슬공간 안에서 걷는다면 평행하다고 느낄 것이다. 반대로, 구슬공간에 우리가 보기에 평행한 선을 긋는다면, 구슬공간 안에 있는 사람은 평행선으로 느끼지 않을 것이다.

 이 책에서 말하는 구슬공간은 구면기하학에 가깝다. 예를 들어, 지구본을 보면 지구의 모든 경선들은 적도를 표시하는 위선과 직각으로 교차한다. 그러므로 어떤 경선 L과 경선 L 위에 있지 않은 위선의 한 점 P가 주어질 때, 점 P를 지나서 경선 L과 평행한 직선이 존재한다고 말해야 한다. 하지만, 지구본을 보면, 평행선이란 있을 수가 없다. 남극과 북극에서 두 번 만나기 때문이다. 

 평행선의 공준이 다른 것으로 바뀔 수 있게 되면서, 유클리드 기하학과 비유클리드 기하학은 공존하게 된다. 유클리드 기하학만이 절대적인 진리가 아니게 된 것이다. 그렇다고 유클리드 기하학이 틀린 것은 아니다. 우리가 알고 있는 공간 중에서 직선 공간에서 의미를 갖는 기하학이 된 것이다.

 이 책을 보면, 비유클리드 기하학에 대한 내용은 6장 근대 수학의 기로-위기와 기회에서만 다룬다. 다른 장 들에서는 다른 수학의 역사와 내용을 다루며 수학의 본질이 왜 자유인지에 대해서 말한다. 다른 예들도 많지만, 나는 기하학에 대한 관심이 있어서 비유클리드 기하학에 집중했다. 다른 사람들도 다른 예를 즐겁게 읽고, “수학의 본질은 자유다”라는 저자의 주장에 공감하기를 바란다.