ImFun(나는 수학을 즐긴다)

수학, 딱 한 권만 읽어야 한다면 바로 이 책!

[월요일의 '과학 고전 50'] <수학의 확실성>

이강영 경상대학교 교수

2016.06.20 07:50:07

"지식의 확실성에 관한 수학은 우리가 결코 도달할 수 없는 이상일지 모르지만, 도달하려고 애쓰는 이상으로 알맞다. 확실성은 아마 계속해서 따라가도 끝까지 알기 어려운 환영에 불과할 수도 있다. 그러나 이상은 힘과 가치를 지닌다."

이성을 통해 진리가 무엇인가를 진지하게 찾는 사람이라면, 수학을 깊이 연구할 수밖에 없다. 수학은 그 자체로서 진리를 찾고 구현하는 방법이며, 절대적인 확실성을 보여주는 유일한 세계로 간주되기 때문이다.

수학적 추론은 엄밀하고 정확한 결과를 끌어내는 대표적인 방법이며, 수학에서 얻은 진리는 흔히 확실한 진리의 모범으로 여겨진다. 이미 고대 그리스 시대부터 유클리드의 기하학은 보편적이고 완전한 진리의 체계로 자리 잡았으며, 19세기에 공리화 과정을 통해서 엄밀성이 확립되면서 더욱 확고한 기초를 갖게 되었다.

또 수학은 자연 세계에 적용되면 놀라운 결과를 가져오는 막강한 도구임이 오래 전부터 잘 알려져 왔다. 특히 17세기 과학 혁명 이래, 천체와 지상의 역학, 광학, 유체 역학, 전기 및 자기 이론, 그리고 여러 공학 분야에서 수학이 적용되면 이전과는 비견할 데 없는 거대한 성과를 얻을 수 있었다. 현대의 양자 역학과 상대성 이론은 인간의 감각이 미치지 못하는 세계를 다루기 떄문에 수학의 힘을 더욱 더 필요로 한다.

그러면 수학은 정말 절대적인 진리로 이루어진 완전한 체계일까? 이것을 최종적으로 증명하는 것이 20세기에 접어들면서 수학자들 앞에 주어진 과제였다. 1900년 파리에서 열린 제2차 수학자 대회에서 당대 수학계의 지도자였던 독일 괴팅겐 대학교의 다비드 힐베르트는 수학의 발전을 위해 중요한 문제 23개를 발표했는데, 이 문제들의 상당 부분은 수학의 기초를 확립하는데 초점을 맞춘 문제들이었다. 힐베르트가 이 문제들을 제시했을 때 사람들은, 비록 시간이 걸릴 수는 있겠지만, 언젠가는 그 모든 문제들에 대한 해답이 주어지고 수학의 완전한 기초가 완성되리라는 것에 한 점 의심을 품지 않았다. 수세기 동안 거듭된 발전을 통해 이룩된 수학의 업적 위에서 수학자들은 낙관적이고 자신만만했다.

낙관론이 팽배하던 바로 그 때에, 수학의 기초는 붕괴하고 있었다. 무한을 다루는 엄밀한 방법으로 집합론을 창조한 게오르크 칸토르는 무한 집합을 다루는 과정에서 야기되는 여러 가지 난점에 직면했다. 버트런드 러셀은 보다 명료하게, 자기 자신을 포함하는 집합은 모순(paradox)을 낳는다는 것을 발견했다. 이후 수학의 여러 방면에서 모순이 발견되었다. 갑자기 수학 전체가 흔들리는 것 같았다. 이로써 모순이 없는 구조, 즉 무모순성을 확립하려는 것이 가장 시급한 문제가 되었다. 20세기 초반은 자연과학뿐 아니라 수학에서도 혼란의 시기였다.

수학의 기초를 건설하기 위해, 러셀과 앨프레드 화이트헤드와 같은 이들은 수학을 논리학으로 환원해서 논리 위에 수학의 기초를 세우려고 했다. 네덜란드의 르위트첸 브라우어는 수학의 기초를 인간 정신의 기본적인 직관에서 찾아야 한다고 주장하는 직관주의를 제안했다. 힐베르트는 형식주의라고 불리는 학파를 창시해서, 증명법을 발전시키고 수학의 기초 체계를 건설하는 프로그램을 제시했다. 또 독일의 에른스트 체르멜로는 집합론 학파를 창시했다.

이들 학파는 각자 나름대로의 방법으로 모순을 해결하고 일정한 성공을 거두었다. 1930년에 이르기까지 제한적인 경우에나마 수학의 공리계는 어느 정도 무모순성과 완전성이라고 불리는 성질을 확립할 수 있었다. 힐베르트는 1930년의 논문에서 "나는 나의 증명으로써 이 같은 목적을 완전히 성취할 수 있다고 믿는다"라고 주장했다.

상황은 일거에 뒤집혔다. 빈 출신으로 힐베르트의 프로그램에 따라 무모순성을 연구하던 쿠르트 괴델은 1931년, 소위 불완전성 정리라고 부르는 획기적인 결과를 발표한다. 이 정리에 따르면, 무모순인 공리계에서는 참과 거짓을 판별할 수 없는 명제가 반드시 존재해서, 체계는 불완전할 수밖에 없다. 즉 무모순성과 완전성은 동시에 만족될 수 없다는 것을 의미한다.

이로써 그동안 수학이 자신의 기초로 삼았던, 무모순성을 갖춘 공리계를 건설하는 것은 불가능하며 수학의 공리화에는 한계가 있음이 증명되었다. 수학의 확실성이란 사라져버린 꿈이거나, 또는 지금까지 수학자들이 생각해온 것과는 전혀 다른 그 무엇이어야 했다.

<수학의 확실성>(모리스 클라인 지음, 심재관 옮김, 사이언스북스 펴냄). ⓒ사이언스북스

이러한 서사를 담고 있는 <수학의 확실성>(심재관 옮김, 사이언스북스 펴냄)의 원제는 "수학, 확실성의 상실(Mathematics, The loss of certainty)"이다. 저자 모리스 클라인은 1980년에 이 책을 발표할 당시 뉴욕 대학교의 쿠란트 수리과학연구소 (Courant Institute of Mathematical Science)의 명예교수였으며, 수학사 및 수학 교육 분야의 대가로서 대중을 위한 수학책의 저자로도 이름이 높았다. (지금은 서거했다.) 이 책에서 저자는, 책의 원제에서 볼 수 있듯이 괴델의 불완전성 정리에 이르러 수학 기초론의 낙관적 전망이 실패했음을 생생하게 묘사하고, 새로운 기초, 새로운 미래의 수학이 필요함을 역설하고 있다.

또 저자는 책의 후반부에서 수학의 지나친 순수화는 수학의 고립을 가져오고 이는 수학의 건전성에 해로운 결과를 가져올 것이라고 경고하고 있다. 수학의 세계적 중심이었던 괴팅겐 대학교의 수학을 이끌었던 카를 프리드리히 가우스를 비롯해서 베른하르트 리만, 펠릭스 클라인 등은 모두 수학과 물리학의 적극적인 교류에 힘을 기울였었다. 저자가 속한 연구소의 소장이었던 리하르트 쿠란트는 괴팅겐 대학교에서 가우스의 제자였으며, 가우스의 맥을 이어 괴팅겐 대학교 수학부의 장을 지낸 바 있는데, 그 역시 수학의 지나친 순수 수학화를 경계하며 "이러한 모든 경향은 모든 과학에 위협이 되고 있다"고 했다. 이 책의 저자 역시 이런 견해를 지지하는 것이다.

내가 이 책을 읽은 것은 이 책이 막 번역되어 나왔던 대학 1학년 때의 겨울이었다. 당시 내가 읽은 것은 서울대학교 수학과의 박세희 교수가 번역해서 '대우학술총서'로 나온 책이었다. 그런데 책 후반부의 저자의 주장이 박세희 교수에게는 매우 거슬렸는지, 역자 후기에서 상당히 강한 어조로 저자를 비판하고 있어서 놀랐던 기억이 있다. "그 부제부터가 약간 선동적이고 그 내용도 약간의 편견과 자기 신념에의 고집이 섞여 있다"라고 표현했을 정도다.

나도 박세희 교수가 말한 것처럼 이 책의 부제가 확실성의 '상실'이 아니라 '추구'라 했으면 더 좋았을 거라고 생각한다. 그리고 순수 수학이냐, 응용 수학이냐 하는 논쟁은 이 책만의 것도 아니고 쉽게 끝날 문제도 아니며, 사실 정답이 따로 있는 문제도 아니다. 그러나 한편으로는 이렇게 불만스러운 점이 있으면서도 이 책을 번역해서 펴냈다는 것은, 역설적으로 이 책의 내용이 얼마나 뛰어난가를 말해준다고도 할 수 있다. 그해 겨울, 물리학과 수학에 한없이 목말라하던 대학 신입생이었던 나도 수학의 역사적 발전에 대한 풍부한 내용에 매료되어 이 책을 읽는 동안 행복할 지경이었다.

수학의 역사를 읽는 것은 위대한 수학자들에 대한 영웅담으로서도 흥미롭지만, 우리가 잘 알고 있다고 생각하는 수학 개념이 어떤 식의 변화를 겪고 어떤 논의를 거쳐서 지금과 같은 형태로 완성되는지를 지켜보는 일은 그보다 더욱 흥미롭다. 이런 모습을 제대로 보여주는 것은 수학자에게도 쉬운 일은 아닌데, 저자인 모리스 클라인은 과연 대가답게 전체적으로 수학의 주요한 흐름을 잘 보여주면서, 한편으로는 수학적 개념과 역사적 사건을 아주 구체적으로 설명해준다. 특히 수학 기초론과 관계되어 20세기 초반의 상황을 잘 해설하고 있다는 것이 이 책의 가장 큰 미덕이다. 지금은 우리나라에도 수학 기초론에 대한 책이 좀 더 소개되어 이 분야에 대해 읽을거리가 있지만, 이 책이 처음 번역되었던 1984년에는 이런 내용은 정말 가뭄의 단비 같았다.

수학이 인간에게 어떤 의미가 있는가 하는 것은 수리 철학자부터 수학 성적 때문에 고민하는 학생들까지 무수히 많은 사람들이 던지는 질문이다. 그런데 사실 이 질문에 올바로 대답하기 위해서는 수학이란 무엇인가라는 질문에 먼저 대답해야 한다. 그러나 이 질문도 역시 대답하기 쉬운 질문은 아니다. 말 할 필요도 없는 일이지만, 수학은 계산법만이 아니고, 시험 과목만이 아니다. (그러나 또한 우리나라의 많은 사람들은 무의식적으로 그렇게 생각하고 있을 거라고 추측한다. 학생들의 부담을 줄이기 위해 수학 내용을 줄이자는 전혀 논리적이지 않은 주장을 선의로(?) 하는 분들을 보면 더욱 그런 생각이 든다.) 수학은 인간의 고도의 정신 활동이며, 어쩌면 그 핵심인지도 모른다. 수학이 인간의 정신문명의 중요한 한 요소라는 것을 느끼기 위해서 한 권의 책만으로는 부족하겠지만, 그래도 한 권을 꼽아보라면, 이 책은 충분히 추천할 만한 책이라고 생각한다.

이 책을 박세희 교수가 번역한 대우학술총서 판은 지금은 절판되고, 2007년에 심재관 박사가 번역해서 사이언스북스에서 '사이언스 클래식' 시리즈로 다시 발간되었다. 모리스 클라인의 다른 저작으로는 <수학, 문명을 지배하다>(경문사 펴냄, 2005년)와 <지식의 추구와 수학>(이화여자대학교출판부 펴냄, 1994년)가 번역되어 있다.

수학 기초론과 20세기 전반의 수학에 대해서 어니스트 네이글과 제임스 뉴먼이 지은 <괴델의 증명>(승산 펴냄, 2010년), 콘스탄스 리드가 지은 <현대 수학의 아버지 힐베르트>(사이언스북스 펴냄, 2005년)를 더 읽어볼 만하다.

(이 글은 부산대학교출판부가 펴낸 비매품 교양 교재 <고전의 창>에 먼저 실린 글의 일부를 수정한 것입니다.)

수학 확실성이란?

20세기 수학에서 가장 두드러진 특징을 말하라고 하면 단연 수학 기초론의 출현을 꼽을 수 있다. 수학 기초론 연구자들이 등장하면서 수학의 연역적 측면뿐만 아니라 수학의 본질도 문제로 삼기 시작했다. 기초론 문제가 화두로 등장하게 된 직접적 계기는 집합론에서 발견된 역설 때문이었다.역설의 발견은 수학자들에게는 큰 충격이었다.

19세기 후반부터 일부 수학자들이 수학과 논리학의 관게에 주목하면서 수학의 기초에 관심을 기울이고 있었다. 한편에서는 논리학 위에 수학을 건설할 수 있다고 주장하는 사람들이 있었고 다른 한편에서는 논리학 원리를 수학에 적용하는 데에 회의적 시각을 보내는 이들이 있었다. 수학의 기초를 둘러싼 19세기 말의 논란은 큰 주목을 끌지 못했으나 20세기 초에 역설이 발견되면서 수학 기초에 대한 논란이 초미의 관심사가 되었다.

집합론에서 발견된 역설 가운데 대표적인 것이 러셀의 역설이다. 책들의 집합은 책이 아니며 따라서 자기 자신에 속하지 않는다. 그러나 관념들의 집합은 그 자체가 하나의 관념이므로 자기 자신에 속한다. 또 목록들의 목록은 그 역시 목록이다. 이렇게 어떤 집합은 자기 자신에 속하고 또 어떤 집합은 자기 자신에 속하지 않는다. 자기 자신을 원소로 갖고 있지 않은 집합들을 모두 모은 집합 N을 생각해보자. 과연 N은 어디에 속할까? 만일 N이 N에 속하지 않는다면 N의 정의에 따라 N에 속하게 된다.

집합론자들은 유클리드 기하학이 공리화(axiomatization)를 통해 엄밀성을 획득했듯이 집합론도 공리화를 통해 이러한 역설들을 해결할 수 있다고 생각했다. 그러한 이들 가운데 대표적인 사람이 프렝켈과 체르멜로였다. 그들은 집합의 개념을 멋대로 사용하기 때문에 역설이 생겨났다고 여겼다. 그들은 집합을 class와 set로 나누었다. set은 특별한 종류의 class로서 다른 class의 원소가 될 수 있는 class를 가리킨다. 이 정의에 따르면 러셀이 제시한 집합 N은 set가 아닌 class가 된다. 그런 방식으로 프렝켈과 체르멜로는 역설의 문제를 해결했다.

여러 역설들을 해결하기는 했지만 집합론의 공리화를 불만스럽게 생각하는 사람들이 여전히 있었다. 실수 체계와 집합론의 무모순성이 여전히 해결되지 않은 상태였다. 또한 프렝켈과 체르멜로가 정렬 가능 정리를 증명하는 과정에서 사용한 선택 공리(axiom of choice)도 논란거리였다. 선택 공리가 반드시 필요한 공리인가 하는 문제와 선택 공리가 다른 공리와 독립적인가 하는 문제는 해결되지 못한 채 남아있었다. 하지만 더 큰 문제는 과연 수학의 온당한 기초가 무엇이냐는 질문이었다. 집합론자들은 집합론을 공리화하면서 논리학을 그대로 가져와 사용했다. 논리학을 수학의 기초로 삼아도 좋은가 하는 문제가 자연스럽게 제기되었다.

집합론의 공리화를 비판하는 사람들 가운데 수학을 논리학으로 환원하려는 사람들이 있었다. 대표적인 사람이 러셀과 화이트헤드였다. 그들은 논리학으로부터 수학을 이끌어낼 수 있다고 생각했다. 즉 수학을 논리학의 확장이라고 보았다. 수학을 논리학으로 환원하려는 두 사람의 야심 찬 계획은 『수학 원리』라는 방대한 책으로 집대성되었다.

우선 그들은 논리학의 공리화에 착수했다. 무정의 개념으로 기초 명제, 명제의 부정, 두 명제의 논리곱 및 논리합, 그리고 명제 함수의 개념 등을 제시했다. 이제 이러한 개념들을 조합하여 명제들을 구성할 논리학 공리를 만들어 냈다. 러셀과 화이트헤드는 이러한 공리를 적용하여 아리스토텔레스의 삼단논법을 비롯한 논리학의 여러 원리들을 연역해 냈다.

그 다음으로 러셀과 화이트헤드는 조건 명제를 다루면서 유형이라는 개념을 도입했고 이를 바탕으로 집합론의 역설을 해결했다. 그리고 동치 관계라는 개념을 통해 자연수를 정의했다. 자연수가 정의되면 이로부터 실수가 정의되며 실수가 정의되면 기하학 도입이 가능해진다. 이렇게 해서 수학을 논리학으로 환원하는 논리주의의 계획이 완료되었다.

하지만 논리학 공리만 필요할 뿐 수학 공리는 필요 없으며 수학은 단지 논리학의 연장선상에 놓여 있을 따름이라는 논리주의자들의 주장은 많은 논란을 불러일으켰다. 이들이 사용한 공리는 아무런 알맹이가 들어 있지 않은 형식일 따름이다. 따라서 수학도 알맹이가 없는 형식에 불과하다. 그래서 앙리 푸앵카레는 “기호논리학은 불모의 분야가 아니다. 기호논리학은 바로 이율배반을 낳았다.”라고 비꼬았던 것이다.

직관을 통해 구성해 낸 기하학의 여러 개념들이 알맹이가 없는 형식적 개념으로 환원된다는 주장을 선뜻 받아들이기는 어렵다. 만일 수학이 순전히 논리학에서 도출된다면 어떻게 새로운 개념이 수학으로 들어오고 또 수학이 물질 세계에 응용되는 일이 가능한가 하는 의문은해결하기 어려웠다. 또한 논리주의자들의 공리는 지나치게 작위적이다. 특히 환원 공리를 반대하는 목소리가 높았다.

이러한 논리주의를 정면으로 비판하고 나선 사람들이 직관주의자였다. 직관주의의 선구자는 크로네커이다. 크로네커는 칸토어의 초한수 이론을 수학이 아니라 신비주의라고 매도했다. 그는 자연수가 직관적으로 명명백백하다는 이유에서 자연수를 받아들였다. 자연수는 “하느님이 만들었고” 나머지는 모두 인간이 만들어 낸 것이기 때문에 자연수를 제외하면 모두 의혹의 대상이라고 주장했다. 그는 무리수와 연속 함수를 수학에서 몰아내고자 했다. 크로네커는, 수학에서 다루는 대상물은 구성적 방식을 통해 얻어 낼 수 있는 것이어야 한다고 주장했다. 즉 어떤 대상물을 정의할 때 유한 번의 단계를 거쳐 그 대상물을 계산해낼 수 있는 방법이 제시되어야 한다는 것이다. 구성적 증명이 아니라는 이유에서 π가 초월수라는 린데만의 증명을 배격한 일화는 유명하다.

그러나 크로네커가 활약하던 당시에는 그의 견해에 동조하는 사람이 아무도 없었다. 그런데 역설이 발견되면서 크로네커의 직관주의가 다시 부활했다. 푸앵카레는 크로네커를 이어 직관주의를 강력히 옹호했다. 그는 역설이 생겨났다는 이유에서 집합론을 배격했고 수학을 무의미한 동어 반복(tautology)으로 전락시켰다고 논리주의도 반대했다. 그는 유한한 개수의 과정을 통해 정의할 수 없는 개념을 받아들이지 않았다. 따라서 무한 개수의 집합 모임에서 선택 공리를 통해 집합을 만들 경우, 그 집합은 실제로는 정의된 것이 아니라고 주장했다.

크로네커와 마찬가지로 푸앵카레도 정의와 증명은 구성적이어야 한다고 주장했다. 집합을 정의하면서 그 집합에 정의하고자 하는 대상물을 포함시키는 경우에 역설이 일어난다. 구성적이어야 한다는 요구 조건 아래에서는 그 정의는 올바른 정의가 아니다. 예를 들면 모든 집합의 집합 A는 제대로 된 정의가 아니다. 왜냐하면 집합 A의 원소 모두가 각기 정의되어야 하는데, A 안에 다시 A가 등장하기 때문이다.

푸앵카레 외에도 아다마르, 르베그, 보렐 등이 직관주의자의 입장에서 논리주의를 비판했지만 이들의 주장은 산발적이고 단편적이었다. 직관주의를 체계화한 사람은 브라우베르였다. 그는 수학적 사고를 스스로의 세계를 지어 나가는 구성 과정이라고 보았다. 즉 수학은 논리적으로 함의되는 명제를 도출하는 분야가 아니라 진리를 구성해내는 분야라는 것이다. 그는 “이런 구성적 과정을 거칠 때 숙고와 사고의 연마를 거쳐 어떤 것을 지고간적 지식으로 받아들여야 할지 또 어떤 것이 자명한지 결정할 수 있는 조건 아래에서만 수학 기초를 찾아 나서야 한다.”라고 주장했다. 수학적 개념은 언어, 논리, 경험에 앞서 이미 인간 마음속에 심어져 있다고 했다.

직관주의자들은 개념이 구성적이어야 한다는 철학에 입각해 새롭게 수학을 구성해 내고자 했다. 하지만 지금까지 미적분학, 기초 대수학, 기초 기하학을 재구성하는 데 그치고 있다.

또 다른 수학 기초론인 형식주의를 이끈 사람은 힐베르트였다. 그는 “현대 수학의 광대함에 비춰 볼 때 직관주의자들이 얻어 낸 초라한 파편, 불완전하고 고립되어 있는 결과들이 과연 무슨 의미를 지닐 것인가?”라며 직관주의를 비판했다. 또한 수학을 논리학으로 환원할 수 있다는 논리주의도 배격했다. 수학은 논리학 원리뿐만 아니라 수학 고유의 원리도 포함한다고 주장했다.

다비트 힐베르트에 따르면 수학은 기호들로 구성된 형식들의 집합이며 공리는 한 형식에서 다른 형식으로 옮겨 가는 규칙이다. 사용되는 기호는 특정한 의미를 지니지 않는다. 즉 형식주의자들은 기호로부터 모든 의미를 사상하고 나서 그 기호들의 조작에만 관심을 기울인다. 그러한 형식 체계의 무모순성을 밝히는 방법론이 메타 수학이다. 그는 메타 수학으로 기초론 문제를 해결할 수 있다고 확신했다. 특히 그는 무모순성 문제와 완비성 문제를 해결할 수 있다고 자신했다.

하지만 괴델의 충격적인 연구 결과가 나왔다. 괴델의 연구 결과에 따르면 통상적인 논리와 산술을 포괄하는 체계의 무모순성을 확립할 수 없다는 것이다. 즉 메타 수학으로는 산술의 무모순성을 증명할 수 없다는 의미이다.

또한 괴델은 자연수 이론을 포함하는 형식 이론 T가 무모순이면 T는 불완비하다는 사실을 증명했다. 이 결론에 따르면 무모순성을 얻는다고 해도 그 대가로 불완비성이라는 결함을 짊어져야 한다는 것이다. 괴델의 이 결과는 메타 수학뿐만 아니라 러셀-화이트헤드 체계와 체르멜로-프렝켈 체계에도 적용된다. 수학을 공리화하려는 시도는 이렇게 해서 결정타를 입었다.

『수학의 확실성』 [도서정보]

이 책의 저자 모리스 클라인(1908~1992년)은 저명한 응용수학자로 수학사와 수학 교육 분야에도 많은 논문과 저술을 남겼다. 특히 이 책 이외에도 『서구 문화와 수학(Mathematics in Western Culture)』, 『수학과 지식의 추구(Mathematics and the Search for Knowledge)』 등 일반인을 대상으로 한 명저들을 여러 권 남겨 수학의 대중화에 크게 공헌을 했다.

그는 “초등학교, 중고등학교 그리고 대학교에서도 수학을 현실과는 철저히 유리된 분야로 가르치고 있다. 학생들에게는 수학은 하루하루의 삶과 아무런 관련이 없는 것으로 비친다. 하지만 수학은 물리 현상이나 생물 현상뿐만 아니라 사회 현상을 이해하는 열쇠가 된다.”라며 수학의 응용을 강조했다. 수학을 가르치는 사람은 마땅히 수학이 다양한 분야에 어떻게 응용되고 있는지 설명해야 한다는 것이다. 또한 과학, 정치, 경제, 종교 등 문화 전반에서 수학이 갖는 의의도 파악해야 한다고 주장했다. 저자의 이러한 기본 관점을 염두에 두고 이 책을 읽는다면 이 책의 의의와 한계를 좀 더 용이하게 파악할 수 있을 것이다.

이 책은 출간 직후부터 상당한 비판을 받았다. 수학의 응용을 지나치게 강조하고 있다는 비판이 첫 번째였고, 수학의 확실성이 상실되었다는 주장이 경솔하고 독단적이라는 비판이 두 번째였다. 20세기 초반의 기초론 연구가 그 의도했던 바를 성취하지 못했다고 해서 확실성의 상실을 공언하기는 곤란하다는 것이다. 탈레스에서 유클리드가 출현하기까지 3세기의 세월이 소요되었던 점을 감안할 때 클라인의 결론은 성급하다는 반론이다. 더구나 괴델의 불완비성 정의로 모든 기초론 학파가 타격을 입은 것은 아니라며 클라인을 비판했다.

그러나 기초론을 전공하지 않은 응용수학자의 편향된 시각이라는 단점을 갖고 있기는 해도 수학이 확실한 학문이라는 일반인들의 생각을 허물어뜨린 거만으로도 이 책은 큰 가치를 갖는다. 포스트모더니즘의 시대에 걸맞게 이제 수학에도 여러 가지 담론이 함께 존재하고 있음을 이 책은 대중을 향하여 떳떳이 밝힌 셈이다.

또한 문화 전반에서 수학이 차지하는 의의를 밝혀야 한다는 그의 주장은 지당하다. 이 세상에는 홀로 존재하는 것은 아무것도 없다. 관계망 속에서만 참된 의미를 파악할 수 있다. 왜 수학을 공부해야 하고 그 쓸모는 무엇인가, 수학을 통해 세상을 이해하는 데 얼마만큼 도움을 받을 수 있는가, 인류 역사라는 대하장강에서 수학은 어떤 역할을 해 왔고 또 어디를 향해 흘러가는가 하는 문제는 결코 소홀히 할 수 없다.

이 책은 비전문가의 눈높이에 맞춰 수학 기초론을 다루고 있다. 수학의 여러 분야 중에서도 특히 수학 기초론은 난해하기로 악명이 높다. 모리스 클라인이라는 대가의 손이 아니었다면 이렇게 일반인의 접근이 가능한 책으로 탄생하기는 불가능했을 것이다.

2007년 봄에

심재관

출처: http://sciencebooks.tistory.com/899 [ScienceBooks]

<정수론>

먼저 정수론이란 정수의 성질을 연구대상으로 하는 수학의 한 분야이다. 수학의 가장 기초적인 학문 중 하나로 소수와 서로소, 모듈러 연산, 페르마와 오일러의 정리, 소수판정, 유클리드 알고리즘, 중국인의 나머지 정리 등이 포함된 학문이다.

동아사이언스 잡지에선 ‘프로그래머가 수학을 공부하는 이유:철통 암호 개발은 정수론부터’ 라는 기사를 적었다.

주요 내용은 암호학과 정수론의 밀접한 관계가 있다는 것이었다. 정수론(수의 성질을 연구하는 수학)을 공부하는 프로그래머가 늘고 있다. 개인정보 보호에 대한 목소리가 높아지면서 기업들이 앞다퉈 새로운 암호 개발에 투자하고 있기 때문이다. 삼성전자와 KT는 2013년 완전동형암호를 개발해 주목을 받은 천정희 서울대 수리과학부 교수를 정기적으로 초청해 프로그래머들에게 수학을 가르치고 있다. 첨단 기술 개발에 박차를 가하기 위해서는 암호의 토대를 이루는 정수론을 꼭 공부해야 한다는 것이였다.

또한 서울대학교 수학과 김명환 부교수님은 천 교수는 “불과 몇 년 전만 해도 수학을 기초로 한 암호 연구는 비용과 시간이 많이 들어 국내 산업계의 주목을 받지 못했지만, 개인정보 보호의 필요성이 커지면서 최근 1~2년 사이 많은 기업이 관심을 보이고 있다”고 소개했다. 2014년 천 교수에게 수업을 들은 조재익 IBM 보안사업부 부장은 기존 기기의 보안 취약점을 분석해 사물인터넷과 스마트폰에 들어가는 새로운 보안 알고리즘을 개발한다. 그는 “개발자에게 수학은 숙명도 같은 것”이라며, “스마트폰을 비롯해 여러 기기에서 사용하는 보안 방식은 정수론을 이용하고 있어 강의가 새로운 기술을 개발하는 데 도움이 된다”고 말했다

정수론이라고 하면 수를 다루는 학문으로 딱딱하게 생각하는 사람들이 많다. 단순한 계산이나 증명만하고 실생활에 쓸모없는 학문, 사실 나도 처음에는 딱딱하고 증명만 하는 학문이라 생각했다. 하지만 정수론에 대해 찾아보면서 우리 생활에 가장 중요한 보안과 관련된 암호의 기초학문이라는 것을 알게 되었다. 또 정수론은 수학의 꽃이라는 생각이 들었다. 마냑 수학을 대표하고 정수론이 없었더라면 수학이 존재하지 않았을지도 모른다.

) -->

정수론과 암호

) -->

김명환 (서울대학교 수학과 부교수)

) -->

암호라는 말을 들으면 대부분의 사람들은 간첩, 비밀공작, 전쟁 등 군과 관련된 것을 연상하게 된다. 오랜 암호의 역사를 보면 암호는 주로 군사 외교적인 목적으로 사용되어 왔다. 2차 세계대전에서 양측은 매우 정교한 암호를 사용했는데 연합군이 승리한 중요한 요인 중에 하나가 암호전에서의 승리라고 한다. 한편, 비 군용 암호의 사용이 급속히 늘어 난 것은 2차 세계대전 이후이다. 컴퓨터와 통신기술의 발달에 따라, 컴퓨터통신, 전자우편, 은행간 대금결재 등에 쓰이는 민수용 암호가 널리 쓰이기 시작하였다. 이러한 민수용 암호는 통신 내용을 제 삼자로 부터 보호한다는 기본적인 목적 외에도, 다수의 사용자가 편리하게 이용할 수 있어야 하고, 위장사용, 내용의 변경 등 다양한 공격에도 견딜 수 있어야 한다.

1970년대에 이런 목적을 두루 충족시키는 ‘열쇄가 공개된 암호체계(public key cryptosystem)’라는 새로운 암호체계가 제안되었다. 어떤 암호체계도 기본적으로 두 가지 과정을 거치는데 첫째는 ‘암호화 과정’ 이고 둘째는 ‘암호해독 과정’이다. 대부분의 암호체계에서는 첫번째 과정을 할 수 있는 사람은 누구나 두번째 과정도 할 수 있다. 따라서 암호화 하는 방법을 적에게 공개한다는 것은 상상할 수도 없었다. 그러나 이들은 이러한 생각이 언제나 옳지는 않다는 것을 알았다. 만약 암호화하는 방법을 알고 있더라도 해독하는 방법을 알아 내기가 매우 힘들다면 암호화하는 방법을 공개해도 큰 피해는 없을 것이다. 이런 생각에서 그들은 ‘함정함수(trapdoor function)’라는 개념을 만들었다. 암호화 과정을 하나의 함수로 보았을 때, 암호해독 과정은 그 함수의 역함수에 해당되고, 따라서 암호해독이란 그 역함수를 찾아 내는 작업인 것이다. 역함수를 구하기가 매우 어려운 함수를 함정함수라고 하는데, 수학의 세계에는 이러한 함수가 무궁무진하다.

) -->

암호에 쓰이는 계산 방법은 우리가 알고 있는 보통의 계산과는 다르다. 하지만 모르는 사이에 우리는 매일 이런 계산을 하고 있다. 시간 계산의 예를 보자. 5시에서 3시간 후는 8시이고 이것을 식으로 쓰면 3 + 5 = 8 이다. 그런데 11시에서 5시간 후는 4시이므로 식으로 표시하면 11 + 5 = 4 가 된다. 이러한 계산법을 12 를 ‘법’으로 하는 계산이라고 한다. 12 가 아닌 다른 자연수도 ‘법’으로 이용할 수 있으며, 덧셈과 뺄셈 외에 곱셈과 나눗셈도 가능하다. 이러한 계산에서 페르마(Fermat)의 작은 정리라는, 그의 천재성이 엿보이는 매우 유용한 정리가 있는데 그 내용은 p 가 소수일 때, 정수 a 의 p 승(a 를 p 번 곱한 수)은 p 를 ‘법’으로 a 와 같다는 것이다.

M.I.T.의 리베스트(Rivest), 샤미르(Shamir), 에이들만(Adleman)에 의하여 제안된 유명한 RSA 암호체계는 페르마의 작은 정리와 함정함수의 개념을 이용한 것이다. 우선 두 개의 크기가 비슷한 큰 소수 p 와 q 를 선택하여 비밀로 한다. 하지만 그것의 곱인 n = pq 는, 암호화 과정에 쓰이는 또 다른 수 E(암호화 열쇄 - encoding key)와 함께 공개한다. 암호송신자는 약속된 방법에 따라 송신문을 수자 M 으로 바꾼 다음, n 을 ‘법’으로 M 의 E 승을 계산한 값 C 를 송신하는데, 이 C 가 바로 암호문이다. 암호문 C 의 수신자는 이것을 풀기 위해서 D(암호해독 열쇄 - decoding key)가 필요하다. 이 D 는, C 의 D 승을 n 을 ‘법’으로 계산한 값이 수자화된 송신문 M 과 같아지도록 미리 정해 놓은 수로서 물론 비밀로 해야 한다. 이 방법의 핵심은 제 삼자도 n 과 E 를 알고는 있지만 p 와 q 는 모르기 때문에 D 를 구할 수 없다는 사실이다.

RSA 암호체계의 보안은 자연수의 소인수분해에 달려 있다. 암호문 C 를 도청한 적이 암호해독 열쇄 D 를 알아 내기 위하여는 n = pq 로 소인수분해할 수 있어야 하는데, p 와 q 가 크기가 비슷한 큰 소수라면 이 계산은 현실적으로 불가능하다. 예를 들어, 일초에 백만번의 연산을 할 수 있는 컴퓨터를 이용하여 현재 알려 진 가장 빠른 방법으로 계산한다 해도, 100 자리 수의 소인수분해에 약 100년 정도 걸린다고 한다. (재래식 방법으로는 우주의 역사 보다도 긴 시간이 필요하게 된다.) 따라서 이러한 암호체계는, 소인수분해에 대한 새로운 수학적 발견에 의하지 아니하고서는 깨뜨리기가 불가능한 것이다.

) -->

실제로 정수론을 전공하는 많은 수학자들이 효과적인 소수판정방법과 소인수분해방법을 찾는 연구를 하고 있으며, 연구 결과가 군사기밀 혹은 기업비밀로 분류되기도 한다. 소수판정방법의 연구가 안전한 암호화 키를 만들기 위해 필요한 연구라면, 소인수분해방법의 연구는 이러한 암호체계를 깨뜨리기 위해 필요한 연구라고 할 수 있다. 최근에 개발된 소수판정방법에 의하면, 100 자리 수는 약 45초, 200 자리 수는 약 6분 정도 걸린다고 한다. 한편, 버클리대학의 렌스트라(Lenstra)는 최근 타원곡선 이론을 써서 큰 수를 효과적으로 소인수분해하는 기존의 방법과는 전혀 다른 새로운 방법을 발견하여 수학계에 충격과 희망을 주고 있다.

이러한 일은 수학에서 빈번히 일어나는 현상의 한 예로서, 수학자들이 수학 자체의 심오함과 아름다움에 빠져 연구한 결과들이 뜻하지 않은 곳에서 중요한 응용이 발견되어 각광을 받는 경우이다. 많은 수학자들은 그 심오함 때문에 타원곡선을 반 세기 이상 연구해 왔지만 누구도 이것이 소인수분해와 연관될 것을 예상하고 연구하지는 않았다. 페르마도 그의 정리가 암호에 쓰일 것이라고는 꿈에도 생각하지 못했을 것이다.