잊을 만하면 찾아보는 소식 중 하나가 리만 가설의 검증이다. 20여년 전 ‘리만 가설을 증명하라’는 교양과목 과제에 ‘풀어도 교수가 검증할 수 없다’고 호기롭게 적어냈다가 낙제한 쓴맛을 오랫동안 게우지 못하고, 지금도 지하철이나 이불 속에서 문득 떠올려 검증의 진행 상황을 찾아보곤 한다. 이렇게 지속해서 찾아보게 만드는 것이 교수의 의도였는지도 모르겠다. 어쨌든 리만 가설은 오늘도 풀리지 않았다.
리만 가설은 1859년 독일 수학자 베른하르트 리만의 10장짜리 논문에 등장한 난제다. 리만은 ‘제타 함수의 자명하지 않은 근의 모든 실수부는 2분의 1’이라고 제시하면서 이런 설명을 덧붙였다. “증명을 시도했지만 당장은 결론을 내지 못했다. 지금의 논의에서 필수적이지 않아 일단 넘어간다.” 리만이 증명하는 과정에서 흔적을 남겼을 것으로 추정되는 서류들은 7년 뒤 그의 사망과 함께 불에 타 사라졌다. 이로 인해 리만 가설은 슈퍼컴퓨터를 동원하는 현대에 이르러서도 증명되지 않는 미제로 남아 있다.
낙제를 줬던 교수의 지혜를 빌려 조금 쉽게 설명하면 리만 가설은 ‘2, 3, 5, 7, 11’처럼 자신과 1로만 나눌 수 있는 숫자, 즉 소수(素數)의 배열에 일정한 규칙이 있다는 이론의 가정이다. 소수에서 단 하나의 짝수인 2와 그 뒤로 불규칙하고 무한하게 나열된 홀수들을 하나로 연결하는 성질이 있다는 얘기다.
리만 가설은 숱한 도전과 실패로 이어졌다. 영화 ‘뷰티풀 마인드’에서 배우 러셀 크로가 연기한 주인공의 실존 인물로, 1994년 노벨 경제학상을 수상하고 2015년 사망한 미국 프린스턴대 존 내시 교수가 리만 가설에 몰입해 조현병에 시달렸다는 일화가 유명하다. 제2차 세계대전에서 나치 독일군의 에니그마 암호체계를 뚫어 연합군 승전에 기여한 영국 수학자 앨런 튜링은 한때 리만 가설을 부정하는 시도를 했다고 한다. 증명이나 부정은 모두 결론을 끌어내지 못했다.
미국 클레이수학연구소는 2000년 세계 7대 수학 난제, 이른바 ‘천년의 문제’를 설정해 하나당 100만 달러(약 11억원)의 현상금을 걸었다. 리만 가설은 그중 하나로 포함됐다. 리만 가설을 증명해 학계에서 공인을 받으면 거액의 상금을 손에 쥐는 것은 물론이고, 큰 족적을 남길 수 있다. 만 40세 미만이라면 4년마다 국제수학연맹에서 시상하는 ‘수학계 노벨상’ 필즈 메달도 노려볼 만하다. 하지만 세계 각국에서 리만 가설을 증명했다는 주장은 대부분 오류를 드러냈고, 그중에는 연구비를 후원받거나 대중의 관심을 끌기 위한 허위도 많았다.
리만 가설이 증명되면 많은 함수를 폐기하거나, 반대로 새롭게 증명할 것이라는 의견이 있다. 누군가는 신용카드·휴대전화처럼 실생활에서 광범위하게 사용되는 공개키 암호를 무너뜨려 혼란을 일으킬 것이라고 걱정하고, 다른 누군가는 수학 교과서에서 익혀야 할 공식 하나를 추가할 뿐이라며 냉소를 짓는다. 리만 가설이 증명되지 않는 한 이 모든 의견은 추측이다.
재야에서 나타난 천재, 혹은 많은 연구비와 긴 시간을 들여 그 작업을 진행하고 있는 기업·대학 연구실이 리만 가설을 증명했다고 선언하는 날이 언제 찾아올지 아무도 모른다. 아니, 영원히 오지 않을 가능성도 있다. 하지만 이것 하나만은 분명하다. 3세기째 풀리지 않는 난제에 도전하는 인간의 그 집요함은 설령 결실을 맺지 못해도 또 하나의 진보를 이뤄낼 것이라는 사실 말이다.
인간은 언제나 미지의 영역을 집요하게 파고들었고, 그 과정에서 시도와 우연을 반복한 결실로 문명을 이룩해 왔다. 감염병과 1년 가까이 맞서 싸우고 있는 지금 필요한 것도 그 끝을 알 수 없는 결말에 굴복하지 않는 집요함일지도 모른다.
모든 난제가 난공불락인 것만은 아니었다. 리만 가설과 함께 천년의 문제 7개 중 하나였던 푸앵카레 추측은 정복됐다. 2002년 인터넷포럼에 올라온 러시아 수학자 그리고리 페렐만의 논문은 7년 뒤 클레이수학연구소에서 검증돼 ‘푸앵카레 정리’라는 이름으로 재탄생했다. 프랑스 수학자 앙리 푸앵카레가 1904년 논문으로 처음 제시한 뒤로 한 세기 만의 일이다. 지금까지 유일하게 해결된 천년의 문제로 남아 있다. 페렐만은 100만 달러의 상금 수령을 거부하고 어머니와 함께 거주하는 작은 집에 은둔해 실업수당으로 연명하며 연구에 몰두하는 길을 택했다.
GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재, 수집, 재배포 및 AI학습 이용 금지
