정보를 셀 때 의미를 잠시 내려놓은 이유

메시지 네 개를 구분해 보내기

설명을 위해 네 가지 상태만 알리는 가상의 장치를 만들어 보자. 메시지는 ‘문이 열림’, ‘문이 닫힘’, ‘점검 중’, ‘전원 부족’이다. 각 상태에 00, 01, 10, 11을 붙이면 두 자리의 이진 부호로 네 가지를 구분할 수 있다. 받는 쪽은 이 표시의 사전만 가지고 있으면 원래 문장을 복원할 수 있다. 전선을 설계하는 사람은 그 문장이 누구에게 어떤 의미인지 전부 알아야 할 필요는 없다.

이 장치가 하루 내내 ‘문이 닫힘’만 보내는 경우와 네 상태를 비슷한 빈도로 보내는 경우는 다르다. 다음 메시지를 예측하기 쉬운 쪽에서는 반복되는 정보를 줄여 표현할 여지가 크다. 단, 어떤 부호가 어느 상태를 가리키는지와 확률에 대한 규칙은 미리 정해야 한다. 예측하기 쉽다는 말은 수신자가 아무런 약속 없이 맞힐 수 있다는 뜻이 아니다.

네 가지가 같은 확률이라면 한 번의 선택에 대한 엔트로피는 2비트다. 어느 한 가지가 항상 나온다면 이 단순한 확률 모델의 엔트로피는 0이다. 메시지의 값어치가 없다는 판정이 아니다. 모델 안에서 무엇이 나올지 불확실하지 않다는 뜻이다. 같은 ‘문이 닫힘’이라는 신호도 사고 현장에서는 매우 중요할 수 있다. 정보량과 중요성이 다른 질문이라는 점이 여기서 드러난다. 이산 엔트로피와 비트 단위 (새 창)

가능한 상태가 여덟 가지로 늘고 모두 같은 확률이면 세 자리로 구분할 수 있다. 가능성의 수가 두 배가 될 때마다 필요한 이진 선택이 한 번 늘어난다. 로그를 쓰는 이유를 이 작은 예에서 볼 수 있다. 물리적 저장 공간의 모든 세부와 문장의 길이를 한꺼번에 계산한 것은 아니다. 먼저 구분해야 할 선택과 그 확률을 정한 것이다.

보내는 쪽과 받는 쪽이 서로 다른 사전을 쓰면 부호가 온전히 도착해도 원래 상태를 복원하지 못한다. 00을 한쪽은 ‘열림’, 다른 쪽은 ‘닫힘’으로 읽는 경우다. 신호의 구분과 부호에 관한 약속은 모두 필요하지만 서로 대신할 수 없다.

뜻을 빼고 남긴 공학의 질문

섀넌은 1948년 「통신의 수학적 이론」에서 한 지점에서 선택한 메시지를 다른 지점에서 정확하게 또는 근사하게 재현하는 문제를 다룬다. 서론에서는 메시지에 의미가 있음을 인정하면서도, 그 의미의 측면을 여기서 풀 공학적 문제와 구분한다. 장치를 설계할 때는 실제로 선택될 한 문장뿐 아니라 선택될 수 있는 메시지들의 집합을 다뤄야 하기 때문이다. 원 논문 서론 (새 창)

예를 들어 어떤 전송 방식이 편지를 그대로 복원했다면, 보낸 사람의 거짓말도 그대로 복원할 수 있다. 통신의 성공과 편지 내용의 진실은 다른 검사다. 마찬가지로 글자 하나도 틀리지 않고 전달된 문장이 낯선 언어라면, 수신자는 그 내용을 이해하지 못할 수 있다. 부호를 복원할 수 있는 능력만으로 의미를 이해했다고 결론 내릴 수 없다.

통신 장치의 설계자는 서로 다른 뜻을 지닌 메시지에도 공통으로 적용할 조건이 필요하다. 선택 가능한 메시지와 확률, 전송 중에 생기는 잡음을 정하면 부호를 구분하는 능력을 계산할 수 있다. 편지의 진실이나 수신자의 이해를 살필 때에는 글의 맥락과 언어 지식처럼 이 계산에서 제외했던 요소들이 다시 필요해진다.

정보량을 파일의 용량과 곧바로 같다고 부르는 것도 조심해야 한다. 저장된 파일에는 표현 방식의 차이, 압축 정도, 부가 정보가 들어간다. 같은 내용이 서로 다른 길이의 파일로 저장될 수 있고, 같은 길이의 파일들이 같은 확률 구조를 갖는 것도 아니다. 비트는 파일 크기에도 쓰이지만, 엔트로피는 정해 둔 확률 모델에서 평균적으로 얼마나 불확실한지 나타내는 양이다.

따라서 어떤 수치를 읽을 때에는 ‘어느 메시지 집합과 확률을 가정했는가’를 함께 물어야 한다. 메시지 하나가 얼마나 놀라운지 따지는 양과, 가능한 메시지들 전체에 대한 평균 엔트로피도 구분할 수 있다. 희귀한 상태 하나의 뜻이 중요해서 정보량이 커지는 것이 아니라, 모델에서 그 상태가 드물기 때문에 더 큰 불확실성 감소로 계산되는 것이다.

줄이는 부호와 더하는 부호

통신에는 언뜻 반대처럼 보이는 두 작업이 있다. 자주 반복되는 표현을 줄여 효율적으로 나타내는 압축과, 전송 중의 오류를 알아보거나 고치기 위해 여분의 표시를 더하는 작업이다. 둘은 서로 다른 문제를 풀기 때문에 함께 사용할 수 있다. 하나는 메시지를 표현하는 데 필요한 분량을 다루고, 다른 하나는 잡음 속에서 구분을 지키는 데 필요한 조건을 다룬다.

간단한 오류 검출 예를 보자. 가상 장치가 세 자리의 부호 뒤에 1의 개수가 짝수가 되도록 한 자리를 덧붙인다고 하자. 101에는 0을 더해 1010으로 보낸다. 한 자리만 뒤집히면 짝수 조건이 깨져 이상이 생겼다는 것을 알 수 있다. 서로 다른 두 자리가 뒤집히면 짝수 조건이 그대로 유지되어 이 검사로는 오류를 검출하지 못한다. 이 방식은 모든 오류를 검출하지 못하고, 어느 자리가 틀렸는지도 알려 주지 않는다. 같은 짝수 조건을 만족하는 부호가 여러 개이므로, 도착한 부호의 조건만으로 원래 보낸 것을 하나로 고를 수는 없다.

섀넌의 논문은 정해진 잡음 채널의 용량과 정보 발생률을 비교해, 적절한 부호화로 오류 빈도를 아주 작게 할 수 있는 조건을 제시한다. 여기에는 채널 모델과 충분한 부호화의 가정이 있다. 어떤 통신이든 속도를 마음껏 높이면서 오류를 완전히 없앨 수 있다는 말이 아니다. 논문은 좋은 부호가 존재한다는 논의와 그것을 실제로 만드는 방법의 어려움도 나눈다. 원 논문 정리 11과 14절 논의 (새 창)

실제 부호를 선택할 때에는 어떤 잡음을 가정했고 어떤 오류까지 구분할 수 있는지 정해야 한다. 전선이나 장치의 고장이 그 범위를 벗어나면 추가적인 대비도 필요하다. 오류율을 낮추려면 지연, 계산량, 전송 속도 사이의 선택도 생긴다. 수학적 가능성과 실제 구현의 비용을 함께 봐야 성과를 과장하지 않는다.

이런 구분이 자리 잡으면 음성, 글, 그림을 각각 완전히 다른 문제로만 다루지 않고 부호와 채널의 관계로 검토할 수 있다. MIT가 섀넌의 연구를 디지털 통신의 기반으로 소개하는 맥락도 여기에 있다. 이 틀을 실제 통신에 적용하는 과정에서는 신호를 만드는 장치, 부호를 계산하는 방법, 전송 조건을 각각 구현해야 한다. MIT의 연구사 안내 (새 창)

문 하나를 알리는 데 필요한 서로 다른 약속

처음의 네 상태 장치로 돌아가 보자. 00을 ‘문이 열림’으로 보내는데 한 자리가 바뀌어 01이 도착하면, 수신기는 이를 ‘문이 닫힘’으로 읽는다. 01도 네 가지 유효한 부호 중 하나이기 때문이다. 네 상태를 두 자리로 빠짐없이 채운 표현에서는 부호만 보고 이 변화가 오류인지 알아낼 여지가 없다.

각 부호에 짝수 조건을 맞추는 한 자리를 붙이면 상황이 달라진다. 00은 000으로, 01은 011로 보낸다. 000이 001로 바뀌어 도착하면 1이 홀수 개이므로 오류를 발견한다. 다만 어디가 뒤집혔는지는 이 검사만으로 고를 수 없다. 여분의 자리는 오류 검출에 쓰였고, 오류를 고치는 능력은 또 다른 조건을 요구한다. 같은 비트라도 메시지를 구분하는 두 자리와 검사를 위한 한 자리는 맡은 일이 다르다.

그 위에는 여전히 부호표의 약속이 있다. 양쪽이 00을 같은 상태로 읽어야 하며, 센서는 실제 문이 어떤 상태인지 제대로 측정해야 한다. 정보이론은 그 가운데 메시지를 표현하고 채널을 통해 구분해 내는 문제에 집중한다. 장치가 말하는 뜻을 전부 하나의 수치로 바꾸기보다, 풀어야 할 부분을 분명하게 정해 계산할 수 있게 만든 것이다.

네 개의 상태, 두 개의 메시지 비트, 하나의 검사 비트를 나란히 놓으면 섀넌이 잠시 의미를 내려놓은 이유가 구체적으로 보인다. 무엇을 줄일 수 있고 무엇을 더해야 하는지는 메시지의 확률과 잡음에 따라 달라진다. ‘문이 열림’이라는 말의 중요성을 계산하는 대신, 그 말을 다른 세 상태와 구분해 전할 조건을 마련한 것이다.