컴퓨터의 언어와 사람의 언어

😊 본 글은 한 권으로 읽는 컴퓨터 구조 책을 읽고 정리했습니다.

 

우리가 생각하는 언어란 무엇일까?

- 언어는 생각이라는 형체가 없는 개념에 모두가 이해할 수 있는 새로운 형체를 부여하며, 이를 공유할 수 있다.
- 공유하는 언어라는 개념을 통해서 복잡한 생각을 쉽게 전달할 수 있다.
- 사회가 공유하는 약속
- ???

대충 국어시간에 배운 언어는 이런 느낌이었던 것 같다.

언어는 위에 말한 것과 같이 기호들의 집합을 통해서 소통을 할 수 있게 해준다.

 

하지만, '두ㅡㅂ젣'과 같은 기호들의 집합이 언어이지는 않다.

언어는 기호들의 집합이기만 해서는 안되며 사용하는 당사자들이 공감할 수 있는 문맥을 두어서 하나의 기호의 집합에 같은 의미를 두어야 한다.

위에 적은 '두ㅡㅂ젣'가 예쁘게 생겼다고 해서 나 혼자 '의자'를 '두ㅡㅂ젣'라고 부를 수는 없다.

 

한글로 소통하는 우리와는 다르게, 컴퓨터는 비트라는 이진법의 수로 알아듣고, 대답을 한다.

 

대체 컴퓨터는 어떻게 우리는 알아들을 수 없는 0과 1(비트)로 사람과 소통을 할 수 있는 지를 이번 글에서 알아보도록 하겠다.

으😠 이진법 멈춰!

 

숫자는 어떻게 적을 수 있을까?

위에서 이야기한 것처럼 컴퓨터는 0과 1만 받아들일 수 있다.

또한, 우리는 이진수를 사용한다는 힌트를 얻었으므로 우리가 사용하는 10진수를 2진수로 바꾸어 적는다면 양수는 표현이 가능할 것 같다.

 

그렇다면 0과 1사이의 작은 수들, 그리고 음수는 어떻게 표현할 수 있을까?

 

0과 1이라는 제한된 수들로 이들을 표현할 수 없을 것만 같다.

하지만, 이런 수들을 표현할 수 없었다면 컴퓨터는 우리의 많은 연산들을 대체해주지 못했을 것이다.

그렇다면 컴퓨터는 이런 복잡한 문제를 어떻게 해결하고 있는 지 알아보자.

 

음수의 표현

동심파괴의 현장 / 출처 : 에브리타임

이제는 공공연하게 알려져버린 21억의 진실🥲

위의 예시로 표현을 하기 위하여 32비트를 잡는다고 가정해보자.

 

그렇다면 0과 1이 32개... 2진수로 한다면 최대 값이 42억쯤..? 뭔가 이상하다.

 

우리가 아는 2진수로는 분명 32비트라면 2^32 = 약 42억을 표현할 수 있어야하는데,

동물농장의 포인트는 왜 21억밖에 안되게 해두었을까?

21억밖에 안된다 -> 31비트만 사용한다 -> 1비트는 놀고있나??

 

여기에 음수 표현의 비밀이 숨어있다. 최상위 1비트를 부호를 의미하는 비트로 사용하는 것이다.

그래서 부호가 있는 수의 최상위 비트가 0이라면 양수, 1이라면 음수 이런 식으로 음수를 표현하게 된다.

그래서 부호가 있는 32비트는 0 ~ 4294967296이 아닌 -2147483648 ~ 2147483647까지의 수를 다룰 수 있는 것이다.

 

그렇다면 그냥 최상위 비트에 1을 붙여주기만 하면 음수가 되는 것일까?

그렇지 않다. 그렇게 사용한다면 연산하기도 복잡하며 그로 인해 비용의 증가가 일어난다.

 

이를 해결하기 위하여 보수의 개념을 적용하여 아래와 같이 표현하였다.

두가지 방법이 있는데, 1의 보수는 0을 두가지로 표현하는 등 성능문제가 존재하여 2의 보수가 많이 쓰인다고 한다.

 

보수에 따라 계산법이 완전히 달라지므로 알고있는 것이 좋겠다.

 

 

실수의 표현

우리는 최상위 1비트를 부호로 두어서 음수처리를 해주었다.

이는 같은 정수이기 때문에 보다 쉬운 방향으로 처리할 수 있었으나 보다 어려운 친구가 존재한다.

 

정수가 아닌 실수들이다.

0.5와 같은 정수가 아닌 유리수부터 0.3333...과 같은 무리수까지

이렇게 생각할 수 있다. '그냥 절반 나누어서 앞에 정수부, 뒤에 소수부 하면 안되나요?!'

 

그렇다면 예시로 물리학에서 사용되는 상수들을 제시해보겠다.

- 플랑크 상수

- 아보가드로 수

위와 같이 엄청난 차이를 보이는 것을 알 수 있다.

 

절반으로 나누어서 이 두 수를 표시하려면 대락 200비트는 할당을 해줘야만 할 것이다.

위에서 동물농장도 32비트로 표현을 하는데, 너무나 비효율적이라 생각된다.

이런 문제를 해결하기 위해 제시된 방법이 부동소수점이다.

 

부동소수점 또한 여러개의 방식이 제시되었는데, 대표적으로 사용되는 방식은 IEEE 754 표준이다.

이 방식은 정밀도를 최대한 높이기 위하여 정규화라는 트릭을 사용했다.

정규화는 가수를 조정하여 맨 앞에 0이 없도록 만들어준다.

이런 식으로 소수점을 당겨서 1만을 남기고, 맨 앞이 1이라는 것을 알고 있으므로 생략하는 트릭으로 비트를 아낄 수 있었다.

 

또한 아래와 같이 가수부 / 지수부를 나누어 효율적으로 표시할 수 있도록 하였다.

이런 식으로 나누어 기본 정밀도 (32비트)에선

정도의 범위를 표현할 수 있으며,

 

2배 정밀도의 부동소수점에서는

의 범위를 표현할 수 있다.

 

이는 위에서 말했던 플랑크 상수와 아보가드로 수가 기본 정밀도(16비트)에 들어가는 굉장한 효율을 보여준다.

우리는 부동소수점을 이용하여 합리적인 범위 내에서 많은 소수를 연산할 수 있게 되었다.

텍스트의 표현

위에서 이야기했던 것처럼 컴퓨터는 비트를 이용하여 소통을 하며, 여러가지 트릭을 이용하여 실수들을 표현할 수 있음을 알았다.

 

하지만 아직 사람과 어떻게 소통하는 지는 좀 의문이 든다.

사람은 자연어로 소통하는데, 컴퓨터는 실수에서 놀고있지 않은가.

 

이제 어떻게 컴퓨터에게 자연어를 알려줄 수 있었는가를 알아보자.

 

아스키 코드

수를 표현했을 때와 같이 텍스트를 표현하는 것에도 다양한 아이디어가 경쟁하였다.

그 중 승리한 것이 정보 교환을 위한 미국 표준 코드 - ASCII (American Standard Code for Information Interchange) 이다.

 

ASCII(아스키)가 텍스트를 표현하는 방법은 모든 기호에 대하여 7비트의 값을 할당하여 텍스트일 경우 이 값들을 해석하여 결정하였다.

아스키 코드 테이블. 7비트의 최대값인 127까지 쓰여있다.

친숙한 알파벳이나 기호에 비하여 1번의 SOH나 2번의 STX같은 것은 다른 문자에 비하여 좀 이질적이라 느껴진다.

이는 제어문자라고 불리는 코드로서 출력하는데 쓰지 않고 장치를 제어하기 위하여 사용한다.

 

그렇다면 한글은 어떻게 쓰고 있죠?

위의 아스키 코드는 충분히 흥미로우나 하나 의문이 드는 점이 있다.

 

"영어만 있으면 다른 언어는 어떻게 쓰고 있나요?"

 

이는 초기 컴퓨터는 미국산 혹은 영국산이었고, 비교적 긴 시간 영어만 되어도 문제가 없었다.

하지만 이후 컴퓨터가 대중화 됨에 따라서 다양한 언어가 지원이 필요하였고, 한국어(KS C 5601 등등) 중국어 등등의 표준을 만들어 사용하게 되었다. 이렇게 각기 다른 표준을 사용한 이유는 각자 언어를 사용해야 하는데, 한 비트의 Cost가 높았기 때문에 많은 비트를 문자에 할당하기가 어려웠기 때문이다.

 

하지만 기술이 발전하며 비트의 Cost의 감소됨에 따라서 유니코드라는 새로운 표준이 만들어졌고, 16비트의 코드를 문자에 부여하여 7비트를 쓰던 이전보다 더 많은 문자를 표현할 수 있게 하였다.

 

이후 유니코드는 다양한 문자들을 지원하여 16비트로도 부족하게 되었고 현재 21비트의 유니코드를 사용하고 있다고 한다.

아직까지는 21비트의 유니코드는 부족하지 않으나, 현재 지원되지 않는 고대 문자나 😸 대신 웃는 강아지 등을 만들지 않으리라는 법이 없으므로 언젠가는 부족해질 수 있으리라 생각한다.

 

이러한 21비트를 채우려는 유니코드의 창대한계획은 링크에 소개되어 있다.

 

인코딩

이렇게 21비트까지 늘어나면서 문자를 하나 표현하는 것에 드는 비용이 이전 ASCII의 7비트에 비하여 폭발적으로 증가했다.

과거에 비하여 1비트에 소모되는 Cost가 굉장히 저렴해졌지만, 그렇다고 7비트로 표현가능한 문자에 21비트를 할당을 할만큼 저렴하지는 않다. 그리고 기분도 나쁘다

 

그래서 우리는 문자 코드에 따라서 각기 다른 Encoding(인코딩)을 사용하여 이런 문제를 해결하려 한다.

인코딩이란 다른 비트 패턴을 표현하기 위하여 사용하는 비트 패턴을 의미한다.

 

그래서 인코딩까지 적용을 한다면 비트 - 숫자 - 문자 - 숫자(문자)와 같은 흐름으로 처리된 문자를 보고 있는 것이다.

 

또 여기에도 다양한 방법이 제시되었는데, 대표적으로 사용되는 UTF-8에 대하여 소개해보려 한다.

 

UTF-8

UTF-8은 유니코드 변환 형식 8비트 (Unicode Transformation Format-8bit)라는 의미로 모든 문자를 8비트의 덩어리로 묶어서 표시하게 된다.

 

UTF-8의 변환 규칙은 다음과 같다.

출처 : 위키피디아

다음과 같이 ASCII의 7비트로 표시되는 부분은 7비트를 할당하고 최상단의 비트를 0으로 표시해서 구분해주는 것을 알 수 있다.

 

그리고 이후의 규칙을 보면 첫 바이트(8비트)에서 사용할 바이트 덩어리 수만큼 1을 붙여주고 0을 하나 붙여준다.

ex) 3개의 덩어리 사용 -> 1110****

 

그리고 첫 바이트는 위의 규칙을 만족시킨 후, 남은 비트를 사용한다.

 

그리고 이어지는 바이트들은 첫 두 비트를 10으로 작성해주고 나머지 6비트를 사용한다.

 

위와 같은 로직을 사용한다면 4개의 바이트를 이용하여 Unicode가 가진 21비트를 표현할 수 있다.

 

어라? 세개, 네개의 바이트를 사용한다면 오히려 비효율적인 것 아닌가요?

맞다. 저장되는 문자열을 찍어보면 알겠지만 한국어는 3Byte를 사용하여 오히려 나쁜 성능을 내고 있다.

 

하지만 ASCII 문자열이 1바이트로 사용 가능하다는 큰 장점과 하위호환성 등 다양한 장점으로 인하여 표준으로 자리 잡았다고 볼 수 있다.

 

정리

우리는 0과 1밖에 모르는 컴퓨터가 어떻게 우리와 소통하는 지 알 수 있었다.

 

다양한 트릭을 통해서 0과 1로 광범위한 실수를 다룰 수 있었으며, 이러한 범위가 있는 수에 문자를 부여하여 자연어 혹은 기호를 표현하는 법도 알아보았다. 그리고 이런 것들을 보다 효율적으로 표현하는 방법인 인코딩에 대하여도 알아보았다.

 

막연하게 다른 세계에 있던 컴퓨터와 조금 가까워진 느낌이다. 

다음 글에서는 컴퓨터가 왜 0과 1만 알아들을 수 있게 만들어졌으며 어떠한 물리구조로 이루어져있는 지 알아보겠다.