[Charset] 유니코드(Unicode) / 인코딩 ( ASCII , EUC, UTF..)

 

ASCII코드

• 7비트 부호체계
• 000(0X00)부터 127(0X7 F)까지 총 128개의 문자 집합 제공
• 나머지 1bit는 통신 에러 검출을 위해 사용(Parity bit) - 현재는 더 이상 사용 X
• 장점: 매우 단순, 간단 -> 어느 시스템에서도 적용 가능
• 단점: 2byte 이상의 코드를 표현할 수 없다, 일어 중국어등 표현 불가
  
  

 

EUC-KR

:  한글 지원을 위해 유닉스 계열에서 나온 완성형 코드 조합이다.

완성형 코드란 완성 된 문자 하나하나마다 코드 번호를 부여한 것이다. 

 

 

유니코드

 : 유니코드란, 숫자와 글자, 즉 키와 값이 1:1로 매핑된 형태의 코드 인것이다.

UNICODE는 전 세계의 모든 문자를 컴퓨터에서 일관되게 표현할 수 있도록 고안된 코드 조합이다. 여기서 주의해야 할 것이 유니코드는 '인코딩'이 아니라는 것이다. 유니코드는 전세계 거의 모든 문자를

2bytes 숫자로 1:1 매핑 시키는 '방식'을 말하고, 유니코드를 표현하는 여러가지 '인코딩' 방식들이 존재하는 것이다.

 

 

UTF-8(Universal Coded Character Set + Transformation Format – 8-bit)

: 유니코드를 위한 가변 길이 문자 인코딩(멀티바이트) 방식 중 하나로, ANSI의 단점을 보완하기 위해 만들어졌다.

ANSI는 다국어를 지원하기 위해 CodePage 정보를 미리 알고 있어야 한다. UTF-8은 멀티바이트 개념을 사용하여 하나의 Character Set에 거의 모든 문자를 넣었다.

 

멀티바이트란 표현해야 하는 문자에 따라 글자 크기를 가변으로 변경하여 사용하는 것을 말한다.

 

	AASCII - 알파벳	ASCII - 숫자	한글	한자	일어
EUC-KR	a =1 바이트 0 : 0x61	1 =1 바이트 0 : 0x31	가 =2 바이트 0 : 0xb0 1 : 0xa1	韓 =2 바이트 0 : 0xf9 1 : 0xdb	あ =2 바이트 0 : 0xaa 1 : 0xa2
UTF-8	a =1 바이트 0 : 0x61	1 =1 바이트 0 : 0x31	가 =3 바이트 0 : 0xea 1 : 0xb0 2 : 0x80	韓 =3 바이트 0 : 0xe9 1 : 0x9f 2 : 0x93	あ =3 바이트 0 : 0xe3 1 : 0x81 2 : 0x82

 

 

 

UTF-8  vs UTF-16

인코딩 방식:
UTF-8은 가변 길이 인코딩 방식입니다. 각 유니코드 문자를 1바이트부터 최대 4바이트까지 가변 길이로 인코딩합니다. 문자의 유니코드 코드 포인트에 따라 바이트 수가 다릅니다.

UTF-16은 고정 길이 인코딩 방식입니다. 모든 문자를 2바이트로 인코딩합니다. 기본적으로는 BMP(Basic Multilingual Plane)에 있는 문자는 2바이트로 표현되지만, Supplementary Plane에 있는 문자는 4바이트로 표현될 수 있습니다

메모리 공간:
UTF-8은 대부분의 영문 텍스트에 대해 UTF-16보다 더 적은 메모리를 사용합니다. 그러나 몇몇 유니코드 문자는 3바이트 또는 4바이트로 인코딩되어 UTF-16보다 더 많은 메모리를 사용할 수 있습니다.

UTF-16은 모든 문자를 2바이트로 표현하기 때문에 BMP 안에 있는 문자에 대해서는 UTF-8보다 더 많은 메모리를 사용하지만, Supplementary Plane에 있는 문자를 다룰 때는 UTF-8보다 더 적은 메모리를 사용합니다.


UTF-8은 가변 길이 인코딩으로 메모리를 절약하면서 다양한 문자를 효율적으로 표현할 수 있습니다. 반면 UTF-16은 고정 길이 인코딩으로 모든 문자를 동일한 크기로 표현합니다.

 

 

 

 

// 문자열
String originalString = "안녕하세요! Hello!";
        
// 문자열을 바이트로 인코딩 (UTF-8 사용)
byte[] byteArray = originalString.getBytes(StandardCharsets.UTF_8);
        
// 바이트를 문자열로 디코딩 (UTF-8 사용)
String decodedString = new String(byteArray, StandardCharsets.UTF_8);

 

 

---

https://norux.me/31

https://gaeng-stroy.tistory.com/163