유니코드 (Unicode)

우분투와 같은 리눅스에서는 파일이름에도 UTF-8을 사용할 수 있는데 윈도우는 UTF-8파일 이름을 지원하지 않는다. macOS에서는 문서내용에는 일반적인 유니코드를 쓰지만, 파일시스템에는 Unicode NFD를 쓴다.

• Win-Rar은 3.80부터 유니코드 이름을 갖는 파일을 지원한다.
• 도쿠위키는 최신버전인 Anteater부터 유니코드파일이름을 지원한다.
• 한글 초중종성 자모 코드로 유니코드 만드는 공식 ¹⁾

BOM (Byte Order Mark)은 '바이트 순서 표시'이다.

유니코드가 little-endian 인지 big-endian 인지 아니면 UTF-8 인지 쉽게 알 수 있도록, 유니코드 파일이 시작되는 첫부분에 보이지 않게, 2~3바이트의 문자열을 추가하는데 이것을 BOM이라고 함. 텍스트 에디터 화면에서는 보이지 않고, 헥사 에디터(Hex Editor)*로 열었을 때만 보임.

UTF-8 코드는 원래 그 자체로 구별이 가능하기 때문에 괜히 BOM이 필요없다. 그래서, UTF-8에는 BOM이 없는 것이 보통인데, 오래된 프로그램은 BOM이 있는 UTF-8 파일을 읽을 때 오작동할 수 있다.

윈도우의 메모장에서 UTF-8 로 저장을 하면 항상 BOM을 붙인다. 그런데 인터넷에 올려서 리눅스 서버에서 사용될 HTML/CSS/XML 파일을 UTF-8로 작성할 때에는 BOM이 있으면 문제가 생길 수 있다.

• 울트라에디트의 헥사 모드(Ctrl+H)로 UTF-8 파일을 보면, 16비트 유니코드처럼 보이고 BOM이 있든 없든 항상 FF FE 라는 엉뚱한 BOM이 나타난다. 이것은 울트라에디터가 유니코드를 편집할 때, 내부적으로 '16비트 little-endian 유니코드 (UTF-16LE)'로 변환하여 편집하기 때문이다. 진짜 헥사 에디터로 보아야만 UTF-8의 BOM인 EF BB BF 가 제대로 보이게 된다. 물론 BOM이 없는 UTF-8이라면 BOM이 없는 것으로 나온다.

• Notepad ++ (NPP; 무료 메모장)과 같은 프로그램으로 완벽하게 유니코드문서를 편집할 수 있다.

MS윈도에서 내부적으로 사용되는 유니코드(UTF-16LE)는 16비트 즉 2바이트로 하나의 글자를 표현함. 바이트가 2개니까 이 바이트에 순서가 정해져 있어야 함. big-endian 은 있는 순서 그대로 바이트를 자연스럽게 나열하는 것이고, little-endian 은 속도를 빠르게 하기 위해서 거꾸로 나열하는 것임. MS윈도의 유니코드는 리틀 엔디안 little-endian이 기본값임. 빅 엔디안 유니코드는, 울트라에디터 v11 등의 일부 프로그램에서 전혀 인식하지 못했었다.

• 유니코드 콘소시엄
• BOM