Xem mã nguồn của Biên mã kí tự

[[Tập tin:Papertape-Wikipedia-example-dark1-2000px.png|thumb|[[Băng đục lỗ]] với từ "Wikipedia" được biên mã theo [[ASCII]]. Sự xuất hiện và không xuất hiện một lỗ lần lượt tượng trưng cho 1 và 0; ví dụ, "W" được biên mã thành "1010111".]]

'''Biên mã kí tự''' ([[tiếng Anh]]: '''character encoding'''; còn được gọi là '''mã hoá kí tự''' (động từ), '''bảng mã''' hay '''bộ mã kí tự''' (danh từ) là quá trình gán các số cho các [[Kí tự (điện toán)|kí tự]] [[đồ hoạ]], nhất là những con chữ trong [[ngôn ngữ|ngôn ngữ của con người]], cho phép chúng có thể được [[lưu trữ dữ liệu|lưu trữ]], [[Truyền dữ liệu|truyền đi]] và [[Điện toán|chuyển đổi]] bằng các [[máy tính]] [[điện tử số|số]].<ref>Định nghĩa từ [http://techterms.com/definition/characterencoding The Tech Terms Dictionary]</ref> Các giá trị dạng số tạo thành một biên mã kí tự được gọi là các "[[điểm mã]]" (''code point'') và khi gộp lại thì gồm có một "không gian mã" (''code space''), một "[[trang mã]]" (''code page'') hoặc một "[[Character Map|ánh xạ kí tự]]".

Các mã kí tự thời kì đầu gắn liền với [[điện báo]] điện tử hoặc điện báo quang chỉ có thể thể hiện một tập con trong số các kí tự được dùng trong ngôn ngữ viết, đôi khi bị giới hạn thành chỉ còn các chữ cái [[in hoa]], [[Hệ đếm|con số]] và một số [[dấu câu]]. Việc thể hiện dữ liệu dưới dạng kĩ thuật số trong máy tính hiện đại với chi phí thấp đã cho phép thêm nhiều mã kí tự đồ sộ hơn, chẳng hạn như [[Unicode]], thể hiện phần lớn các kí tự trong nhiều ngôn ngữ viết. Biên mã kí tự sử dụng các tiêu chuẩn được quốc tế chấp nhận cho phép sự trao đổi văn bản toàn cầu dưới dạng điện tử.

==Lịch sử==
Lịch sử của mã kí tự gắn liền với nhu cầu ngày càng tăng của thông tin biểu tượng dựa trên kí tự qua trung gian là máy tính ở khoảng cách xa, sử dụng các phương tiện điện tử từng được coi là mới mẻ. Các loại mã sớm nhất được dựa trên các hệ thống chuyển vị (''cyphering'') và biên mã thủ công được viết tay, chẳng hạn như [[chuyển vị Bacon]], [[Chữ Braille|Braille]] và bảng mã kí tự tiếng Trung bốn chữ số được dùng cho [[Trung văn điện mã]] ([[Hans Schjellerup]], 1869). Với việc áp dụng các kĩ thuật điện-cơ và điện tử, những loại mã sớm nhất này đã được điều chỉnh cho phù hợp với những khả năng và hạn chế của các cỗ máy thời kì đầu. Loại mã kí tự được truyền bằng điện được biết đến sớm nhất, [[mã Morse]], được giới thiệu vào những năm 1840, sử dụng một hệ thống bốn "biểu tượng" (tín hiệu ngắn, tín hiệu dài, khoảng trắng ngắn và khoảng trắng dài) để sinh mã với độ dài biến thiên. Dù nhiều lần được sử dụng vào mục đích thương mại bằng máy móc, mã Morse thường được dùng như một loại mã thủ công, được viết bằng tay thông qua một [[phím điện báo]], có thể được giải mã bằng tai và vẫn còn được dùng trong [[phát thanh nghiệp dư]] và [[Đài dẫn đường vô hướng|hàng không]]. Phần lớn các loại mã có độ dài mỗi kí tự cố định hoặc là chuỗi có độ dài biến thiên của các mã có độ dài cố định (v.d.[[Unicode]]).<ref>{{chú thích web | url=http://blog.smartbear.com/development/ancient-computer-character-code-tables-and-why-theyre-still-relevant/ | title=Ancient Computer Character Code Tables – and Why They're Still Relevant | publisher=Smartbear | date=17 April 2014 | access-date=29 April 2014 | author=Tom Henderson | archive-date=2018-06-11 | archive-url=https://web.archive.org/web/20180611031209/https://blog.smartbear.com/development/ancient-computer-character-code-tables-and-why-theyre-still-relevant/ | url-status=dead }}</ref>

Một số ví dụ về các hệ biên mã kí tự phổ biến là mã Morse, [[mã Baudot]], Mã chuẩn Hoa Kỳ dùng cho Trao đổi Thông tin ([[ASCII]]) và Unicode. [[Unicode]], một hệ biên mã được xác định rõ ràng và dễ mở rộng, đã thế chỗ hầu hết biên mã kí tự sớm hơn nó.

[[Mã Baudot]], một biên mã năm bit, được [[Émile Baudot]] tạo ra vào năm 1870, được cấp bằng sáng chế năm 1874, được Donald Murray chỉnh sửa năm 1901, và được CCITT tiêu chuẩn hoá thành Bảng chữ cái Điện báo Quốc tế Số 2 (''International Telegraph Alphabet No. 2'' hay ITA2) vào năm 1930. Cái tên "baudot" đã bị áp dụng một cách sai lầm vào ITA2 và nhiều biến thể khác. ITA2 đã tồn tại nhiều thiếu sót và thường được "cải tiến" bởi nhiều nhà sản xuất thiết bị, đôi khi gây ra vấn đề về tương thích. Năm 1959, quân đội Mĩ đã định nghĩa ra mã [[Fieldata]], một loại mã sáu hoặc bảy bit, được Quân đoàn Truyền tin Hoa Kỳ giới thiệu. Dù Fieldata đã đề cập đến nhiều vấn đề của thời đó (v.d. chữ và số được sắp xếp để máy đối chiếu), Fieldata đã không đạt được mục tiêu của mình và không tồn tại được lâu. Vào năm 1963, mã ASCII (American Standard Code for Information Interchange; ''Mã chuẩn Hoa Kỳ dùng cho Trao đổi Thông tin'') lần đầu tiên được ra mắt (X3.4-1963) bởi hội đồng ASCII (gồm ít nhất một thành viên của hội đồng Fieldata, W. F. Leubbert), giải quyết được phần lớn những khuyết điểm của Fieldata, bằng cách sử dụng một dạng mã ngắn gọn hơn. Nhiều sự thay đổi là khó thấy, chẳng hạn như tập kí tự sắp xếp được trong những khoảng số nhất định. ASCII63 đã trở nên thành công, được chấp nhận rộng rãi trong công nghiệp, và với những bản phát hành tiếp đó của mã ASCII 1967 (bổ sung thêm chữ in thường và sửa một số vấn đề về "mã điều khiển") ASCII67 đã được chấp nhận một cách tương đối rộng rãi. Bản chất hướng-Mĩ của ASCII67 đã phần nào được giải quyết trong chuẩn [[ECMA-6]] Châu Âu.<ref>{{chú thích web | url=https://www.sr-ix.com/Archive/CharCodeHist/index.html | title=An annotated history of some character codes | date=1 March 2010 | access-date=1 November 2018 | author=Tom Jennings | archive-date=2016-05-22 | archive-url=https://web.archive.org/web/20160522024759/http://worldpowersystems.com/J/codes/ | url-status=dead }}</ref>

[[Tập tin:Blue-punch-card-front-horiz.png|thumb|Thẻ đục lỗ 80 cột Hollerith với tập kí tự EBCDIC]]
[[Herman Hollerith]] đã phát minh ra biên mã dữ liệu bằng thẻ đục lỗ vào cuối thế kỉ 19 để phân tích dữ liệu điều tra dân số. Ban đầu, mỗi vị trí của lỗ đại diện cho một phần tử dữ liệu khác nhau, nhưng về sau, thông tin dạng số được biên mã bằng cách đánh số những hàng bên dưới từ 0 đến 9, với mỗi chỗ đục trong một cột đại diện cho số hàng của nó. Dữ liệu chữ cái về sau được biên mã bằng cách cho phép đục nhiều hơn một lỗ mỗi cột. Các [[máy lập bảng]] (''tabulating machine'') điện cơ biểu diễn ngày tháng bên trong máy bằng thời gian của các xung nhịp so với chuyển động của thẻ chạy trong máy. Khi IBM chuyển sang xử lí điện tử, bắt đầu từ mẫu sản phẩm [[IBM 603]] Electronic Multiplier, nó đã sử dụng nhiều loại biên mã nhị phân khác nhau gắn với mã thẻ đục lỗ.

[[Số thập phân được mã hoá nhị phân]] của [[IBM]] (''Binary Coded Decimal'', viết tắt là [[BCD (biên mã kí tự)|BCD]]) là một sơ đồ biên mã sáu bit đã được IBM sử dụng từ những năm 1953 trong các mẫu máy tính [[IBM 702|702]]<ref>{{chú thích web|url=http://www.bitsavers.org/pdf/ibm/702/22-6173-1_702prelim_Feb56.pdf|title=IBM Electronic Data-Processing Machines Type 702 Preliminary Manual of Information|date=1954|id=22-6173-1|page=80}}</ref> và [[IBM 704|704]] của công ty, và trong các dòng máy [[IBM 700/7000 series|7000 Series]] và [[IBM 1400 series|1400 series]] về sau, cũng như trong các thiết bị ngoại vi liên quan. Vì mã thẻ đục lỗ thời đó chỉ sử dụng các chữ số được cho phép, các chữ cái tiếng Anh viết hoa và một và kí tự đặc biệt, 6 bit là đủ dùng. BCD đã mở rộng biên mã dạng số bốn bit đơn giản hiện có để bao gồm bảng chữ cái và các kí tự đặc biệt, dễ dàng ánh xạ nó với biên mã thẻ đục lỗ vốn đang được sử dụng rộng rãi. Mã của IBM được dùng chủ yếu với các thiết bị của IBM; các nhà cung cấp máy tính cùng thời có các loại mã kí tự riêng, thường là sáu bit, nhưng thường có khả năng đọc được các loại băng do thiết bị của IBM tạo ra. BCD là tiền thân của [[EBCDIC]] (Extended Binary Coded Decimal Interchange Code; ''Mã Trao đổi Thập phân Được mã hoá Nhị phân Mở rộng),'' một sơ đồ biên mã tám bit được phát triển vào năm 1963 cho máy [[IBM System/360]] với một tập kí tự lớn hơn, bao gồm cả các chữ cái in thường.

Các giới hạn của những tập kí tự này sớm trở nên rõ ràng, và một số phương pháp dành riêng cho vấn đề này đã được phát triển để mở rộng chúng. Nhu cầu hỗ trợ thêm các [[hệ chữ viết]] của các ngôn ngữ khác nhau, bao gồm họ chữ [[CJK]] trong các [[chữ viết Đông Á]], đặt ra yêu cầu hỗ trợ một lượng kí tự lớn hơn nhiều và một cách tiếp cận có hệ thống về biên mã kí tự thay cho các cách tiếp cận đặc biệt trước đây.{{citation needed|date=September 2018}}

Trong quá trình phát triển các biên mã kí tự chung có thể hoán đổi được cho nhau, các nhà nghiên cứu vào những năm 1980 đã gặp phải tình thế tiến thoái lưỡng nan rằng, một mặt, dường như cần phải thêm nhiều bit hơn để có thể chứa được các kí tự bổ sung; nhưng mặt khác, đối với những người dùng một tập kí tự tương đối nhỏ trong bảng chữ cái La-tinh (chiếm phần lớn số người dùng máy tính) thì những bit bổ sung đó lại là một sự lãng phí rất lớn tài nguyên máy tính vốn đã đắt đỏ và khan hiếm vào thời điểm đó (vì chúng sẽ luôn bị bỏ đi đối với những người dùng này). Vào năm 1985, [[Ổ đĩa cứng|ổ cứng]] của một máy tính tầm trung chỉ có thể lưu trữ khoảng 10 megabyte, và có giá khoảng 250 USD trên thị trường bán sỉ (và thường cao hơn nhiều nếu được mua riêng tại cửa hàng bán lẻ),<ref name="Strelho">{{chú thích báo |last1=Strelho |first1=Kevin |title=IBM Drives Hard Disks to New Standards |url=https://books.google.com/books?id=zC4EAAAAMBAJ&pg=PA29 |access-date=November 10, 2020 |work=InfoWorld |publisher=Popular Computing Inc. |date=April 15, 1985 |pages=29–33}}</ref> vậy nên vào thời đó mỗi bit đều được tận dụng triệt để.

Giải pháp thoả hiệp cuối cùng cũng được tìm ra và phát triển vào Unicode, đó là bỏ đi giả định (có từ thời mã điện báo) rằng một kí tự chỉ luôn tương ứng trực tiếp với một chuỗi bit cụ thể. Thay vào đó, các kí tự đầu tiên sẽ được ánh xạ vào một kiểu biểu diễn trung gian dùng chung dưới dùng các con số trừu tượng được gọi là [[điểm mã]]. Các điểm mã sau đó sẽ được biểu diễn theo nhiều cách và với những số bit mỗi kí tự mặc định khác nhau (đơn vị mã) phụ thuộc vào ngữ cảnh. Để biên mã các điểm mã cao hơn chiều dài của đơn vị mã , chẳng hạn từ 256 trở lên đối với đơn vị 8 bit, giải pháp là triển khai [[biên mã với chiều rộng biến thiên]] (''variable-width encoding''), nơi mà một chuỗi thoát sẽ báo hiệu ràng các bit theo sau nên được phân tích thành một điểm mã cao hơn.

==Thuật ngữ==

; Các thuật ngữ trong biên mã kí tự:
[[Tập tin:KB Dubeolsik for Old Hangul (NG3).svg|thumb|365x365px]]
* Một ''kí tự'' là một đơn vị văn bản nhỏ nhất có giá trị ngữ nghĩa.
* Một tập ''kí tự'' là một tập hợp các kí tự có thể được nhiều ngôn ngữ cùng sử dụng. ''Thí dụ:'' Tập kí tự La Tinh được dùng trong tiếng Anh và hầu hết các ngôn ngữ ở châu Âu, trong khi tập kí tự Hy Lạp chỉ được dùng trong tiếng Hy Lạp.
* Một ''tập kí tự biên mã'' là một tập kí tự mà trong đó, mỗi kí tự tương ứng với một số duy nhất.
* Một ''điểm mã'' của một tập kí tự biên mã là bất kì giá trị nào được cho phép trong tập kí tự hoặc không gian mã.
* Một ''không gian mã'' là một khoảng số nguyên có giá trị là điểm mã.
* Một ''đơn vị mã'' là một chuỗi bit được dùng để biên mã mỗi kí tự trong một danh mục (''repertoire'') theo một dạng biên mã cho trước. Nó còn được gọi là một ''giá trị mã'' trong một số tài liệu.<ref>{{chú thích web |title=Unicode glossary |url=https://unicode.org/glossary/#code_value |publisher=Unicode consortium}}</ref>

; Danh mục kí tự

Danh mục kí tự (''character repertoire'') hay ''tập kí tự trừu tượng'' là một tập trừu tượng của hơn một triệu kí tự được tìm thấy trong nhiều hệ chữ viết bao gồm chữ La tinh, Kirin, Trung Quốc, Triều Tiên, [[Nhật Bản]], Do Thái và Aram.

Các biểu tượng khác chẳng hạn như kí hiệu âm nhạc cũng được cho vào danh mục kí tự. Cả tiêu chuẩn Unicode và [[GB18030]] đều có một danh mục kí tự. Khi những kí tự mới được thêm vào một tiêu chuẩn, các tiêu chuẩn khác cũng sẽ thêm các kí tự đó vào nhằm duy trì sự nhất quán.

Kích cỡ đơn vị mã tương đương với số lượng bit cho mỗi biên mã cụ thể:
* Một đơn vị mã trong [[US-ASCII]] gồm 7 bit;
* Một đơn vị mã trong [[UTF-8]], [[EBCDIC]] và GB18030 gồm 8 bit;
* Một đơn vị mã trong [[UTF-16]] gồm 16 bit;
* Một đơn vị mã trong [[UTF-32]] gồm 32 bit.

''Ví dụ về đơn vị mã:'' Xét một [[Xâu (khoa học máy tính)|xâu]] gồm các chữ cái "abc" theo sau bởi kí tự {{unichar|10400|DESERET CAPITAL LETTER LONG I}} (được biểu diễn bằng 1 char32_t, 2 char16_t hoặc 4 char8_t). Xâu đó chứa:
* Bốn kí tự;
* Bốn điểm mã
* Hoặc:
*: một đơn vị mã trong UTF-32 (00000061, 00000062, 00000063, 00010400)
*: năm đơn vị mẵ trong UTF-16 (0061, 0062, 0063, d801, dc00), hoặc
*: bảy đơn vị mã trong UTF-8  (61, 62, 63, f0, 90, 90, 80).

Theo quy ước, mỗi kí tự trong Unicode được kí hiệu bắt đầu bằng 'U+' theo sau là giá trị điểm mã theo hệ thập lục phân. Khoảng giá trị điểm mã hợp lệ trong Unicode tiêu chuẩn là từ U+0000 đến U+10FFFF, gồm các hai giá trị trên, được chia thành 17 [[Mặt phẳng (Unicode)|mặt phẳng]], được đánh dấu bằng số từ 0 đến 16. Các kí tự trong khoảng từ U+0000 đến U+FFFF nằm trong mặt phẳng 0, được gọi là [[Mặt phẳng (Unicode)#Mặt phẳng Đa ngữ Cơ bản|Mặt phẳng Đa ngữ Cơ bản]] (''Basic Multilingual Plane'' hay BMP). Mặt phẳng này chứa những kí tự thông dụng nhất. Các kí tự trong khoảng từ U+10000 đến U+10FFFF trong các mặt phẳng khác được gọi là các kí tự bổ sung.

Bảng sau đây là một số ví dụ về giá trị điểm mã:
{| class="wikitable MsoNormalTable"
! Kí tự
! Điểm mã Unicode
! Con chữ
|-
| A La tinh
| U+0041
|Α
|-
| Latin sharp S
| U+00DF
| ß
|-
| ''Đông'' trong chữ Hán
| U+6771
|東
|-
| Dấu và
| U+0026
| &
|-
|Dấu chấm than ngược
|U+00A1
|¡
|-
|Dấu đoạn
|U+00A7
|§
|}

Một điểm mã được biểu diễn bằng một chuỗi các đơn vị mã. Sự ánh xạ được định nghĩa bởi biên mã. Cho nên, số lượng đơn vị mã cần thiết để biểu diễn một điểm mã phụ thuộc vào biên mã:
* ''UTF-8:'' các điểm mã ánh xạ đến chuỗi gồm một, hai, ba hoặc bốn đơn vị mã.
* ''UTF-16:'' các đơn vị mã dài gấp đôi so với đơn vị mã 8 bit. Vì thế, bất kì điểm mã nào với một giá trị vô hướng nhỏ hơn U+10000 được biên mã thành một đơn vị mã. Mỗi điểm mã với giá trị từ U+10000 trở lên sẽ cần hai đơn vị mã. Các cặp đơn vị mã này có tên gọi riêng trong UTF-16: [[UTF-16#cite note-Unicode7Ch3s8-5|"Unicode surrogate pairs".]]
* ''UTF-32:'' đơn vị mã 32 bit đủ rộng để mỗi điểm mã chỉ cần một đơn vị mã để biểu diễn.
* ''GB18030:'' nhiều đơn vị mã với mỗi điểm mã là điều thường gặp, do đơn vị mã nhỏ. Các điểm mã được ánh xạ đến một, hai, ba hăọc bốn đơn vị mã.<ref>{{chú thích web | url=https://docs.oracle.com/javase/tutorial/i18n/text/terminology.html | title=The Java Tutorials - Terminology | publisher=Oracle | access-date=25 March 2018 }}</ref>

=={{anchor|CCS}}Mô hình biên mã Unicode==
[[Unicode]] và các tiêu chuẩn song hành của nó, [[Tập Kí tự Toàn Cầu]] (''Universal Character Set'') ISO/IEC 10646, cùng tạo nên một biên mã kí tự hiện đại và thống nhất. Thay vì ánh xạ các kí tự trực tiếp thành các [[Octet (điện toán)|octet]], chúng lại định nghĩa riêng biệt những kí tự nào có sẵn, [[số tự nhiên]] tương ứng ([[điểm mã]]), cách những con số kia được biên mã thành một loạt các số tự nhiên với kích cỡ cố định (đơn vị mã) và cuối cùng là cách các đơn vị trên được biên mã dưới dạng một luồng các octet. Mục đích của việc phân tách này là để thiết lập nên một tập hợp phổ quát các kí tự có thể được biên mã theo nhiều cách khác nhau.<ref name=utr17>{{chú thích web |url=https://www.unicode.org/reports/tr17/ |title=Unicode Technical Report #17: Unicode Character Encoding Model |date=11 November 2008 |access-date=8 August 2009}}</ref> Việc biểu diễn mô hình này một cách đúng đắn đòi hỏi các thuật ngữ chính xác và cụ thể hơn "tập kí tự" và "biên mã kí tự". Các thuật ngữ được sử dụng trong mô hình hiện đại như sau:<ref name=utr17/>

{{anchor|danh mục}}Một '''danh mục kí tự''' là một tập hợp đầy đủ các kí tự trừu tượng mà một hệ thống hỗ trợ. Danh mục có thể được coi là ''đóng'', tức là không được phép thêm bớt nếu chưa tạo ra một tiêu chuẩn mới (như là trường hợp của ASCII và phần lớn các chuẩn ISO-8859), hoặc nó có thể được coi là ''mở,'' tức là cho phép thêm bớt (như trường hợp của Unicode và ở một mức độ nào đó là các [[trang mã Windows]]). Các kí tự trong một danh mục cụ thể phản ánh các quyết định được đưa ra về các chia các hệ chữ viết thành các đơn vị thông tin cơ bạn. Các biến thể cơ bản của bảng chữ cái [[Chữ Latinh|Latinh]], [[Bảng chữ cái Hy Lạp|Hy Lạp]] và [[Bảng chữ cái Kirin|Kirin]] có thể được tách ra thành các chữ cái, chữ số, dấu câu và một số ''kí tự đặc biệt'' chẳng hạn như dấu cách; tất cả chúng đều có thể được sắp xếp thành các chuỗi thẳng hàng đơn giản và được hiển thị theo cùng thứ tự đọc. Nhưng kể cả với những bảng chữ cái trên thì các [[dấu phụ]] vẫn gây ra sự phức tạp: chúng có thể được xem như một phần của một kí tự chứa một chữ cái và dấu phụ (được gọi là kí tự dựng sẵn), hoặc là các kí tự khác nhau. Cách thứ nhất cho phép một hệ thống xử lí hệ thống văn bản đơn giản hơn nhiều nhưng cách thứ hai sẽ cho phép việc sử dụng bất kì tổ hợp chữ cái – dấu phụ nào trong văn bản. [[Chữ ghép]] cũng gây ra vấn đề tương tự. Các hệ chữ viết khác, chẳng hạn như Ả Rập và Do Thái, được biễu diễn bằng một danh mục kí tự phức tạp hơn để phù hợp với những như văn bản song hướng và các con chữ được nối với nhau theo những cách khác nhau trong những tình huống khác nhau.

Một '''tập kí tự được mã hoá''' (''coded character set'' hay CCS) là một [[Hàm (toán học)|hàm]] ánh xạ các kí tự sang các [[điểm mã]] (mỗi điểm mã đại diện cho một kí tự). Ví dụ, trong một danh mục cụ thể, chữ cái "A" hoa trong bảng chữ cái Latinh có thể được biểu diễn bằng điểm mã 65, kí tự "B" là 66, vân vân. Nhiều tập kí tự được mã hoá có thể dùng chung một danh mục; ví dụ [[ISO/IEC 8859-1]],các trang mã 037 và 500 của IBM đều cùng bao phủ cùng một danh mục nhưng lại ánh xạ chúng sang các điểm mã khác nhau.

'''Một dạng biên mã kí tự''' (''character encoding form'' hay CEF) là một ánh xạ từ các điểm mã tới các ''đơn vị mã'' nhằm tạo điều kiện lưu trữ trong một hệ thống biểu diễn các số dưới dạng các chuỗi bit với độ dài cố định (bất kì hệ thống máy tính nào trên thực tế), Ví dụ, một hệ thống lưu trữ thông tin số học bằng các đơn vị 16 bit chỉ có thể biểu diễn một cách trực tiếp các điểm mã từ 0 đến 65535 trong mỗi đơn vị, còn những điểm mã lớn hơn (chẳng hạn từ 65536 đến 1.4 triệu) có thể được biểu diễn bằng nhiều đơn vị 16 bit. Sự tương ứng này là do CEF định nghĩa.

Tiếp theo, một '''sơ đồ biên mã kí tự''' (''character encoding scheme'' hay CES) là một ánh xạ từ các điểm mã tới một ''chuỗi các octet'' nhằm tạo điều kiện lưu trữ trên những hệ thống tệp dựa trên octet hoặc truyền phát qua một mạng dựa trên octet. Một số sơ đồ biên mã kí tự đơn giản gồm có [[UTF-8]], [[UTF-16BE]], [[UTF-32BE]], [[UTF-16LE]] hoặc [[UTF-32LE]]; các sơ đồ biên mã kí tự phức hợp, chẳng hạn như [[UTF-16]], [[UTF-32]] và [[ISO/IEC 2022]], chuyển qua lại giữa một số sơ đồ đơn giản bằng cách sử dụng các [[dấu thứ tự byte]] (BOM) hoặc [[chuỗi thoát]]; các sơ đồ nén thì cố gắng giảm bớt số byte sử dụng mỗi đơn vị mã (ví dụ như [[Standard Compression Scheme for Unicode|SCSU]], [[Binary Ordered Compression for Unicode|BOCU]], và [[Punycode]]).

Mặc dù [[UTF-32BE]] là một sơ đồ biên mã đơn giản hơn, phần lớn hệ thống làm việc với Unicode thường sử dụng [[UTF-8]] – [[tương thích ngược]] với ASCII độ dài cố định và ánh xạ các điểm mã Unicode tới các chuỗi octet với độ dài biến thiên, hoặc [[UTF-16BE]] – tương thích ngược với UCS-2BE độ dài cố định và ánh xạ các điểm mã Unicode tới các chuỗi từ 16 bit với độ dài biến thiên. Xem bài [[so sánh các biên mã Unicode]] để biết thêm chi tiết.

Cuối cùng là những '''giao thức cấp cao''' cung cấp thông tin bổ sung để lựa chọn một biến thể kí tự Unicode nhất định, đặc biệt khi có các biến thể khu vực khác nhau mà trong Unicode lại là cùng một kí tự. Một ví dụ là thuộc tính <code>xml:lang</code> trong [[XML]].

Mô hình Unicode sử dụng thuật ngữ '''ánh xạ kí tự''' đối với các hệ thống cũ gán trực tiếp một chuỗi kí tự thành một chuỗi byte, bao phủ tất cả các lớp CCS, CEF và CES.<ref name="utr17" />

== Tập kí tự, ánh xạ kí tự và trang mã ==
Trước đây, các thuật ngữ "biên mã kí tự", "ánh xạ kí tự", "tập kí tự" và "trang mã" từng là từ đồng nghĩa trong [[khoa học máy tính]], vì một tiêu chuẩn sẽ đồng thời chỉ định một danh mục kí tự và cách chúng được biên mã thành một luồng các đơn vị mã – thường là một kí tự mỗi đơn vị mã. Tuy nhiên, ngày nay, các thuật ngữ này có ý nghĩa riêng dù liên quan đến nhau,<ref name="SteeleMSDN">{{chú thích web|url=https://docs.microsoft.com/en-us/archive/blogs/shawnste/whats-the-difference-between-an-encoding-code-page-character-set-and-unicode|author=Shawn Steele|title=What's the difference between an Encoding, Code Page, Character Set and Unicode?|date=15 March 2005|website=Microsoft Docs}}</ref> nhờ vào những nỗ lực của các cơ quan tiêu chuẩn trong việc sử dụng các thuật ngữ chuẩn xác khi viết về và thống nhất nhiều hệ biên mã.<ref name=utr17/> Kể cả như vậy, các thuật ngữ vẫn được sử dụng thay cho nhau, với ''tập kí tự'' phổ biến hơn cả.

Một "'''trang mã'''" thường được hiểu là một biên mã [[hướng byte]] nhưng liên quan đến đối với một số bộ biên mã (bao phủ các hệ chữ viết khác nhau), nơi nhiều kí tự dùng cùng mã trong hầu hết tất cả các trang mã đó. Những bộ trang mã nổi tiếng là "Windows" (dựa trên Windows-1252) và "IBM"/"DOS" (dựa trên [[trang mã 437]]),xem bài [[trang mã Windows]] để biết chi tiết. Phần lớn các biên mã được xem là trang mã là các biên mã một byte (nhưng hãy xem bài [[Octet (điện toán)|octet]] về kích cỡ byte.)

Kiến trúc Biểu diễn Dữ liệu Kí Tự của IBM (''Character Data Representation Architecture'' hay CDRA) chỉ định các thực thể với các mã định danh tập kí tự được mã hoá ([[CCSID]]), mỗi thực thể đó được gọi là một "charset", "tập kí tự", "trang mã", hay "CHARMAP".<ref name=utr17/>

Thuật ngữ "trang mã" không xuất hiện trong Unix hoặc Linux vì "charmap" (''ánh xạ kí tự'') được dùng nhiều hơn, thường là trong ngữ cảnh rộng hơn của khu vực (locale).

Ngược lại với một "tập kí tự được mã hoá", một "biên mã kí tự" là một ánh xạ từ các kí tự trừu tượng tới các [[từ mã]] (code word). Một "tập kí tự" theo cách nói trong [[HTTP]] (và [[MIME]]) giống với một biên mã kí tự (nhưng khác với một CCS).

"Biên mã [[Hệ thống kế thừa|kế thừa]]" là một thuật ngữ thỉnh thoảng được dùng để chỉ những biên mã kí tự cũ, nhưng với ý nghĩa mơ hồ. Nó thường được dùng khi nói về việc [[Unicode|Unicode hoá]], khi đó nó đề cập đến những biên mã không bao phủ tất cả các điểm mã Unicode, hoặc tổng quát hơn, sử dụng một danh mục kí tự hơi khác: vài điểm mã biểu diễn một kí tự Unicode,<ref>{{chú thích web|url=http://www.basistech.co.jp/knowledge-center/database/uc-trillium-2.ppt|title=Processing database information using Unicode, a case study|archive-url=https://web.archive.org/web/20060617193918/http://www.basistech.co.jp/knowledge-center/database/uc-trillium-2.ppt|archive-date=17 June 2006}}</ref> hoặc ngược lại (ví dụ như [[trang mã 437]]). Một số nguồn coi một biên mã là ''kế thừa'' chỉ bởi vì nó có trước Unicode.<ref>{{chú thích web|url=http://scripts.sil.org/cms/scripts/page.php?site_id=nrsi&item_id=IWS-Chapter03#79e846db|publisher=[[SIL International]]|title=Character set encoding basics|work=Implementing Writing Systems: An introduction|first=Peter|last=Constable|date=13 June 2001|access-date=19 March 2010|archive-url=https://web.archive.org/web/20130505074221/http://scripts.sil.org/cms/SCRIPTs/page.php?site_id=nrsi&item_id=IWS-Chapter03#79e846db|archive-date=5 May 2013|url-status=dead}}</ref> Tất cả các trang mã Windows thường được xem là kế thừa, bởi vì chúng vừa xuất hiện trước Unicode, vừa không thể biểu diễn tất cả 2<sup>21</sup> điểm mã có thể có của Unicode.

== Biên dịch biên mã kí tự ==
Vì có nhiều phương pháp biên mã kí tự đang được sử dụng (và nhu cầu tương thích ngược với phần dữ liệu được lưu trữ), nhiều chương trình máy tính đã được phát triển để biên dịch dữ liệu giữa các sơ đồ biên mã với nhau – một dạng [[chuyển mã]] (''transcoding''). Một số chương trình được liệt kê dưới đây.

[[Đa nền tảng]]:
* [[Trình duyệt web]] – phần lớn trình duyệt web hiện đại đều có tính năng [[phát hiện biên mã kí tự]] tự động.
* [[iconv]] – chương trình kiêm API được tiêu chuẩn hoá nhằm chuyển đổi các biên mã.
* [[luit]] – chương trình chuyển đổi biên mã của đầu vào và đầu ra cho các chương trình hoạt động một cách tương tác
* convert_encoding.py – Tiện ích viết bằng [[Python (ngôn ngữ lập trình)|Python]] dùng để chuyển đổi các tệp văn bản giữa các biên mã và kết thúc dòng tuỳ ý.<ref>{{GitHub|goerz/convert_encoding.py}}</ref>
* decodeh.py – mô đun và thuật toán để dự đoán theo kinh nghiệm (heuristic) biên mã của một xâu.<ref>{{chú thích web|url=http://gizmojo.org/code/decodeh/|title=Decodeh – heuristically decode a string or text file|archive-url=https://web.archive.org/web/20080108123255/http://gizmojo.org/code/decodeh/|archive-date=8 January 2008}}</ref>
* [[International Components for Unicode]] (ICU) – Một bộ thư viên C và Java giúp chuyển đổi các tập kí tự. uconv có thể được sử dụng từ ICU4C.
* [http://pypi.python.org/pypi/chardet chardet] – Bản dịch mã của mã phát hiện biên mã tự động của [[Mozilla]] sang ngôn ngữ Python.
* Các phiên bản mới hơn của lệnh [[file (command)|file]] Unix sẽ cố phát hiện biên mã kí tự một cách cơ bản attempt (cũng có sẵn trên [[Cygwin]]).
* [http://sourceforge.net/projects/charset charset] – thư viên bản mẫu (template) [[C++]] với giao diện đơn giản nhằm chuyển đổi giữa các luồng C++ / người dùng định nghĩa.
[[Tương tự Unix]]: 
* cmv – công cụ đơn giản nhằm chuyển mã các tên tệp.<ref>{{chú thích web|url=http://cmv.fossrec.com/|title=CharsetMove – Simple Tool for Transcoding Filenames|ngày truy cập=2022-02-10|archive-date=2013-06-17|archive-url=https://web.archive.org/web/20130617155641/http://cmv.fossrec.com/|url-status=dead}}</ref>
* convmv – chuyển đổi một tên tệp từ biên mã này sang biên mã khác.<ref>{{chú thích web|url=http://www.j3e.de/linux/convmv/man/|title=Convmv – converts filenames from one encoding to another}}</ref>
* cstocs – chuyển đổi nội dung tệp từ biên mã này sang biên mã khác đối với tiếng Séc và tiếng Slovak.
* enca – phân tích các biên mã của một tệp văn bản cho trước.<ref>{{chú thích web |url=http://directory.fsf.org/project/enca/ |title=Extremely Naive Charset Analyser |access-date=11 March 2008 |archive-url=https://web.archive.org/web/20101204060724/http://directory.fsf.org/project/enca/ |archive-date=4 December 2010 |url-status=dead }}</ref>
* recode – chuyển đổi nội dung tệp từ biên mã này sang biên mã khác.<ref>{{GitHub|rrthomas/recode}}</ref>
* utrac – chuyển đổi nội dung tệp từ biên mã này sang biên mã khác.<ref>{{chú thích web|url=http://utrac.sourceforge.net/|title=Utrac Homepage}}</ref>

[[Microsoft Windows|Windows]]:
* Encoding.Convert – API .NET<ref>{{chú thích web|url=https://docs.microsoft.com/en-us/dotnet/api/system.text.encoding.convert?redirectedfrom=MSDN&view=net-6.0#overloads|work=Microsoft .NET Framework Class Library|title=Encoding.Convert Method}}</ref>
* MultiByteToWideChar/WideCharToMultiByte – Chuyển đổi từ ANSI sang Unicode và ngược lại<ref>{{chú thích web|url=https://support.microsoft.com/en-us/topic/4fba10d4-12e0-dec0-ee37-9b0365459652|title=MultiByteToWideChar/WideCharToMultiByte – Convert from ANSI to Unicode & Unicode to ANSI|website=Microsoft Support}}</ref>
* cscvt – công cụ chuyển đổi tập kí tự<ref>{{chú thích web|url=http://www.cscvt.de/|title=Kalytta's Character Set Converter}}</ref>
* enca – Phân tích biên mã của các tệp văn bản.<ref>{{chú thích web |url=http://www.john.geek.nz/2010/02/enca-binary-compiled-for-32-bit-windows/ |title=Enca binary compiled for 32 bit Windows |access-date=31 March 2011 |archive-url=https://web.archive.org/web/20120315090223/http://www.john.geek.nz/2010/02/enca-binary-compiled-for-32-bit-windows/ |archive-date=15 March 2012 |url-status=dead }}</ref>

==Xem thêm==

* [[Biên mã phần trăm]]
* [[Mã Alt]]
* [[Biên mã kí tự trong HTML]]
* [[Hệ thập lục phân|Biểu diễn thập lục phân]]
* [[Loạn mã]] – hiện tượng tập kí tự bị ánh xạ sai cách.
* [[Văn tự kính]] – một hệ thống ("tập con chữ") bao gồm hơn 100.000 chữ Hán.
* [[Tầng trình diễn]]
* [[TRON (biên mã)|TRON]], một phần của dự án TRON, là một hệ biên mã không sử dụng Thống nhất chữ Hán (Han Unification); thay vào đó, nó sử dụng các "mã điều khiển", để chuyển qua lại giữa các "mặt phẳng" kí tự 16-bit.
* [[Kí tự trong Tập Kí tự Toàn cầu]]
* [[Phát hiện tập kí tự]] – được dùng trong một số ứng dụng khi không có siêu dữ liệu về biên mã kí tự.

=== Các biên mã kí tự phổ biến ===
{{Div col|colwidth=30em}}
* [[ISO/IEC 646|ISO 646]]
** [[ASCII]]
* [[EBCDIC]]
* [[ISO/IEC 8859|ISO 8859]]:
** [[ISO/IEC 8859-1|ISO 8859-1]] Tây Âu
** [[ISO/IEC 8859-2|ISO 8859-2]] Tây và Trung Âu
** [[ISO/IEC 8859-3|ISO 8859-3]] Tây Âu và Nam Âu (Thổ Nhĩ Kì, Malta cộng với Quốc tế ngữ)
** [[ISO/IEC 8859-4|ISO 8859-4]] Tây Âu và các nước Baltic (Litva, Estonia, Latvia và Lapp)
** [[ISO/IEC 8859-5|ISO 8859-5]] Bảng chữ cái Kirin
** [[ISO/IEC 8859-6|ISO 8859-6]] Ả Rập
** [[ISO/IEC 8859-7|ISO 8859-7]] Hy Lạp
** [[ISO/IEC 8859-8|ISO 8859-8]] Do Thái
** [[ISO/IEC 8859-9|ISO 8859-9]] Western Europe with amended Turkish character set
** [[ISO/IEC 8859-10|ISO 8859-10]] Western Europe with rationalised character set for Nordic languages, including complete Icelandic set
** [[ISO/IEC 8859-11|ISO 8859-11]] Thái Lan
** [[ISO/IEC 8859-13|ISO 8859-13]] Baltic languages plus Polish
** [[ISO/IEC 8859-14|ISO 8859-14]] Celtic languages (Irish Gaelic, Scottish, Welsh)
** [[ISO/IEC 8859-15|ISO 8859-15]] Added the Euro sign and other rationalisations to ISO 8859-1
** [[ISO/IEC 8859-16|ISO 8859-16]] Central, Eastern and Southern European languages (Albanian, Bosnian, Croatian, Hungarian, Polish, Romanian, Serbian and Slovenian, but also French, German, Italian and Irish Gaelic)
* [[Code page 437|CP437]], [[Code page 720|CP720]], [[Code page 737|CP737]], [[Code page 850|CP850]], [[Code page 852|CP852]], [[Code page 855|CP855]], [[Code page 857|CP857]], [[Code page 858|CP858]], [[Code page 860|CP860]], [[Code page 861|CP861]], [[Code page 862|CP862]], [[Code page 863|CP863]], [[Code page 865|CP865]], [[Code page 866|CP866]], [[Code page 869|CP869]], [[Code page 872|CP872]]
* [[Trang mã Windows|Tập kí tự của MS-Windows]]:
** [[Windows-1250]] for Central European languages that use Latin script, (Polish, Czech, Slovak, Hungarian, Slovene, Serbian, Croatian, Bosnian, Romanian and Albanian)
** [[Windows-1251]] cho bảng chữ cái Kirin
** [[Windows-1252]] cho ngôn ngữ phương Tây
** [[Windows-1253]] cho tiếng Hy Lạp
** [[Windows-1254]] cho tiếng Thổ Nhĩ Kì
** [[Windows-1255]] cho tiếng Do Thái
** [[Windows-1256]] cho tiếng Ả Rập
** [[Windows-1257]] cho các ngôn ngữ Baltic
** [[Windows-1258]] cho tiếng Việt
* [[Mac OS Roman]]
* [[KOI8-R]], [[KOI8-U]], [[KOI7]]
* [[Trang mã MIK|MIK]]
* [[Indian Script Code for Information Interchange|ISCII]]
* [[Tamil Script Code for Information Interchange|TSCII]]
* [[VSCII]]
* [[JIS X 0208]] is a widely deployed standard for Japanese character encoding that has several encoding forms.
** [[Shift JIS]] (Microsoft [[Code page 932 (Microsoft Windows)|Code page 932]] is a dialect of Shift_JIS)
** [[Extended Unix Code|EUC-JP]]
** [[ISO/IEC 2022|ISO-2022-JP]]
* [[JIS X 0213]] is an extended version of JIS X 0208.
** [[Shift JIS|Shift_JIS-2004]]
** [[Extended Unix Code|EUC-JIS-2004]]
** [[ISO/IEC 2022|ISO-2022-JP-2004]]
* Tiếng Trung [[List of GB standards|Guobiao]]
** [[GB 2312]]
** [[GBK (character encoding)|GBK]] (Trang mã Microsoft 936)
** [[GB 18030]]
* Đài Loan [[Big5]] (a more famous variant is Microsoft [[Code page 950]])
** Hồng Kông [[HKSCS]]
* Tiếng Triều Tiên
** [[KS X 1001]] is a Korean double-byte character encoding standard
** [[Extended Unix Code#EUC-KR|EUC-KR]]
** [[ISO/IEC 2022|ISO-2022-KR]]
* [[Unicode]] (và các tập con của nó, chẳng hạn như 'Mặt phẳng Đa ngữ Cơ bản') 16-bit
** [[UTF-8]]
** [[UTF-16]]
** [[UTF-32]]
* [[ANSEL]] hoặc [[ISO/IEC 6937]]
{{Div col end}}

== Tham khảo ==
{{tham khảo|30em}}

== Đọc thêm ==
* {{chú thích sách |title=Coded Character Sets, History and Development |url=https://archive.org/details/codedcharacterse00unse |work=The Systems Programming Series |last=Mackenzie |first=Charles E. |year=1980 |edition=1 |publisher=[[Addison-Wesley Publishing Company, Inc.]] |isbn=978-0-201-14460-4 |lccn=77-90165}}

==Liên kết ngoài==
{{Thể loại Commons|Encodings}}{{Wikiversity|Character encoding}}
*[https://www.iana.org/assignments/character-sets Character sets registered by Internet Assigned Numbers Authority (IANA)]
*[https://jkorpela.fi/chars/ Characters and encodings], Jukka Korpela
*[https://www.unicode.org/unicode/reports/tr17/ Unicode Technical Report #17: Character Encoding Model]
*[http://code.cside.com/3rdpage/us/unicode/converter.html Decimal, Hexadecimal Character Codes in HTML Unicode – Encoding converter] {{Webarchive|url=https://web.archive.org/web/20150408120953/http://code.cside.com/3rdpage/us/unicode/converter.html |date=2015-04-08 }}
*[https://www.joelonsoftware.com/2003/10/08/the-absolute-minimum-every-software-developer-absolutely-positively-must-know-about-unicode-and-character-sets-no-excuses/ The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)] Joel Spolsky (10 tháng 10 năm 2003)

[[Thể loại:Biên mã kí tự]]
[[Thể loại:Ngôn ngữ tự nhiên và điện toán]]
[[Thể loại:Mã hóa kí tự]]
[[Thể loại:Typography kỹ thuật số]]