Байт состоит из. Кодирование символов. Байт
На основании одной ячейки информационной ёмкостью 1 бит можно закодировать только 2 различных состояния. Для того чтобы каждый символ, который можно ввести с клавиатуры в латинском регистре , получил свой уникальный двоичный код, требуется 7 бит. На основании последовательности из 7 бит, в соответствии с формулой Хартли, может быть получено N=2 7 =128 различных комбинаций из нулей и единиц, т.е. двоичных кодов. Поставив в соответствие каждому символу его двоичный код, мы получим кодировочную таблицу . Человек оперирует символами, компьютер – их двоичными кодами.
Для латинской раскладки клавиатуры такая кодировочная таблица одна на весь мир, поэтому текст, набранный с использованием латинской раскладки, будет адекватно отображен на любом компьютере. Эта таблица носит название ASCII (American Standard Code of Information Interchange) по-английски произносится [э́ски ], по-русски произносится [а́ски ]. Ниже приводится вся таблица ASCII, коды в которой указаны в десятичном виде. По ней можно определить, что когда вы вводите с клавиатуры, скажем, символ “*”, компьютер его воспринимает как код 42 (10) , в свою очередь 42 (10) =101010 (2) – это и есть двоичный код символа “*”. Коды с 0 по 31 в этой таблице не задействованы.
Таблица 8.
Таблица символов ASCII
| код | символ | код | символ | код | символ | код | символ | код | символ | код | символ |
| Пробел | . | @ | P | " | p | ||||||
| ! | A | Q | a | q | |||||||
| " | B | R | b | r | |||||||
| # | C | S | c | s | |||||||
| $ | D | T | d | t | |||||||
| % | E | U | e | u | |||||||
| & | F | V | f | v | |||||||
| " | G | W | g | w | |||||||
| ( | H | X | h | x | |||||||
| ) | I | Y | i | y | |||||||
| * | J | Z | j | z | |||||||
| + | : | K | [ | k | { | ||||||
| , | ; | L | \ | l | | | ||||||
| - | < | M | ] | m | } | ||||||
| . | > | N | ^ | n | ~ | ||||||
| / | ? | O | _ | o | DEL |
Чтобы хранить также и коды национальных символов каждой страны (в нашем случае – символов кириллицы) требуется добавить еще 1 бит, что увеличит количество уникальных комбинаций из нулей и единиц вдвое, т.е. в нашем распоряжении дополнительно появится 128 свободных кодов (со 128-го по 255-й), в соответствие которым можно поставить символы русского алфавита.
Таким образом, отведя под хранение информации о коде каждого символа 8 бит, мы получим N=2 8 =256 уникальных двоичных кодов, что достаточно, чтобы закодировать все символы, которые можно ввести с клавиатуры.
Так мы подошли к необходимости познакомиться с еще одной базовой единицей измерения – байтом.
Байт - последовательность из 8 бит.
1 байт = 2 3 бит = 8 бит.
На основании одного байта можно получить 2 8 =256 уникальных двоичных кодов.
В современных кодировочных таблицах под хранение информации о коде каждого символа отводится 1 байт.
1 символ = 1 байт.
В байтах измеряется объем данных (V) при их хранении и передаче по каналам связи. Например, текст “Добрый день!” занимает объем равный 12 байтам.
Биты в байте нумеруются с конца с 0-го по 7-й. Минимальная комбинация на основании одного байта – восемь нулей, максимальная – восемь единиц. Рис. 18а.
11111111 (2) =2 7 +2 6 +2 5 +2 4 +2 3 +2 2 +2 1 +2 0 =128+64+32+16+8+4+2+1=255 (10)
При хранении на физическом уровне каждый байт может быть реализован, например, на базе восьми конденсаторов, каждый из которых либо разряжен (0), либо заряжен (1). Рис. 18b.
Возвращаясь к кодировочным таблицам, заметим, что на сегодняшний день в использовании не одна, а несколько кодировочных таблиц, включающих коды кириллицы, – это стандарты, выработанные в разные годы и различными учреждениями. В этих таблицах различен порядок, в котором расположены друг за другом символы кирилличного алфавита, поэтому одному и тому же коду соответствуют разные символы. По этой причине, мы иногда сталкиваемся с текстами, которые состоят из русских букв, но в бессмысленной для нас последовательности.
Например, текст “Компьютерные вирусы ”, введенный в кодировке Windows-1251 в кодировке КОИ-8 будет отображен так: ”лПНРШАФЕТОШЕ ЧЙТХУЩ ”.
Таблица 9.
Несоответствие кодов символов в различных кодировках кириллицы.
Эта проблема разрешима - на каждом компьютере найдутся все основные кодировочные таблицы, и если тест выглядит неадекватно, нужно попробовать перекодировать его, просто указав использовать другую кодировочную таблицу. Но наличие такой проблемы, конечно, вносит неудобства.
Используя 8-битную кодировочную таблицу мы не сможем адекватно увидеть на мониторе и тексты, созданные на тех языках, где используются символы, отличные от латинских и кирилличных, например символы с умляутами в немецком языке.
Юникод. UTF-8
Теоретически давно существует решение этих проблем. Оно называется Unicode (Юникод). Unicode – это кодировочная таблица, в которой для кодирования каждого символа используется 2 байта, т.е. 16 бит. На основании такой таблицы может быть закодировано N=2 16 =65 536 символов.
Юникод включает практически все современные письменности, в том числе: арабскую, армянскую, бенгальскую, бирманскую, греческую, грузинскую, деванагари, иврит, кириллицу, коптскую, кхмерскую, латинскую, тамильскую, хангыль, хань (Китай, Япония, Корея), чероки, эфиопскую, японскую (катакана, хирагана, кандзи) и другие.
С академической целью добавлены многие исторические письменности, в том числе: древнегреческая, египетские иероглифы, клинопись, письменность майя, этрусский алфавит.
В Юникоде представлен широкий набор математических и музыкальных символов, а также пиктограмм.
Для символов кириллицы в Юникоде выделено два диапазона кодов:
Cyrillic (#0400 - #04FF)
Cyrillic Supplement (#0500 - #052F).
Но внедрение таблицы Unicode в чистом виде сдерживается по той причине, что если код одного символа будет занимать не один байт, а два байта, что для хранения текста понадобится вдвое больше дискового пространства, а для его передачи по каналам связи – вдвое больше времени.
Поэтому сейчас на практике больше распространено представление Юникода UTF-8 (Unicode Transformation Format). UTF-8 обеспечивает наилучшую совместимость с системами, использующими 8-битные символы. Текст, состоящий только из символов с номером меньше 128, при записи в UTF-8 превращается в обычный текст ASCII. Остальные символы Юникода изображаются последовательностями длиной от 2 до 4 байтов. В целом, так как самые распространенные в мире символы – символы латинского алфавита - в UTF-8 по-прежнему занимают 1 байт, такое кодирование экономичнее, чем чистый Юникод.
Задачи
1. В кодируемом английском тексте используется только 26 букв латинского алфавита и еще 6 знаков пунктуации. В этом случае текст, содержащий 1000 символов можно гарантированно сжать без потерь информации до размера:
2. Словарь Эллочки – «людоедки» (персонаж романа «Двенадцать стульев») составляет 30 слов. Сколько бит достаточно, чтобы закодировать весь словарный запас Эллочки? Варианты: 8, 5, 3, 1.
4.4. Единицы измерения объема данных и ёмкости памяти: килобайты, мегабайты, гигабайты…
Итак, в мы выяснили, что в большинстве современных кодировок под хранение на электронных носителях информации одного символа текста отводится 1 байт. Т.е. в байтах измеряется объем (V), занимаемый данными при их хранении и передаче (файлы, сообщения).
Объем данных (V) – количество байт, которое требуется для их хранения в памяти электронного носителя информации.
Память носителей в свою очередь имеет ограниченную ёмкость , т.е. способность вместить в себе определенный объем. Ёмкость памяти электронных носителей информации, естественно, также измеряется в байтах.
Однако байт – мелкая единица измерения объема данных, более крупными являются килобайт, мегабайт, гигабайт, терабайт…
Следует запомнить, что приставки “кило”, “мега”, “гига”… не являются в данном случае десятичными. Так “кило” в слове “килобайт” не означает “тысяча”, т.е. не означает “10 3 ”. Бит – двоичная единица, и по этой причине в информатике удобно пользоваться единицами измерения кратными числу “2”, а не числу “10”.
1 байт = 2 3 =8 бит, 1 килобайт = 2 10 = 1024 байта. В двоичном виде 1 килобайт = &10000000000 байт.
Т.е. “кило” здесь обозначает ближайшее к тысяче число, являющееся при этом степенью числа 2, т.е. являющееся “круглым” числом в двоичной системе счисления.
Таблица 10.
В связи, с тем, что единицы измерения объема и ёмкости носителей информации кратны 2 и не кратны 10, большинство задач по этой теме проще решается тогда, когда фигурирующие в них значения представляются степенями числа 2. Рассмотрим пример подобной задачи и ее решение:
В текстовом файле хранится текст объемом в 400 страниц. Каждая страница содержит 3200 символов. Если используется кодировка KOI-8 (8 бит на один символ), то размер файла составит:
Решение
1) Определяем общее количество символов в текстовом файле. При этом мы представляем числа, кратные степени числа 2 в виде степени числа 2, т.е. вместо 4, записываем 2 2 и т.п. Для определения степени можно использовать Таблицу 7.
Символов.
2) По условию задачи 1 символ занимает 8 бит, т.е. 1 байт => файл занимает 2 7 *10000 байт.
3) 1 килобайт = 2 10 байт => объем файла в килобайтах равен:
Задачи
1. Сколько бит в одном килобайте?
- &10000000000000.
2. Чему равен 1 Мбайт?
1024 байта;
1024 килобайта;
1000000 бит;
1000000 байт.
3. Сколько бит в сообщении объемом четверть килобайта? Варианты: 250, 512, 2000, 2048.
4. Объем текстового файла 640 Kb . Файл содержит книгу, которая набрана в среднем по 32 строки на странице и по 64 символа в строке. Сколько страниц в книге: 160, 320, 540, 640, 1280?
5. Досье на сотрудников занимают 8 Mb . Каждое из них содержит 16 страниц (32 строки по 64 символа в строке). Сколько сотрудников в организации: 256; 512; 1024; 2048?
Прокоментируй статью, хотя бы пару слов!
Комментарии:
задом нам ерёд
Исправьте пожалуйста.исправила
я ничего не понял =)
биты... байты... главное - хвост! (с)
Гениально!
Спасибо Вам - за введение и лаконичный набор ссылок.Рада что вам понравилось.
Извините но никак не могу понят почему только 8 бит в байте.............
Ввиду обратной совместимости, в байте именно 8 бит. Ведь гораздо проще группировать байты, если хочется получить сущность большего порядка. чем делать байт размером в 9 бит допустим. Причём потребность в этих сущностях была уже давно, поэтому рассматривая многие языки программирования (хоть тот же паскаль или си) - можно заметить тип переменной равный двум байтам - "машинное слово" (word), или "двойное слово" - (double word, dword) равное 4-м байтам. Именно на алгоритмах группировки байт в сущность и работают т.н. "многобайтные кодировки", которые я рассмотрела в статье. (Ваш Кэп).
В байте 1024 бита. Дальше не читал. В большинстве вычислительных архитектур байт - это минимальный независимо адресуемый набор данных. В байтах может быть разное количество битов. В истории компьютерной техники существовали решения с иными размерами байта (например, 6, 32 или 36 битов). А вот в килобайте - 1024 байта. В мегабайте - 1024 килобайта. В гигабайте - 1024 мегабайта. В терабайте - 1024 гигабайта. И так далее.
to аноним:
Ахахаха. Я не читала весь ваш комментарий, но не согласна с ним! =)
Нет, серьёзно, это самый бесполезный комментарий этого блога.хотел написать мол это дико что у нас нынешнее образование наитупейшее, что это дико когда на отделениях информатики народу забивают голову литературой или историей или еще чем то не профильным, а на отделениях физики и математики людей пичкают биологией и угрожают непроставлением зачета если люди не сдадут бег,отжимания и волейбол на физкультуре. И я более чем уверен что это делается спецом и по сговору, что бы у нас в итоге было мало хорошо проф. образованных людей. По другому объяснение таких тупостей еще более несуразно и тупо выглядит чем сговор, потому что по другому это объясняется крайней идиотичностью и тупостью самих преподов и тех кто составлял такие требования, а думать что все эти люди идиоты это глупо. И тут прочитал камент 18 и ответ автора 19.
Вопрос к автору, мадама, у вас с головой все в порядке? Вы тут просвещаете людей по теме битов байтов и таблиц кодировок и тут же пишете что не согласны с элементарщиной типа что килобайт это 1024 байта и тп.Так же вы пишите
На заре компьютеров байты составляли 4, потом 5, потом 6 бит… Группа из 6 бит может принимать целых 64 значений. Вполне неплохо
Вы пишите так, как будто составные значения байта как будто бы типа путем прогресса и эволюции вырастали, сначала 4, потом 5, ЧТО В КОРНЕ НЕ ВЕРНО и может привести людей в заблуждение и навести их на такие мысли, что с таким раскладом значения байта могли бы расти до тех самых 1024 байтов в бите (с чем вы вроде как не согласны, судя по описаниям наблюдаемых вами несуразностей) и выше, 10001024 байтов в бите например.
В реальности, как и писали вам кстате в каменте 18, с которым вы почему то не согласны и более того считаете его безполезным, значения битов в байте были разными и задумывались, появлялись и проставлялись в соответствии с принятой кодировкой систем эвм. Про то, как байт дорос до восьми составных битов и что там мало " эволюционного роста с значениями " а лишь только поиск наиболее оптимального кодирования, есть несколько версий и про них вы можете почитать даже в википузии http://ru.wikipedia.org/wiki/%D0%91%D0%B0%D0%B9%D1%82 .Уважаемый дизойнёр ,
Разумеется я-то прочитала комментарий 18, и мой ответ как бы сарказмом пародирует его часть. Не думала что это нужно кому-то объяснять.
Цитирую начало статьи:... я слышала такие забавные заблуждения, относительно фундаментальных основ, как:
Именно к этой фразе уважаемый аноним придрался, не прочитав дальше вообще статью, и начал меня же учить сколько бит в байте, сколько байт в килобайте и т.п. =) Т.е. его комментарий выглядит как "Статью не читал, но осуждаю". И я ещё раз могу повторить что это был самый бесполезный комментарий моего блога. И поэтому если человек не прочитал мою статью как я могу с ним разговаривать.
в байте 1024 битаЧто касается значений байта, то они вырастали из 4,5,6 бит именно путём прогресса и эволюции в том числе для удовлетворения кодировок эвм, которые и являются одним из видов прогресса и эволюции =). Пожалуйста прочтите мои объяснения до конца прежде чем не согласиться.
Геном человека состоит из 23 пар хромосом, ввиду эволюции и прогресса, и система такова, что 24-я пара человеку не нужна. Аналогично с битами, Байт состоит из 8 бит - потому что сейчас для программистов это удобно, и 1024 бита в байте не нужно никому - это лишь в несколько раз уменьшит дисковое пространство и вычислительную мощность компьютеров (объяснить почему?). В случаях когда программисту необходимо оперировать группами бит большего размера, например для хранения RSA ключей - 1024,2048 или 4096 бит - программист просто оперирует последовательностью байт нужного размера. Именно поэтому во многих языках есть такие типы данных как Слово (word) или двойное слово (dword) , а такие типы как integer вообще не влезают в пределы одного байта.P.S. Ну, и возвращаясь к комментарию анонима, я специально ничего не писала про количество байт в килобайте, т.к. это не влияет на образование. Цель статьи - объяснить разницу между битом и байтом, а также рассказать почему это так на примере кодировок. Количество же байт в килобайте для меня например 1024, а для производителей дисков 1000. Вот Тёма писал в 84 параграфе ру.ководства . Современные SSD например вообще не умеют писать с точностью адресации в один байт - перезаписывают сразу блок.
P.P.S. Эволюция и прогресс вообще не однозначные понятия, в русском языке 33 буквы, а в китайском 414 слогов (а каждый слог ещё и несколькими иероглифами можно записать) такие дела =).молодца, мне понравилось)))
Мм...
Я - Дмитрий Липин. Круто)
Рада что вам понравилось, Дмитрий. =)
И тут позволю себе немножко потроллить (конечно, не со злобой, а любя;):
я слышала такие забавные заблуждения, относительно фундаментальных основ, как:и чуть дальше
...
в байте 8 бит потому что 8 - степень двойки
вероятно компьютеры работают несколько быстрее с мелкими блоками памяти кратными двум;)? А 32-битные процессоры/ОС точно ни при чем? ;)
И, на мой взгляд, небольшой, но всё же фактический ляпчик:
Вторая версия Юникода (UCS-2), стала называться UTF-16Насколько я в курсе: во-первых, UTF-16 - это расширение бывшего UCS-2, той самой "первой двухбайтной кодовой таблицы на 65k символов", относившейся к Юникоду 1.1 и ниже - именно за счет добавления "суррогатных символов" и еще двух опциональных байт. А во-вторых, что UCS, что UTF ("унив. набор символов" и "формат преобразования Юникода" соотв-но) - не сам Юникод, а лишь конкретные формы его представления.
А вообще статья увлекательная, спасибо!
8=2^3 не очень поняла троллинг.
Разрядность процессора возможно влияет, но позвольте, а как быть с 16 битными процессорами или 64х битными? =) http://www.ixbt.com/cpu/cpu-bitness.shtml
Как туда запихнуть 32 битный символ? Будет ли влиять порядок байтов? Как это зависит от Ось или файловой системы? =) Я лично склоняюсь что 4 байта вместо трёх только из-за проблемм кратности (в секторах и т.п.).
Насчёт уникода даже не знаю что поправить, во многом руководствовалась английской википедией, где основная статья была UCS-2, а сейчас UTF-16, (так же стало и в русской). В русской вики сейчас указаны некоторые различия между ними. Крайне рекомендую всем кому интересно.
Рада что понравилось.
Троллинг был в "магических" свойствах двойки:). Насчет разрядности - отталкивался в основном от той же википедии (напр. абзац про юникс-подобные системы). Да и просто, на мой взгляд, логично это. С 64-битными системами никаких проблем не вижу (работают же на таких процессорах 32-битные ОС и 80% нынешнего софта:), а 16-битным, боюсь, просто не дано (на то и есть другие представления, влезающие в меньшую разрядность).
А переименование статей, как я понял, связано с тем, что термин UCS-2 признан устаревшим, сыгравшим свою роль в появлении UTF-16, но не больше того.
Ну как не дано-то 16-битным системам работать с 32 битными знаками? А если сделать кодировку 64 битную, с ней 32 битный процессор не справится? Пруф в студию, всем будет интересно =).
Вы утверждаете если бы кодировка была 24-битной она бы не работала на 32битном процессоре? В чём отличие от работы с 24 битным цветом? А с 48 восьми битным изображением как 32 битные процессоры работают?
В абзаце про unix-подобные системы написано только то, что utf8 в них популярней чем utf16 например. До какого-то момента на koi8 работали, и ничего.
Говоря о том что компьютеры работают быстрее с блоками памяти кратными двум я имела ввиду, что если в секторе N на диске (или в буфере памяти) вам надо прочитать Z-й символ, вам нужно умножать это количество на 3, а это работает в 2 раза медленнее чем умножение на 4 при должной оптимизации. Т.е. вместо 1 побитового сдвига у вас будет сдвиг + сложение.
Говоря о преимуществе того что в сектор диска попадает кратное количество символов - я имею ввиду то что для чтения одного символа гарантированно нужно прочитать один сектор диска (на 128 или 512 байт, это задаётся в фс), не больше. Нет ситуации когда символ лежит на стыке секторов, а при фрагментации в разных частях диска.
Согласен, про "невозможность" работы с 32-битными символами из-под меньшей разрядности я жестоко "прогнал" :). Но согласитесь, что возможность оперировать каждым символом как целым машинным словом (т.е., например, перекинуть его из одного регистра памяти в другой целиком за один такт процессора) намного удобнее, чем собирать его по частям в каком-то временном буфере, да еще постоянно перепроверяя, целый символ туда попал или только одна-две трети. Я имел в виду вот эту фразу из того абзаца:
Для работы с отдельными символами строки обычно перекодируются в UCS-4, так что каждому символу соответствует машинное слово.
Что же до удобств хранения/адресации в памяти, то, на мой взгляд, ваш же пример с 24-битным цветом этой версии слегка противоречит, ведь принципиальную разницу действительно сложно уловить. Так что, когда дорого место, можно, вроде, и дополнительную операцию себе позволить (правда, с цветом всё-таки есть нюанс - эти 24 бита на самом деле 3 однобайтных компонента, к которым часто приходится обращаться по отдельности)...
Так что при близком рассмотрении "магические свойства" у двойки в компьютерном мире всё-таки есть, и, возможно, 8-битные байты выжили в конкурентной борьбе с "менее круглыми" двоичными значениями не так уж случайно... кто знает? ;)
Подождите, вы меня уже путаете (равно как с вопросом о таблицах, на который я щас пытаюсь сделать testcase). Я в статье сказала - что для быстродействия многие текстовые редакторы оперируют с текстом в кодировке utf32 (ucs-4). Согласны?
wikipedia.org/wiki/Машинное_слово Размер машинного слова в AMD64 - 64 бита, согласны?
При показе символов на экран процессору вообще всё равно сколько в символе байт, так же как с цветом, согласны?
При операциях по конвертации из одной кодировки в другую процессор оперирует кусками по 8 бит, а не с 32битным числом, которое кстати зависит от порядка байтов (big-endian , little-endian), согласны?
В utf8 - трёхбайтные часто встречаются например для китайского алфавита, согласны?
Так при чём тут вообще регистры процессора и количество байт в символе utf?
Я имел в виду именно удобство внутреннего представления в программе: 1 такт - 1 маш. слово - 1... ну или 2 (в AMD64:) символа Юникода в UCS-4, и никаких хлопот с поиском границ между символами:).
Насчет вывода на экран, обмена данными и вообще абсолютной нерелевантности процессора, кластеров на диске и прочих низкоуровневых тонкостей к количеству байт произвольного UTF (формата представления) - согласен полностью. Но изначально вопрос был про то, "откуда пошли именно 32 бита". И вот что пишет англ. википедия :
The original ISO 10646 standard defines a 31-bit encoding form called UCS-4 , in which each encoded character in the Universal Character Set (UCS) is represented by a 32-bit friendly code value in the code space of integers between 0 and hexadecimal 7FFFFFFF.Because only 17 planes are actually in use, all current code points are between 0 and 0x10FFFF. UTF-32 is a subset of UCS-4 that uses only this range.
В общем, чем дальше - тем только запутаннее, страньше и чудесатее! Правда, всецело полагаться на википедию тоже нельзя - сам не так давно убирал из русской версии утверждение, что "в HTML теги могут частично перекрываться"..:)
Двоичный разряд, двоичное число по-английски Bi naryDigit . Из трех букв этих слов образовали звонкое словоbit , которое уже было в английском языке (bit– кусочек, кусок). В информатике оно имеет то же значение, что иBi naryDigit , но ему добавили и новый смысл.
Бит – единица информации и единица представления информации в компьютере.
Бит (один разряд двоичного числа) может принимать два значения: 0 или 1. В десятичных числах один разряд может принимать значения от 0 до 9. Если число одноразрядное (однобитовое), то 0 или 1 – это значение числа и цифры числа, которые в этом случае совпадают.
Поскольку компьютер может обрабатывать только двоичные числа, кодировать информацию можно только этими двоичными числами. В этом случае мы можем сказать, что азбука, используемая для кодирования информации, состоит из двух символов (чисел) 0 и 1.
Одноразрядным двоичным числом, т. е. одним битом, можно закодировать всего два символа, так как он принимает только два значения – 0 или 1. А десятичное одноразрядное число позволит нам закодировать 10 символов, ибо оно может иметь 10 значений – от 0 до 9.
Теперь используем для кодирования двухразрядные числа. Тогда в десятичной системе счисления можем использовать для кодирования числа от 0 до 99, т.е. 100 чисел. И закодировать можем 100 символов, в 10 раз больше, чем при кодировании одноразрядными числами.
Аналогичная закономерность имеет место и при увеличении разрядности двоичных чисел. Двухразрядным двоичным числом можем закодировать 4 символа, так как возможных чисел тоже 4: 00, 01, 10, 11, т. е. в два раза больше, чем одноразрядным. Можно проверить, что трехразрядным двоичным числом можно закодировать символов в 2 раза больше, чем двухразрядным. Обобщая эту закономерность, получаем простую формулу для определения количества символов S , которое можно закодироватьn – разрядными двоичными числами:
S = 2 n
Двоичное n -разрядное число, которое используется для кодирования информации в компьютере, называется байтом .
Из этого определения следует и другое определение байта:
Байт – единица обработки информации в компьютере, так как по значению байта можно узнать, какой символ им закодирован.
Если используются для кодирования другие n-разрядные двоичные числа, то они обязательно берутся кратными байту.
Байт сначала имел 6, затем 7 разрядов (битов), а теперь он равен 8-ми битам.
Одно из значений перевода английских слов bit и bite – кусочек. Считая кусочек частью целого, бит, действительно, – часть двоичного числа. Если байтом кодируются буквы, символы, из которых строятся слова, то и байт выражает часть слова.
Байты используются также для измерения объема памяти, оперативной и внешней, размеров файлов. Но в этом случае применяются более крупные единицы измерений. Например, Килобайты (Кб), Мегабайты (Мб) Гигабайты (Гб), Терабайты (Тб):
1 Кб = 1024 байт = 2 10 байт
1 Мб = 1024 Кб= 2 10 Кб
1 Гб = 1024 Мб= 2 10 Мб
1 Тб = 1024 Гб= 2 10 Гб
Кодирование целых и действительных чисел
Целые числа кодируются двоичным кодом достаточно просто - достаточно взять целое число и делить его пополам до тех пор, пока в остатке не образуется ноль или единица. Полученный результат деления снова так же делить. И эту процедуру деления продолжаем до тех пор, пока результат деления не окажется меньше 2. Совокупность остатков от каждого деления, записанная справа налево вместе с последним остатком, и образует двоичный аналог десятичного числа.
19:2 = 9 + 1 9:2=4+1 4:2=2+0 2:2 = 1
Таким образом, 19 10 = 1011 2 .
Для кодирования целых чисел от 0 до 255 достаточно иметь 8 разрядов двоичного кода (8 бит). Шестнадцать бит позволяют закодировать целые числа от 0 до 65 535, а 24 бита - уже более 16,5 миллионов разных значений.
Для кодирования действительных чисел используют 80-разрядное кодирование. При этом число предварительно преобразуется в нормализованную форму:
3,1415926 = 0,31415926-10 1
300 000 = 0,3-10 6
123 456 789 = 0,123456789 10 1 /
Первая часть числа называется мантиссой, а вторая - характеристикой. Большую часть из 80 бит отводят для хранения мантиссы (вместе со знаком) и некоторое фиксированное количество разрядов отводят для хранения характеристики (тоже со знаком).
- Перевод
- Tutorial
Это первая часть перевода статьи What Every Programmer Absolutely, Positively Needs To Know About Encodings And Character Sets To Work With Text
Если вы работаете с текстом в компьютере, вам обязательно нужно знать про кодировки. Даже если вы посылаете электронные письма. Даже если вы их только получаете. Необязательно понимать каждую деталь, но надо хотя бы знать, что из себя представляют кодировки. И вот первая хорошая новость: статья может быть немного запутанной, но основная идея очень и очень простая.
Эта статья о кодировках и наборах символов.
Статья Джоеэля Спольски под названием «Абсолютный минимум о Unicode и наборе символов для каждого разработчика(без исключений!)» будет хорошей вводной и мне доставляет большое удовольствие перечитывать ее время от времени. Я стесняюсь отсылать к ней тех людей, которые испытывают трудности с пониманием проблем с кодировкам, хотя она довольно легкая в плане технических деталей. Я надеюсь, эта статья прольет немного света на то, чем именно являются кодировки, и почему все ваши тексты оказываются испорченными в самый ненужный момент. Статья предназначена для разработчиков(главным образом, на PHP), но пользу от нее может получить любой пользователь компьютера.
Основы
Все более или менее слышали об этом, но каким-то образом знание испаряется, когда дело доходит до обсуждения, так что вот вам: компьютер не может хранить буквы, числа, картинки или что-либо еще. Он может запомнить только биты. Бит имеет только два значения: ДА или НЕТ, ПРАВДА или ЛОЖЬ, 1 или 0 или любую другую пару, которую вы можете вообразить. Раз уж компьютер работает с электричеством, бит представлен электрическим зарядом: он либо есть, либо его нет. Людям проще представлять это в виде 1 и 0, так что я буду придерживаться этих обозначений.
Чтобы с помощью битов представлять нечно полезное, нам нужны правила. Надо сконвертировать последовательность бит в что-то похожее на буквы, числа и изображения, используя схему кодирования, или, коротко, кодировку. Вот так, например:
01100010 01101001 01110100 01110011
b i t s
В этой кодировке, 01100010 представляет из себя ‘b’, 01101001 - ‘i’, 01110100 - ‘t’, 01110011 - ‘s’. Конкретная последовательность бит соответствует букве, а буква – конкретной последовательности битов. Если вы можете запомнить последовательности для 26 букв или умеете действительно быстро находить нужное соответствие, то вы сможете читать биты, как книги.
Упомянутая схема носит название ASCII. Строка с нолями и единицами разбивается на части по 8 бит(по байтам). Кодировка ASCII определяет таблицу перевода байтов в человеческие буквы. Вот небольшой кусочек этой таблицы:
bits character01000001 A
01000010 B
01000011 C
01000100 D
01000101 E
01000110 F
В ней 95 символов, включая буквы от A до Z, в нижнем и верхнем регистре, цифры от 0 до 9, с десяток знаков препинания, амперсанд, знак доллара и прочие. В нее также включены 33 значения, такие как пробел, табуляция, перевод строки, возврат символа и прочие. Это непечатаемые символы, хотя они видимы человеку и используются им. Некоторые значения полезны только компьютеру, такие как коды начала и конца текста. Всего в кодировку ASCII включены 128 символов - прекрасное ровное число для тех, кто смыслит в компьютерах, так как оно использует все комбинации 7ми битов (от 0000000 до 1111111).
Вот вам способ представить человеческую строку, используя только единицы и нули:
01001000 01100101 01101100 01101100 01101111 00100000
01010111 01101111 01110010 01101100 01100100«Hello World»
Важные термины
Для кодирования чего-либо в ASCII двигайтесь справа налево, подменяя буквы на биты. Для декодирования битов в символы, следуйте по таблице слева направо, подменяя биты на буквы.
encode |enˈkōd|
verb [ with obj. ]
convert into a coded form
code |kōd|
noun
a system of words, letters, figures, or other symbols substituted for other words, letters, etc.
Кодирование – это представление чего-либо чем-нибудь другим. Кодировка – это набор правил, описывающий способ перевода одного представления в другое.
Прочие термины, заслуживающие прояснения:
Набор символов, чарсет, charset – Набор символов, который может быть закодирован. «Кодировка ASCII включает набор из 128 символов». Синоним к кодировке.
Кодовая страница – страница кодов, закрепляюшая за символом набор битов. Таблица. Синоним к кодировке.
Строка – пачка чего-нибудь, объединенных вместе. Битовая строка – это пачка бит, такая как 00011011. Символьная строка – это пачка символов, например «Вот эта». Синоним к последовательности.
Двоичный, восьмеричный, десятичный, шестнадцатеричный
Существует множество способов записывать числа. 10011111 – это бинарная запись для 237 в восьмеричной, 159 в десятичной и 9F в шестнадцатиричной системах. Значения у всех этих чисел одинаково, но шестнадцатиричная система короче и проще для понимания, чем двоичная. Я буду придерживаться двоичной системы в этой статье, чтобы улучшить понимание и убрать лишний уровень абстракции. Не пугайтесь, встречая коды символов в других нотациях, все значения эквиваленты.
Excusez-Moi?
Раз уж мы теперь знаем, о чем говорим, заметим: 95 символов – это совсем немного, когда речь идет о языках. Этот набор покрывает базовый английский, но как насчет французских символов? А вот это Straßen¬übergangs¬änderungs¬gesetz из немецкого языка? А приглашение на smörgåsbord в шведском? В-общем, не получится. Не в ASCII. Спецификация на представление é, ß, ü, ä, ö просто отсутствует.
“Постойте-ка”, скажут европейцы, “в обычных компьютерах с 8 битами в байте, ASCII никак не использует бит, который всегда равен 0! Мы можем использовать его, чтобы расширить таблицу еще на 128 значений”. И было так. Но способов обозначить звучание гласных еще слишком много. Не все сочетания букв и значений, используемые в европейских языках, влезают в таблицу из 256 записей. Так мир пришел к изобилию кодировок, стандартов, стандартов де-факто и недостандартов, которые покрывают все субнаборы символов. Кому-то понадобилось написать документ на шведском или чешском, и, не найдя нужной кодировки, просто изобрел еще одну. Или я думаю, что все так и произошло.
Не забывайте о русском, хинди, арабском, корейском и множестве других живых языков планеты. Про мертвые уж молчим. Как только вы найдете способ писать документ, использующий несколько языков, попробуйте добавить китайский. Или японский. Оба содержат тысячи символов. И у вас всего 256 значений. Вперед!
Многобайтные кодировки
Для создания таблиц, которые содержат более 256 символов, одного байта просто недостаточно. Двух байтов (16 бит) хватит для кодировки 65536 различных значений. Big-5 например, кодировка двухбайтная. Вместо разбиения последовательности битов в блоки по 8, она использует блоки по 16 битов и содержит большую(я имею ввиду БОЛЬШУЮ) таблицу с соответствием. Big-5 в своем основном виде покрывает большинство символов традиционного китайского. GB18030 – это похожая кодировка, но она включает как традиционный, так и упрощенный китайский. И, прежде чем вы спросите, да, есть кодировки только для упрощенного китайского. А разве одной недостаточно?
Вот кусок таблицы GB18030:
bits character
10000001 01000000 丂
10000001 01000001 丄
10000001 01000010 丅
10000001 01000011 丆
10000001 01000100 丏
GB18030 покрывает довольно большой диапазон символов, включая большую часть латинских символов, но в конце концов, это всего лишь еще одна кодировка среди многих других.
Путаница с Unicode
В итоге тем, кому больше всех надоела эта каша, пришла в голову идея разработать единый стандарт, объединяющий все кодировки. Этим стандартом стал Unicode. Он определяет невероятную таблицу из 1 114 112 пунктов, используемую для всех вариантов букв и символов. Этого хватит для кодирования всех европейских, средне-азиатских, дальневосточных, южных, северных, западных, доисторических и будущих символов, о которых человечеству известно. Unicode позволяет создать документ на любом языке любыми символами, которые можно ввести в компьютер. Это было невозможно, или очень затруднительно до эры Unicode. В стандарте есть даже неофициальная секция под клингонский. Вы поняли, Unicode настолько большой, чтобы допускает неофициальные секции.
Итак, и сколько же байт использует Unicode для кодирования? Нисколько
. Потому что Unicode – это не кодировка.
Смущены? Не вы одни. Unicode в первую и главную очередь определяет таблицу пунктов для символов. Это такой способ сказать «65 – A, 66 – B, 9731 – »(я не шучу, так и есть). Как эти пункты кодируются в байты является предметом другого разговора. Для представления 1 114 112 значений двух байт недостаточно. Трех достаточно, но 3 – странное число, так что 4 является комфортным минимумом. Но, пока вы не используете китайский, или другой язык со множеством символов, которые требуют большого количества битов для кодирования, вам никогда не придет в голову использовать толстую колбасу из 4х байт. Если “A” всегда кодируется в 00000000 00000000 00000000 01000001, а “B” – в 00000000 00000000 00000000 01000010, то документ, использующий такую кодировку, распухнет в 4 раза.
Существует несколько способов решения этой проблемы. UTF-32 – это кодировка, которая переводит все символы в наборы из 32 бит. Это простой алгоритм, но изводящий много места впустую. UTF-16 и UTF-8 являются кодировками с переменной длиной кодирования. Если символ может быть закодирован одним байтом(потому что номер пункта символа очень маленький), UTF-8 закодирует его одним байтом. Если нужно 2 байта, то используется 2 байта. Кодировка сообщает старшими битами, сколькими битами кодируется текущий символ. Такой способ экономит место, но так же и тратит его в случае, если эти сигнальные биты часто используются. UTF-16 является компромиссом: все символы как минимум двухбайтные, но их размер может увеличиваться до 4 байт, если нужно.
character encoding bits
A UTF-8 01000001
A UTF-16 00000000 01000001
A UTF-32 00000000 00000000 00000000 01000001
あ UTF-8 11100011 10000001 10000010
あ UTF-16 00110000 01000010
あ UTF-32 00000000 00000000 00110000 01000010
И все. Unicode – это огромная таблица соответствия символов и чисел, а различные UTF кодировки определяют, как эти числа переводятся в биты. В-общем, Unicode – это просто еще одна схема. Ничего особенного, она просто пытается покрыть все, что можно, оставаясь эффективной. И это хорошо.
Пункты
Символы определяются по их Unicode-пунктам. Эти пункты записаны в шестнадцатеричной системе и предварены “ U+” (просто для удобство, не значит ничего, кроме “Это пункт Unicode”). Символ Ḁ имеет пункт U+1E00. Иными(десятичными) словами, это 7680й символ таблицы Unicode. Он официально называется “ЛАТИНСКАЯ ЗАГЛАВНАЯ БУКВА А С КОЛЬЦОМ СНИЗУ”.
Ниасилил
Суть вышесказанного: любой символ может быть закодирован множеством разных последовательностей бит, и любая последовательность бит может представлять разные символы, в зависимости от используемой кодировки. Причина в том, что разные кодировки используют разное число бит на символ и разные значения для кодирования разных символов.
bits encoding characters11000100 01000010 Windows Latin 1 ÄB
11000100 01000010 Mac Roman ƒB
11000100 01000010 GB18030 腂Characters encoding bits
Føö Windows Latin 1 01000110 11111000 11110110
Føö Mac Roman 01000110 10111111 10011010
Føö UTF-8 01000110 11000011 10111000 11000011 10110110
Заблуждения, смущения и проблемы
Имея все вышесказанное, мы приходим к насущным проблемам, которые испытывают множество пользователей и разработчиков каждый день, как они соотносятся с указанным выше, и каковы пути решения. Сама большая проблема – это
Какого черта мой текст нечитаем?
ÉGÉìÉRÅ[ÉfÉBÉìÉOÇÕìÔǵÇ≠ǻǢ
Если вы откроете документ, и он выглядит так, как текст выше, то причина у этого одна: ваша программа ошиблась с кодировкой. И все. Документ не испорчен(по крайней мере, пока), и не нужно никакое волшебство. Вместо него надо просто выбрать правильную кодировку для отображения текста. Предполагаемый документ выше содержит биты:
10000011 01000111 10000011 10010011 10000011 01010010 10000001 01011011
10000011 01100110 10000011 01000010 10000011 10010011 10000011 01001111
10000010 11001101 10010011 11101111 10000010 10110101 10000010 10101101
10000010 11001000 10000010 10100010
Так, быстренько угадали кодировку? Если вы пожали плечами, то вы правы. Да кто знает?
Попробуем с ASCII. Большая часть этих байтов начинается с 1. Если вы правильно помните, ASCII вообще-то не использует этот бит. Так что ASCII не вариант. Как насчет UTF-8? Большая часть байт не является валидными значениями в этой кодировке. Как насчет Mac Roman(еще одна европейская кодировка)? Хм, для нее эти байты являются правильными значениями. 10000011 декодируетися в ”É”, в “G” и так далее. Так что в Mac Roman текст будет выглядеть так: ÉGÉìÉRÅ[ÉfÉBÉìÉOÇÕìÔǵÇ≠ǻǢ. Правильно? Нет? Может быть? А компьютер-то откуда знает? Может кто-то хотел написать именно это. Насколько я знаю, это может быть последовательностью ДНК! Так и порешим: это Mac Roman, и это ДНК.
Конечно, это полный бред. Правильный ответ таков: текст закодирован в Japanes Shift-JIS и должен выглядеть как エンコーディングは難しくない. Кто бы мог подумать?
Первая причина нечитаемости текста в том, что кто-то пытается прочитать последовательность байт в неверной кодировке. Компьютеру всегда нужно подсказывать. Сам он не догадается. Некоторые типы документов определяют кодировку своего содержимого, но последовательность байт всегда остается черным ящиком.
Большинство браузеров предоставляют возможность указать кодировку страницы с помощью специального пункта меню. Иные программы тоже имеют аналогичные пункты.