Текст внутри файлов имеет квадраты с номерами в нем

Некоторые текстовые файлы, с которыми я сталкиваюсь, имеют маленькие квадраты с числами в них (вместо определенных символов). Я не могу копировать и вставлять их в Ubuntu, но может выполнять поиск и замену в gedit каждого символа в отдельности (заменяя, по моему мнению, лучшее совпадение), очевидно, это возможно только в том случае, если существует только несколько типов квадратов.

Пример нескольких квадратов

Я убежден, что эти квадраты отображаются, потому что мне не хватает некоторых шрифтов … Моя цель – преобразовать это в файл ePub или PDF.

Мой вопрос:

  • Какой тип кодирования? И почему это происходит?
  • Если у вас отсутствуют шрифты, могу ли я их установить, и это решит проблему (позвольте мне преобразовать символы в PDF, например, с помощью Calibre )?
  • Есть ли приложение для преобразования текстового файла в текстовый файл без этих квадратов, вместо этого заменяя их похожим символом? Например, символ введите описание изображения здесь в значительной степени y , поэтому я хотел бы, чтобы эта функция заменяла каждый экземпляр введите описание изображения здесь с y .

Пример txt-файла здесь, и он изначально выглядел так (обратите внимание на неточности, которые следует за OCR ).

Примечание. Я не мог заставить uni2ascii или iconv (хотя, возможно, я не использовал правильные [параметры]), поэтому перед отправкой решения, пожалуйста, проверьте этот файл!

Ящики означают «глиф не найден»; символы в поле являются шестнадцатеричными представлениями кодового пункта в юникоде.

Есть две возможности: кодировка символов искажена, или используемый вами шрифт не имеет глифа для этого символа. Это отличный обзор кодировки символов, если вы действительно хотите это понять: http://trochee.net/2011/05/character-encoding-tutorial/

Любопытно, что U + 001F и U + 001D – это просто прославленные разрывы строк. Кажется странным, что OCR вернет их.

Квадраты (насколько я могу судить) всегда встречаются в местах, где используются специальные символы набора. Например, набор ty буквы t сопровождаемый буквой y в некоторых шрифтах, оставляет дополнительное нежелательное пространство между двумя буквами. По этой причине многие шрифты, используемые для более продвинутого набора, имеют для этого дополнительные символы, такие как символ ty который должен читать «… древний beau ty умеренный …». Поскольку у вас нет этих дополнительных символов (возможно, их невозможно декодировать, так как они могут не иметь код ascii / utf-8), вы получаете квадраты.

У меня нет реальной идеи о том, как скопировать фактический текст (и в этом случае получить t и a y виде отдельных символов), но люди из TeX, LaTeX и друзей могут помочь – они не обязательно являются экспертами шрифтов , но они все в наборе …

Это не какая-то кодировка, которую я узнаю. Я предполагаю, что недостающие символы не представляют собой письменные символы, а скорее указывают дополнительную информацию о процессе OCR.

Используя гибкую интерпретацию управляющих кодов ASCII , 0C может представлять разрыв страницы, а 0B может быть вкладкой или другим пробелом. 1D и 1F должны быть «разделителями для обозначения полей структур данных», но с первого взгляда 1F, возможно, был кооптирован как неопознанный :

 $ hexdump -C -s 0xa0 myfile.txt | grep -C 1 " 1f " 00000250 6c 64 20 6f 66 20 61 6e 63 69 65 6e 74 20 62 65 |ld of ancient be| 00000260 61 75 1f 20 61 20 74 65 6d 70 65 72 61 74 65 2c |au. a temperate,| 00000270 20 68 75 6d 69 64 20 72 65 67 69 6f 6e 20 77 68 | humid region wh| 00000280 6f 73 65 20 0a 6d 69 73 1f 20 75 6e 64 75 6c 61 |ose .mis. undula| 00000290 74 69 6e 67 20 68 69 6c 6c 73 20 68 61 64 20 62 |ting hills had b| -- 00000350 20 33 30 30 20 0a 73 70 65 63 69 65 73 20 6f 66 | 300 .species of| 00000360 20 74 72 65 65 73 20 67 72 65 1f 20 69 6e 63 6c | trees gre. incl| 00000370 75 64 69 6e 67 20 6d 61 70 6c 65 73 2c 20 63 61 |uding maples, ca| -- 000006a0 65 20 61 62 6f 75 74 20 31 30 20 6b 69 6c 6f 6d |e about 10 kilom| 000006b0 65 74 72 65 73 20 61 77 61 1f 20 62 65 79 6f 6e |etres awa. beyon| 000006c0 64 20 61 20 70 61 73 73 20 0a 63 61 6c 6c 65 64 |da pass .called| 

В этом примере байт 1F используется дегенеративно вместо ty, w, , и y,

Другая возможность заключается в том, что файл был поврежден во время какого-то прошлого преобразования кодировки. Возможно, метаданные, определяющие шрифты символов, были отброшены или более значимыми, символы вне диапазона были свернуты в ASCII. Это было бы согласуется с тем, что персонажи изначально были редкими лигатурами.

В любом случае информация, необходимая для программного перевода, конечно, не входит в файл. Если вы не сможете повторно запустить OCR, я думаю, вам не повезло.