Как мы измеряем уровень

У каждого издания в библиотеке есть метка вроде B2.1. Её считает программа по самому тексту: никто не вписывает её руками, и уровень, под который писали адаптацию, в расчёт не идёт. Буква с первой цифрой — привычная ступень CEFR, та же, что в курсах и на экзаменах. Цифра после точки показывает, где внутри ступени стоит текст: B1.2 ближе к лёгкому краю B1, B1.8 — к трудному, а B1.5 — типичный текст B1 на экзамене.

Что говорит метка

• Главное — ступень. B1.0 и B1.9 — это обе B1. Десятые — более точное место на той же шкале, они нужны, чтобы сравнить два издания.
• Метка и раздел каталога — разные вещи. Раздел B1 — это наш самый простой пересказ книги, а метка — замер его текста. У наших изданий раздела B1 метка обычно от B1.8 до B2.5: они идут за оригиналом глава за главой и плотнее, чем обещает название раздела.
• Оригиналы меряются по той же шкале. Если роман в оригинале — C2, его издание B2 может выйти C1.1, а издание B1 — B2.1. Адаптацию выпускаем, только если она заметно проще своего оригинала.
• У C2 нет десятых. Ни наша программа, ни другие способы проверки, которые мы пробовали, не отличают тексты C1 от C2 надёжно, поэтому всё труднее C1.9 подписано просто «C2».
• Мелкая разница ничего не значит. B1.6 и B1.7 читаются одинаково. Разницу в полступени и больше ты заметишь.

Как программа измеряет текст

Она режет книгу на отрывки примерно по 220 слов и смотрит на каждый с трёх сторон.

Отрывки сводятся в одну оценку на всю книгу, а оценка превращается в метку: 4,31 — это B2.3. Слова с пояснением в скобках меряются вместе с пояснением — так, как ты их читаешь.

Как мы настраиваем шкалу

Доли сигналов и перевод оценки в метку подобраны по 200 текстам для чтения из бесплатных образцов четырёх экзаменаторов — Cambridge English, LanguageCert, Pearson и Trinity College London — от A2 до C2: типичный экзаменационный текст ступени получает её середину (B2.5 для B2). Проверяли честно: программа каждый раз настраивалась без одного экзаменатора и мерила его тексты, не видя их.

Экзаменационные тексты — статьи и письма, а наши книги — романы. Поэтому мы отдельно проверили, не путает ли программа жанры, на 4 724 отрывках, трудность которых оценили учителя, сравнивая их попарно^[4]. При той же оценке учителей художественный отрывок программа ставила чуть ниже — на 0,13. На эту величину мы подняли метки книг.

У метода есть номер версии, и версия, которая уже работает, не меняется: один и тот же текст всегда получает одну и ту же метку. Когда мы улучшаем метод, выходит новая версия, и все издания библиотеки перемеряются заново. Сейчас работает версия 1.2 (с 13 октября 2026 года).

Как мы проверяем шкалу

Шкала хороша ровно настолько, насколько она совпадает с текстами, уровень которых уже известен.

Что из этого следует. До C1 наши метки совпадают с уровнем экзамена в пределах полступени. Тексты C2 программа от C1 не отличает — поэтому у C2 нет десятых. Адаптированные книги из серий Cambridge, Penguin и Helbling уровней B2 и C1 по нашей шкале — верх B1. Это не спор, а разные вопросы: серия подписывает книгу по читателю, которому её будет легко читать, а наша метка меряет сам текст так, как экзамен меряет текст для чтения.

Кроме того, мы сверили программу с двумя независимыми способами. Модели других разработчиков сравнивали отрывки — какой труднее — и совпали с учителями даже лучше программы; они так же поставили наши издания выше книг серий тех же ступеней. Подсчёт словаря показал то же: в наших изданиях B1 слов за пределами двух тысяч самых частых — 2,2 %, в книгах серий B1 — 1,5 %, B2 — 2,5 %.

Оригиналы классических романов выходят у нас от C1.2 до C2. Так же их описывает и сам CEFR: читать «классическую художественную литературу» — это C2, «современную» — C1, а «романы простым языком» — B2^[5].

Медианы опираются на сотни текстов, поэтому они устойчивы; отдельный короткий текст может отличаться от своего уровня до ступени — поэтому мы ставим метку книге целиком, а не отрывку. Погрешность метки книги — около полуступени.

Чего метка не говорит

• Она меряет текст, а не тебя. Свой уровень узнаешь из теста словарного запаса — и начни с издания своей ступени.
• Это не результат экзамена. Программа не может сертифицировать текст так, как экзамен сертифицирует человека: метка — аккуратная оценка на одной последовательной шкале.
• Она не меряет сюжет. Две книги с одной меткой могут ощущаться по-разному: старый роман сохраняет предметы и обычаи своей эпохи. Нужные истории слова остаются в тексте и поясняются в скобках там, где встречаются впервые.

Как выбрать книгу по своему уровню и дочитать её до конца — в статье как читать книги на английском.

Вопросы