Обзор современных моделей для программирования: как LLM учатся писать код

Почему код стал отдельной задачей для LLM

Код отличается от обычного текста тем, что он исполняется. Модель, которая отлично пересказывает новости, может падать на простом «переверни связный список», потому что для программирования нужна не просто беглость языка, а строгое следование синтаксису, понимание типов и умение держать в голове состояние программы. Поэтому почти у каждого крупного производителя моделей появилась отдельная линия для кода — либо специализированная «кодовая» версия, либо флагман, дообученный на репозиториях.

В этом обзоре я не буду гнаться за свежими номерами версий и точными цифрами бенчмарков — они устаревают за месяцы. Вместо этого разложу, какие классы моделей вообще есть, чем они отличаются на уровне подхода и что полезно знать перед выбором.

Как устроена «модель для кода»

Большинство современных coding-LLM строятся по одному рецепту, отличаясь пропорциями ингридиентов:

• Базовый pretrain — огромный корпус текста и кода с GitHub и других открытых репозиториев. Именно здесь закладывается «чувство синтаксиса» и знание популярных библиотек.
• Инструктивный finetune (SFT) — обучение на парах «задача → корректное решение», чтобы модель отвечала на запрос, а не просто продолжала текст.
• Обучение с подкреплением (RLHF / RLAIF) — модель получает награду за проходящие тесты и читаемый код, штраф за галлюцинации и небезопасные вызовы. Для кода это особенно ценно: тесты дают объективный сигнал, а не вкусовщину.
• Длинный контекст — возможность прочитать весь проект целиком. Чем больше окно, тем реже приходится вручную собирать «нужные файлы» в промпт.

Сами архитектуры почти везде — трансформеры с механизмами внимания. Разница не в «магической формуле», а в данных, качестве разметки и объёме вычислений на этапе RL.

Главные семейства моделей

1. Проприетарные флагманы

Это замкнутые модели от крупных лабораторий. Они, как правило, сильнее всех на сложных задачах, но работают только через API и платные подписки:

• Семейство Anthropic (Claude) — исторически считается одним из сильнейших «кодеров», особенно в задачах рефакторинга и работы с большими кодовыми базами. Ценится за аккуратность и склонность задавать уточняющие вопросы вместо выдумывания.
• Семейство OpenAI (GPT / o-серия) — универсальные модели, которые одинаково хорошо пишут и код, и обычный текст. Линейка «рассуждающих» моделей (с пошаговым reasoning) показывает высокие результаты на алгоритмических задачах и сложной логике.
• Семейство Google (Gemini) — отличается очень большим окном контекста, что удобно для анализа целых репозиториев и длинных логов.

Плюс этих моделей — качество «из коробки». Минус — приватность: код уходит на чужие сервера, что не всегда допустимо в корпоративных проектах.

2. Открытые (open-weight) модели

Веса лежат в открытом доступе, модель можно крутить локально или на своём железе. Ещё недавно они заметно уступали проприетарным флагманам, но свежие релизы китайских лабораторий уже наступают им на пятки — а на отдельных бенчмарках и обходят:

• Kimi K3 (Moonshot AI) — открытая 2,8-триллионная MoE-модель с окном в 1 млн токенов и нативным зрением. Заточена под long-horizon coding и в Frontend Code Arena обходит даже топовых проприетарных моделей. На момент выхода — крупнейшая open-weight модель в мире.
• GLM-5.2 (Zhipu / Z.AI) — флагманская открытая модель под coding-агентов: 1 млн токенов lossless-контекста и заточенность под длинные автономные сессии. На Terminal-Bench считается сильнейшей среди open-source, позиционируется как прямой конкурент Anthropic.
• DeepSeek Coder — китайская линейка, которая наделала шуму высокой эффективностью при относительно небольшом размере. Часто используется как локальный «рабочий компаньон».
• Qwen Coder (Alibaba) — ещё одно сильное открытое семейство с хорошей поддержкой разных языков программирования.
• StarCoder / StarCoder2 (BigCode) — проект под эгидой Hugging Face, обученный на тщательно очищенном корпусе кода. Хорошая база для собственного finetune.
• Code Llama (Meta) — классика открытых кодинг-моделей, от которой многие отталкивались.

Главный плюс — полный контроль и приватность. Главный минус — нужно железо и инфраструктура для инференса (особенно для гигантов вроде Kimi K3 и GLM-5.2, которые в полный размер дома не посидишь).

3. Агенты и инструменты, а не модели

Отдельный тренд последних лет: ценность всё чаще не в «чистой модели», а в том, как она встроена в инструмент. Редакторы с продвинутыми AI-плагинами позволяют модели запускать код, читать ошибки, править несколько файлов сразу и итеративно доводить задачу до зелёных тестов. Иногда средняя модель в хорошем агенте выигрывает у флагмана в режиме «один промпт — один ответ».

По чему реально сравнивать

Бенчмарки вроде HumanEval или MBPP дают первое приближение, но в реальной работе важнее другое:

1. Качество длинного контекста. Умеет ли модель находить нужное в 100 000 токенов, а не просто «забывать» начало файла. Проверяйте не на маркетинге, а на своём проекте.
2. Устойчивость к галлюцинациям API. Выдуманные имена функций и несуществующие методы — бич даже топовых моделей. Чем дисциплинированнее модель, тем меньше времени на ревью.
3. Следование стилю проекта. Хорошая модель подхватывает конвенции репозитория (именование, форматирование, обработка ошибок), а не навязывает свой.
4. Стоимость и скорость. Дешёвая модель, которая перебирает варианты за секунды, часто выгоднее дорогой, которая думает минуту.
5. Приватность и лицензии. Для регулируемых отраслей открытая модель на своём сервере может быть единственным вариантом.

Как выбрать под задачу

Практический ориентир — не «какая модель лучшая», а «что я делаю»:

• Сложный рефакторинг, новая фича в большой кодовой базе — флагман с длинным контекстом и сильным агентом.
• Штатное автодополнение в IDE — небольшая быстрая модель, возможно локальная: латентность важнее потолка качества.
• Командный код-ревью, генерация тестов — модель с хорошим следованию стилю и низким уровнем галлюцинаций.
• Закрытый корпоративный код, требования compliance — открытая модель в собственной инфраструктуре.

Ловушки, в которые стоит наступать реже

• Доверять коду без запуска. Красиво выглядящий код может не компилироваться. Всегда прогоняйте через тесты и линтер.
• Кидать весь проект без фильтра. Длинный контекст — не значит бесплатный: шумные файлы ухудшают качество. Собирайте релевантный контекст осмысленно.
• Гнаться за свежей версией. Новая модель может проигрывать предыдущей на ваших типичных задачах. Держите свой набор кейсов для сравнения.
• Забывать про секреты. API-ключи и пароли в коде, отправленном внешней модели, — реальная утечка. Скрабьте их до отправки.

Итог

Рынок coding-LLM устроен как гонка на выносливость: флагманы лидируют по качеству, открытые модели наступают по скорости адаптации и приватности, а агенты переопределяют само понятие «хорошей модели». Правильный выбор зависит не от строчки в рейтинге, а от вашей задачи, бюджета и ограничений по безопасности. Держите под рукой пару моделей разных классов — это полезнее, чем искать одну «лучшую».