большая языковая модель

Большая языковая модель (Large Language Model, LLM) — тип нейронной сети, обученной на огромных корпусах текста с целью моделирования языка: предсказания следующего токена, понимания контекста и генерации связного, содержательного текста. Современные LLM насчитывают десятки и сотни миллиардов параметров и демонстрируют способности, выходящие далеко за рамки простого автодополнения.

Что делает языковую модель «большой»

Масштаб определяется тремя составляющими: числом параметров модели, объёмом обучающих данных и вычислительными ресурсами. Гипотеза масштабирования (scaling hypothesis) утверждает, что при пропорциональном росте всех трёх показателей качество улучшается предсказуемо. GPT-3 с 175 млрд параметров стал переломным моментом, продемонстрировав способности few-shot learning — решение новых задач по нескольким примерам в промпте без дополнительного обучения.

Архитектурная основа

Практически все современные LLM построены на архитектуре трансформера, предложенной в 2017 году. Decoder-only трансформеры (GPT-серия, LLaMA, Mistral) обучаются предсказывать следующий токен, что позволяет использовать весь интернет как обучающие данные без разметки — самосупервизия. Encoder-decoder архитектуры (T5, BART) лучше подходят для задач «перевод источника в цель».

Ключевые компоненты: многоголовое само-внимание (multi-head self-attention), позиционные кодировки (RoPE, ALiBi), нормализация (LayerNorm, RMSNorm), Feed-Forward слои. Группированное внимание (GQA) и sliding window attention снижают вычислительную сложность для длинных контекстов.

Обучение LLM: предобучение и выравнивание

Предобучение

Модель обучается на триллионах токенов из веб-страниц (CommonCrawl), книг (Books3), кода (GitHub), Wikipedia и других источников. Цель — минимизировать перплексию: насколько точно модель предсказывает реальные тексты. Обучение занимает недели на тысячах GPU.

Инструкционная настройка

Предобученная модель умеет продолжать текст, но не следовать инструкциям. Supervised Fine-Tuning (SFT) на датасетах «вопрос-ответ» учит модель отвечать в формате диалога. RLHF (Reinforcement Learning from Human Feedback) дополнительно согласовывает поведение модели с человеческими предпочтениями.

Ключевые способности LLM

• Few-shot и zero-shot learning: решение задач по нескольким примерам или без них.
• Chain-of-thought reasoning: пошаговое рассуждение повышает точность на сложных задачах.
• Code generation: написание и отладка кода на десятках языков программирования.
• Суммаризация и извлечение информации: компрессия больших текстов.
• Мультимодальность: современные модели (GPT-4V, Gemini) обрабатывают изображения, аудио.

Основные LLM на рынке

OpenAI GPT-4/GPT-4o — флагманы коммерческого сегмента. Anthropic Claude — ориентирован на безопасность и длинный контекст. Google Gemini — интегрирован с поиском и инструментами Google. Meta LLaMA 3 — открытая модель, доступная для тонкой настройки. Mistral, Qwen, Phi — компактные альтернативы с высокой эффективностью. Для русского языка выделяется серия Yandex YandexGPT.

Ограничения и проблемы

LLM галлюцинируют — генерируют правдоподобно звучащую, но ложную информацию. Знания ограничены датой среза обучающих данных. Контекстное окно ограничено (хотя Gemini 1.5 Pro достигло 2 млн токенов). Модели чувствительны к формулировке промпта и могут быть обмануты adversarial-запросами (jailbreaking). Огромный углеродный след — обучение GPT-4 потребовало, по оценкам, несколько тысяч тонн CO₂.

Практическое применение

Корпоративный поиск и ответы на вопросы по документам (RAG-системы). Генерация и обзор кода (GitHub Copilot, Cursor). Автоматизация клиентской поддержки. Медицинская документация. Образование и персонализированные объяснения. Правовой анализ документов. LLM стали платформой, на которой строятся AI-агенты, способные самостоятельно планировать и выполнять сложные задачи.