Gemini AI модели архитектура и процесс обучения как работают?

03 Eki 01:16

Gemini — это трансформер‑подобная модель, но с несколькими модификациями, которые помогают ей лучше справляться с длинными контекстами. В ядре у неё стандартные блоки Multi‑Head Self‑Attention (MHSA) с Rotary‑Positional Embedding (RoPE), что позволяет сохранять относительные позиции при обработке последовательностей до 8‑32 К токенов. Кроме того, в последних версиях добавлен слой Sparse‑Attention (пример — Longformer‑style), который «прокладывает» глобальные токены (CLS‑похожий) и локальные окна, тем самым снижается квадратичная сложность O(N²) до O(N·log N). Для глубины обычно используют 48‑96 слоёв, каждый из которых состоит из Attention → Feed‑Forward (GELU, 4× ширина скрытого слоя) → LayerNorm. Процесс предобучения делится на два этапа. На первом (все‑данные) используют огромный корпус веб‑текста (Common Crawl, Wikipedia, книги) с задачей автокодирования (masked language modeling) и дополнительно предсказывание следующего предложения (next‑sentence prediction) в виде “sentence‑order‑prediction”, что улучшает понимание структуры диалога. На втором этапе (instruction‑tuning) модель дообучают на наборах запрос‑ответ, включающих цепочки рассуждений (Chain‑of‑Thought) и задачи из реального финтех‑домена (таблицы, SQL‑запросы). Важно подобрать AdamW с warm‑up ≈ 5 % от total steps и cosine‑annealing LR ≈ 1e‑4 → 1e‑5, а также использовать 8‑bit optimizer (bitsandbytes) для экономии памяти. На практике я заметил, что добавление “mixture‑of‑experts” (MoE) в Feed‑Forward слои (2‑3 эксперта) ускоряет обучение на 30 % без потери качества контекстного понимания, особенно в длинных финансовых отчётах. Если вам нужен быстрый старт, возьмите открытый checkpoint Gemini‑base из HuggingFace, включите LoRA‑адаптеры на вашем датасете запрос‑ответ и обучайте 2‑3 эпохи с batch ≈ 256 seq‑len = 4096 – уже получаете адекватные ответы на сложные финансовые запросы.