Как ускорить загрузку модели Flux в Forge на 6 ГБ VRAM

При работе с нейросетевой графикой в среде Forge и моделью Flux1-shnell-Q2_K.gguf многие пользователи сталкиваются с проблемой: первая загрузка после запуска занимает более 10 минут, а процесс Python потребляет до 12 ГБ оперативной памяти. При этом генерация одной картинки в 4 прохода на 6 ГБ VRAM занимает всего 2-3 минуты - это нормально. В этой статье мы объясним, почему загрузка такая долгая, и как её можно ускорить с помощью кеширования.

Почему первая загрузка Flux в Forge занимает 10+ минут

При запуске Forge загружает три ключевых файла: ae.safetensors, clip_l.safetensors и t5-v1_1-xxl-encoder-Q3_K_L.gguf, а также саму модель Flux1-shnell-Q2_K.gguf. Процесс Python считывает эти файлы с диска, распаковывает (если используется сжатие в формате GGUF) и выполняет предварительную обработку - инициализацию тензоров, квантование и оптимизацию для GPU. Именно эта обработка, а не просто чтение с диска, занимает основное время и 12 ГБ ОЗУ.

Можно ли кешировать распакованную модель на диск

Да, кеширование возможно, но не встроенными средствами Forge «из коробки». Для ускорения повторной загрузки можно использовать следующие подходы:

• Ручное кеширование через RAM-диск. Создайте виртуальный диск в оперативной памяти (например, с помощью ImDisk или Radeon RAMDisk) и скопируйте на него папку с моделями и энкодерами. После первого запуска Forge будет читать файлы из ОЗУ, а не с медленного диска (HDD/SSD). Однако это не уменьшит время первой загрузки - только последующих.
• Использование предварительно загруженных кешей. Некоторые сборки Forge (например, от сообщества Stability Matrix) автоматически сохраняют обработанные модели в папку cache внутри директории Forge. Проверьте наличие папки models\cache или runtime\cache - если она пуста, попробуйте переустановить Forge с поддержкой кеширования.
• Отключение ненужных энкодеров. Если вы используете только CLIP-L и T5-xxl, убедитесь, что в настройках Forge не включены дополнительные энкодеры (например, CLIP-G), которые увеличивают время загрузки.

Оптимизация RAM и VRAM для работы с Flux

Для уменьшения потребления ОЗУ при загрузке модели:

• Используйте квантованную версию Flux. Модель Q2_K уже оптимизирована для 6 ГБ VRAM, но загрузка в ОЗУ может быть сокращена, если вы выберете ещё более лёгкую версию - Q1_K или Q3_K_S.
• Настройте параметры загрузки в Forge. В разделе Settings > Memory включите опцию Low VRAM mode и установите Max memory usage на 8-10 ГБ ОЗУ, чтобы Python не захватывал всю доступную память.
• Используйте аргумент --medvram или --lowvram при запуске Forge. Это уменьшит объём одновременно загружаемых данных, но может увеличить время генерации.

Альтернативные решения: предварительная загрузка моделей

Если кеширование не помогает, попробуйте предварительно загрузить модель в ОЗУ с помощью скрипта Python перед запуском Forge. Например, создайте файл preload.py:

import torch
torch.load('Flux1-shnell-Q2_K.gguf', map_location='cpu')

Запустите его один раз - это загрузит модель в системный кеш ОС, и Forge прочитает её быстрее. Однако этот метод не сократит общее время, а лишь перенесёт его на этап предзагрузки.

Заключение

Первая загрузка Flux в Forge занимает 10+ минут из-за распаковки и обработки модели в ОЗУ. Полностью ускорить её до скорости чтения 12 ГБ с диска (что заняло бы 30-60 секунд на SSD) можно только с помощью ручного кеширования через RAM-диск или специальных сборок Forge с поддержкой кеша. Для большинства пользователей с 6 ГБ VRAM оптимальным решением будет оставить стандартную загрузку, но оптимизировать настройки памяти, чтобы уменьшить нагрузку на систему.