Локальная нейросеть — это модель, которая считает прямо на вашем ПК, а не в чужом облаке: без подписки, без очереди на сервере и без риска, что доступ закроют. Разберём, что для этого реально нужно по железу, сколько это стоит и какую модель поставить первой — под текст, картинки, видео или музыку.
Больше советов по локальным нейросетям и инструментам — в нашем телеграм-канале.
Зачем ставить нейросеть локально, а не платить за подписку
Локальная нейросеть решает три конкретные проблемы: подписку отключили или подняли цену, карту не принимают, а данные и промпты уходят на чужой сервер. Вместо ежемесячных платежей вы один раз вкладываетесь в железо и дальше считаете без ограничений — столько, сколько выдержит видеокарта.
Приватность здесь не абстракция. Когда вы генерируете контент для клиента, его брифы, тексты и референсы не покидают ваш компьютер. Для заработка на контенте это критично: вы не передаёте рабочие материалы третьей стороне и не зависите от того, что завтра случится с доступом к зарубежному сервису.
Отдельный плюс — офлайн-режим и дообучение. Модель работает без интернета, а при желании её можно дообучить на своих данных: под стиль конкретного блога, под терминологию ниши, под формат постов. Облачные подписки такого не дают.
Локальная нейросеть — это разовые вложения в железо вместо бесконечной подписки и полный контроль над данными.
Что нужно по железу: видеокарта, память, процессор, диск
Главный ограничитель — видеокарта и объём её видеопамяти (VRAM). Именно в VRAM помещается модель во время работы, и если памяти не хватает, модель либо не запустится, либо начнёт выгружаться в обычную оперативную память и резко замедлится.
Стандарт де-факто — видеокарты Nvidia с поддержкой CUDA. AMD с ROCm и Intel GPU тоже работают, но с оговорками: поддержка на Windows появляется медленнее, часть инструментов работает нестабильно. Перед покупкой карты под локальный ИИ проверяйте актуальную поддержку ROCm и Intel GPU в последних версиях LM Studio, Ollama и ComfyUI.
Остальные компоненты влияют так:
- Оперативная память — запас, куда выгружается модель, если VRAM не хватает; для больших моделей нужно 32–64 ГБ RAM.
- Процессор — важен при выгрузке в RAM и для вспомогательных задач, но не заменяет видеокарту.
- Диск — модели весят от нескольких гигабайт до сотен; под коллекцию моделей закладывайте 100–500 ГБ свободного места.
Сколько VRAM нужно под 7B, 13B, 30B и 70B моделей
Квантование модели — это сжатие её весов, которое сокращает требования к VRAM. Одна и та же модель в квантовании Q4 занимает заметно меньше памяти, чем в Q8, но теряет в точности ответов. Q4_K_M — рабочий минимум для большинства задач, Q5 — компромисс, Q8 — почти без потерь, но требует много памяти.
Таблица ниже показывает, сколько VRAM и RAM нужно под модели разного размера в разных квантованиях. Цифры ориентировочные и зависят от длины контекста: чем длиннее контекст, тем больше памяти уходит на него дополнительно.
| Размер модели | Квантование Q4_K_M | Квантование Q5_K_M | Квантование Q8 |
|---|---|---|---|
| 7B | 6–8 ГБ VRAM / 8–10 ГБ RAM | 7–9 ГБ VRAM / 10–12 ГБ RAM | 10–12 ГБ VRAM / 14–16 ГБ RAM |
| 13B | 10–12 ГБ VRAM / 14–16 ГБ RAM | 12–14 ГБ VRAM / 16–18 ГБ RAM | 16–18 ГБ VRAM / 20–24 ГБ RAM |
| 30B | 20–24 ГБ VRAM / 28–32 ГБ RAM | 24–28 ГБ VRAM / 32–36 ГБ RAM | 32–36 ГБ VRAM / 40–48 ГБ RAM |
| 70B | 40–48 ГБ VRAM / 56–64 ГБ RAM | 48–56 ГБ VRAM / 64–72 ГБ RAM | 64–72 ГБ VRAM / 80–96 ГБ RAM |
Если VRAM не хватает, модель частично выгружается в обычную RAM, и скорость генерации падает в разы. Для комфортной работы ориентируйтесь на то, чтобы модель целиком помещалась в VRAM.
Какую видеокарту и ПК выбрать под локальный ИИ
Выбор видеокарты определяет, какие модели вы вообще сможете запустить. Ниже — три уровня входа с конкретными моделями Nvidia RTX и ориентировочными ценами на российском рынке. Цены проверяйте на маркетплейсах перед покупкой: они меняются.
| Уровень | Видеокарта | VRAM | RAM | Ориентир цены | Что запускается |
|---|---|---|---|---|---|
| Минимальный | RTX 3060 12 ГБ / RTX 4060 Ti 16 ГБ | 12–16 ГБ | 16–32 ГБ | 30 000–60 000 ₽ | 7B–13B в Q4, Stable Diffusion |
| Рекомендуемый | RTX 4070 Ti Super 16 ГБ / RTX 4080 16 ГБ | 16 ГБ | 32 ГБ | 80 000–130 000 ₽ | 13B–30B в Q4/Q5, SDXL, Flux |
| Продвинутый | RTX 4090 24 ГБ / RTX 5090 32 ГБ | 24–32 ГБ | 64 ГБ | 180 000–350 000 ₽ | 30B–70B в Q4, видео, продакшен |
Минимальный сетап: карта с 8–12 ГБ VRAM
С 12 ГБ VRAM реально запускать модели 7B–13B в квантовании Q4_K_M. Этого достаточно для генерации текстов, постов для соцсетей, простых картинок в Stable Diffusion. Для тяжёлых задач вроде видео или моделей 30B+ такой карты не хватит.
Рекомендуемый сетап: 16 ГБ VRAM
16 ГБ VRAM — баланс цены и возможностей для контент-задач. Здесь помещаются модели 13B в Q5–Q8, 30B в Q4, а также SDXL и Flux для качественных изображений. Это рабочий минимум для регулярного заработка на контенте.
Продвинутый сетап: 24 ГБ VRAM и больше
24 ГБ VRAM и выше оправданы, когда вы генерируете видео, запускаете модели 30B–70B или работаете в режиме продакшена с постоянной нагрузкой. Это уровень, на котором локальная генерация видео перестаёт быть экспериментом.
Сколько это стоит: электричество и амортизация против подписок
Локальный запуск — это не бесплатно: видеокарта потребляет электричество, а само железо изнашивается. Формула простая: стоимость кВт·ч × потребление видеокарты × часы работы. При тарифе 6 ₽/кВт·ч и карте с потреблением 300 Вт час работы стоит около 1,8 ₽.
Амортизация видеокарты за 100 000 ₽ при сроке службы 3 года — примерно 2 800 ₽ в месяц. Если вы генерируете контент 3–4 часа в день, электричество добавит ещё 200–300 ₽ в месяц. Итого локальный запуск обходится в 3 000–3 500 ₽ в месяц после покупки железа.
Для сравнения: подписки ChatGPT Plus, Midjourney и Suno вместе стоят от 4 000 до 6 000 ₽ в месяц. При регулярной генерации контента локальный сетап окупается за 2–3 года, а дальше работает без абонентской платы. Если же вы генерируете разово и редко, облако остаётся выгоднее.
| Статья расходов | Локально (в месяц) | Облачные подписки (в месяц) |
|---|---|---|
| Электричество (3–4 ч/день) | 200–300 ₽ | — |
| Амортизация видеокарты | 2 800 ₽ | — |
| ChatGPT Plus + Midjourney + Suno | — | 4 000–6 000 ₽ |
| Итого | 3 000–3 500 ₽ | 4 000–6 000 ₽ |
Инструменты для локальных текстовых нейросетей
Чтобы запустить open-weight модель, нужна оболочка — программа, которая берёт файл модели и даёт удобный интерфейс. Без оболочки пришлось бы работать через код и командную строку.
| Инструмент | Порог входа | Интерфейс | Минимальные требования |
|---|---|---|---|
| Ollama | Низкий | Командная строка | 8 ГБ RAM, CPU или GPU |
| LM Studio | Низкий | Графический | 8 ГБ RAM, желательно GPU |
| GPT4All | Очень низкий | Графический | 8 ГБ RAM, CPU |
| Jan | Очень низкий | Графический | 8 ГБ RAM, CPU |
| Text Generation WebUI | Высокий | Веб-интерфейс | 16 ГБ RAM, GPU |
| KoboldAI | Высокий | Веб-интерфейс | 16 ГБ RAM, GPU |
Ollama — минимум настройки и командная строка: поставил, скачал модель одной командой, запустил. LM Studio — то же самое, но с понятным графическим интерфейсом, подходит новичкам. GPT4All и Jan — для совсем начинающих, работают даже на CPU. Text Generation WebUI и KoboldAI дают больше контроля над параметрами, но порог входа выше.
Инструменты для локальной генерации изображений
Для картинок требования по VRAM отличаются от текстовых моделей: генерация изображений грузит видеокарту сильнее, и 8 ГБ VRAM здесь — нижняя граница, а комфортно — от 12 ГБ.
- Stable Diffusion WebUI — самый распространённый вариант, по нему больше всего гайдов и готовых моделей. Подходит для быстрого старта.
- ComfyUI — нодовый интерфейс, где вы собираете пайплайн генерации как схему. Больше контроля над процессом, выше порог входа.
- InvokeAI — компромисс между простотой WebUI и возможностями ComfyUI, удобен для художников и дизайнеров.
Если задача — быстро получить картинку для поста, берите Stable Diffusion WebUI. Если нужно выстроить сложный пайплайн с постобработкой — ComfyUI.
Локальная генерация видео и музыки — то, что обычно упускают
Видео и музыка локально генерируются сложнее, чем текст и картинки: требования к VRAM выше, а время генерации одного ролика может занимать минуты и часы. Но инструменты есть, и для контент-продюсера они закрывают задачи, которые конкуренты вообще не рассматривают.
| Инструмент | Тип | Минимальные требования | Что получится на выходе |
|---|---|---|---|
| LTX-Video | Видео | 16–24 ГБ VRAM | Короткие ролики 3–10 секунд |
| HunyuanVideo | Видео | 24 ГБ VRAM и выше | Ролики до 10–15 секунд |
| AnimateDiff | Анимация | 12–16 ГБ VRAM | Анимация из статичных кадров |
| MusicGen | Музыка | 8–12 ГБ VRAM | Короткие музыкальные фрагменты |
| Stable Audio Open | Музыка | 8–12 ГБ VRAM | Звуковые дорожки и эффекты |
Видео: LTX-Video, HunyuanVideo, AnimateDiff
Для видео нужна карта с 16–24 ГБ VRAM, и даже на ней генерация ролика занимает минуты. Реалистичные ограничения: длительность 3–15 секунд, разрешение ниже, чем у облачных сервисов, и заметное время ожидания. Для регулярного видеопродакшена локально нужно продвинутое железо.
Музыка: MusicGen, Stable Audio Open
Требования для музыки заметно ниже, чем для видео: хватает 8–12 ГБ VRAM. Для контент-продюсера этого достаточно, чтобы генерировать фоновые треки, джинглы и звуковые эффекты для роликов без подписки на музыкальные сервисы.
Распознавание речи и работа с лицом: Whisper.cpp и DeepFaceLab
Whisper.cpp — локальная транскрибация речи в текст. Порог входа низкий: работает даже на CPU, а на видеокарте с 8 ГБ VRAM транскрибирует быстро. Полезно для субтитров к роликам и расшифровки интервью.
DeepFaceLab — инструмент для замены лица в видео. Требования выше, настройка дольше, а использование требует осторожности: с дипфейками легко нарушить закон и чужие права. Для заработка на контенте этот инструмент нужен редко, и подходить к нему стоит ответственно.
Частые ошибки при первом локальном запуске
- Покупка видеокарты под модель, которую потом не запустить из-за VRAM — вы тратите деньги на карту, а модель 70B всё равно не помещается, и приходится либо брать меньше, либо апгрейдить железо.
- Запуск модели без квантования там, где оно необходимо — модель в Q8 не влезает в VRAM, выгружается в RAM и генерирует в десятки раз медленнее.
- Игнорирование лицензии модели при планах на коммерческое использование — вы строите заработок на модели, лицензия которой запрещает коммерческое использование, и рискуете.
- Ожидание скорости и качества облачного сервиса от слабого железа — локальная модель на карте за 30 000 ₽ не сравнится по скорости с сервером на A100, и это нормально.
С чего начать и как использовать результат для заработка
Первый шаг для новичка — одна LLM-оболочка и одна модель для картинок, без видео и музыки. Поставьте LM Studio или Ollama, скачайте модель 7B–13B в Q4_K_M, добавьте Stable Diffusion WebUI. На этом сетапе уже можно генерировать тексты и изображения для соцсетей и сайтов.
Перед коммерческим использованием проверяйте лицензию конкретной open-weight модели. У Llama, Qwen, DeepSeek, Stable Diffusion и Flux условия различаются: часть разрешает коммерческое использование свободно, часть — с ограничениями по выручке или аудитории. Сверяйтесь с редакцией лицензии на дату запуска.
Пошаговый план первого запуска:
- Выберите оболочку: LM Studio для новичков или Ollama для минимализма.
- Скачайте модель 7B–13B в квантовании Q4_K_M под свою задачу.
- Проверьте, что модель целиком помещается в VRAM.
- Сгенерируйте первый текст и первую картинку.
- Сверьте лицензию модели с планами на коммерческое использование.
- Встройте генерацию в процесс продакшена контента и оцените скорость.
Когда локальная генерация станет узким местом — переходите на следующий уровень железа: больше VRAM, быстрее карта. Другие разборы инструментов для заработка на нейросетях — в блоге.
Частые вопросы
Зачем запускать нейросеть локально, если есть облачные подписки?
Локальная нейросеть не зависит от доступа к сервису, лимитов и подписки — платите один раз за железо и считаете сколько нужно, в том числе офлайн.
Что такое «оболочка» для нейросети и зачем она нужна?
Оболочка — это программа вроде Ollama или LM Studio, которая берёт файл модели и даёт удобный интерфейс для запуска, без ручной настройки через код.
Как понять, потянет ли мой ПК конкретную модель?
Смотрите на объём VRAM видеокарты и сравниваете с требованиями модели в выбранном квантовании — если VRAM не хватает, модель либо не запустится, либо будет частично выгружена в обычную RAM и сильно замедлится.
Можно ли использовать результаты локальной нейросети в коммерческих целях?
Зависит от конкретной модели: у open-weight моделей разные лицензии, и перед использованием в заработке нужно сверяться с условиями именно той модели, которую запускаете.
Источники
- Ollama — официальная документация — Ollama
- LM Studio — официальный сайт — LM Studio
- Stable Diffusion WebUI — репозиторий — AUTOMATIC1111
- ComfyUI — репозиторий — ComfyUI
