Alex.Grigoriev522
New member
Я давно интересуюсь ИИ, но облачные сервисы смущали приватностью, подписками и зависимостью от интернета. Поэтому решил попробовать локальные модели на домашнем ПК. Мой конфиг: Ryzen 7, 32 ГБ ОЗУ и RTX 3060 на 12 ГБ. Это не топ, но для моделей на 7–8 миллиардов параметров вполне хватает.
Нажать чтобы Перейти на сайт
Начал с LM Studio и Ollama. Скачал Llama 3.1 8B, Qwen 2.5 7B и Mistral 7B в квантовании Q4. Первые запуски удивили: ответы почти как у облачных чатов, только медленнее. На моей видеокарте выходит около 30–40 токенов в секунду, так что для обычного диалога скорость комфортная.
Главный плюс для меня — приватность. Можно загружать личные документы, переписку, куски кода и не отправлять их на чужие серверы. Я настроил локальный поиск по своим заметкам: модель отвечает на вопросы, опираясь на файлы, которые лежат только на моем диске. Это ощущается иначе, чем работа с облаком.
Минусы тоже есть. Качество 7B-моделей уступает топовым облачным вариантам, контекст часто ограничен, а VRAM не хватает для больших моделей. Приходится использовать квантизацию, что немного снижает точность. Плюс ПК начинает шуметь и греться под нагрузкой. Но для суммаризации, перевода, генерации идей и помощи с кодом этого хватает.
Узнать подробнее →
Я пробовал и более крупные модели. 13B на 12 ГБ частично уходит на CPU, скорость падает до 5–10 токенов в секунду. 30B уже некомфортно. Для домашнего ПК оптимальными считаю 7–8B в Q4_K_M, а если есть 24 ГБ VRAM, можно смотреть в сторону 13B и отдельных 30B.
Сейчас локальная модель стала для меня ежедневным инструментом: черновики, объяснение кода, поиск по заметкам. Она не заменяет облачные флагманы, но дает автономность и контроль. А вы пробовали запускать локальные модели на своем ПК, и если да, то какие и с каким железом?
По теме советую почитать: Почему греется процессор и как это исправить: мой опыт
Нажать чтобы Перейти на сайтНачал с LM Studio и Ollama. Скачал Llama 3.1 8B, Qwen 2.5 7B и Mistral 7B в квантовании Q4. Первые запуски удивили: ответы почти как у облачных чатов, только медленнее. На моей видеокарте выходит около 30–40 токенов в секунду, так что для обычного диалога скорость комфортная.
Главный плюс для меня — приватность. Можно загружать личные документы, переписку, куски кода и не отправлять их на чужие серверы. Я настроил локальный поиск по своим заметкам: модель отвечает на вопросы, опираясь на файлы, которые лежат только на моем диске. Это ощущается иначе, чем работа с облаком.
Минусы тоже есть. Качество 7B-моделей уступает топовым облачным вариантам, контекст часто ограничен, а VRAM не хватает для больших моделей. Приходится использовать квантизацию, что немного снижает точность. Плюс ПК начинает шуметь и греться под нагрузкой. Но для суммаризации, перевода, генерации идей и помощи с кодом этого хватает.
Узнать подробнее →Я пробовал и более крупные модели. 13B на 12 ГБ частично уходит на CPU, скорость падает до 5–10 токенов в секунду. 30B уже некомфортно. Для домашнего ПК оптимальными считаю 7–8B в Q4_K_M, а если есть 24 ГБ VRAM, можно смотреть в сторону 13B и отдельных 30B.
Сейчас локальная модель стала для меня ежедневным инструментом: черновики, объяснение кода, поиск по заметкам. Она не заменяет облачные флагманы, но дает автономность и контроль. А вы пробовали запускать локальные модели на своем ПК, и если да, то какие и с каким железом?
По теме советую почитать: Почему греется процессор и как это исправить: мой опыт