Как собрать локального ИИ-ассистента на двух видеокартах и забыть про облачные подписки

Автор проекта собрал персонального ИИ-ассистента, который работает полностью локально на двух видеокартах с общим объёмом памяти 24 ГБ. Система объединяет языковую модель, долговременную память, голосовое управление и доступ к календарю, почте, Telegram и умному дому. Главный практический вывод: модели размером 9-27 миллиардов параметров уже достаточно хороши для повседневных задач, если дать им инструменты и память.

Ключевое требование к системе - все данные, от рабочих документов до личной переписки, остаются на устройстве пользователя. Это решает вопросы конфиденциальности и экономии, так как отпадает нужда в ежемесячных платных облачных подписках стоимостью 20-40 долларов. Ассистент задумывался не как замена чат-ботам, а как автономный помощник, который учится, подстраивается под владельца и сам инициирует действия.

Для сборки использовалось доступное «домашнее» железо: две видеокарты RTX 4070 Super и Ti в одном ПК. Суммарный объём видеопамяти в 24 ГБ позволил комфортно запускать модели до 27B, при этом реальное энергопотребление каждой карты под нагрузкой не превышало 120 Вт. Автор отмечает, что для десктопных систем с ограниченным числом линий PCIe связка из двух карт одного поколения - разумный компромисс, а блока питания на 850 Вт оказалось достаточно.

Программной основой стала платформа AnythingLLM, которую дополнили графовой памятью через сервер памяти MCP. Теперь ассистент записывает информацию одновременно в векторную базу и в граф, самостоятельно выделяя сущности и связи между ними. Для работы с документами используется контекстное окно в 30-40 тысяч токенов, а скорость генерации у 27B-моделей остаётся комфортной - более 25 токенов в секунду.

Голосовое взаимодействие реализовано через транскрайбер Whisper третьей версии, который работает в реальном времени почти без задержки. Для озвучивания ответов используется синтез речи Piper, генерирующий голос с естественными интонациями. Такая связка позволяет надиктовывать письма, формулировать мысли и управлять календарём, что, по оценке автора, ускоряет набор текста примерно в десять раз.

Ассистент берёт на себя рутинные операции: составляет брифинг по новым письмам и сообщениям, голосом вносит встречи в Google Календарь и визуализирует планы на неделю. Каждое такое действие экономит по 10-15 минут. Отдельный сценарий - удалённый мониторинг через Telegram-бота, который присылает уведомления только о нештатных ситуациях и может предоставить подробный отчёт по запросу.

Центральная функция - анализ и визуализация документов. Помощник находит ключевые идеи, взаимосвязи и нелогичности в массиве файлов, а затем строит графические схемы через Mermaid. В режиме мозгового штурма он не просто отвечает на вопросы, а удерживает контекст и накопленные знания столько, сколько нужно пользователю, что радикально отличается от поведения облачных чат-ботов.

Для управления инструментами и перевода вполне хватает младшей модели на 9B параметров, которая быстро реагирует и уверенно держит цепочку действий. Старшие модели на 27B подключаются для сложного анализа: например, при построении дорожной карты они выдают нелинейную структуру с критическими точками и деталями, в отличие от линейного плана младшей версии.

Среди проблем автор выделяет ложные доклады о выполнении задачи, когда инструменты на самом деле не вызывались. Решением может стать отдельный микроагент для запуска инструментов под контролем основной модели. Также остро стоит вопрос процедурной памяти: ассистенту нужен формальный механизм для запоминания успешных цепочек действий, а не просто текстовый журнал.

Ещё одно узкое место - переполнение контекстного окна из-за большого числа доступных инструментов. Пока проблема решается оптимизацией: агенту оставляют только уникальные инструменты, а часть из них объединяют в навыки. Для безопасности исключён бесконтрольный выход в интернет, а все запросы идут через специальную прослойку MCP-сервера.

На сборку и настройку системы ушла примерно неделя, при этом стоимость железа для автора была нулевой, так как использовались уже имеющиеся комплектующие. В итоге получился конструктор, к которому можно быстро добавлять новые функции. Ассистент не заменяет узкопрофильные инструменты для написания кода, но снимает 25-30% повседневной нагрузки и продолжает работать даже при недоступности облачных API.

Источник: Хабр — Умный дом

Читайте также

iPhone 18 Pro Max: тест автономности и камер с переменной диафрагмой

Чайник Polaris PWK 0701CGL: тихая работа и залив воды без открывания крышки

Спрос на склады в Московском регионе может вырасти на 8% вопреки прогнозам

Телескоп «Нэнси Грейс Роман» отправится на поиски 100 000 новых планет и темной материи

Как снять старую краску со стен: три рабочих способа и важные ограничения