preload
Мар 25

AMD рассказала, как запустить ИИ-бота локально на ПК с Ryzen или Radeon — у NVIDIA всё проще

Недавно NVIDIA анонсировала приложение Chat with RTX для запуска локальных чат-ботов на компьютерах с видеокартами RTX. Теперь компания AMD рассказала, как локально запустить ИИ-чат-бота на одной из открытых больших языковых моделей (LLM) с помощью её процессоров и видеокарт. Компания предлагает прибегнуть к помощи стороннего приложения LM Studio.

Источник изображений: AMD

Для запуска ИИ-чат-бота потребуется система с ИИ-ускорителем Ryzen AI, который имеется лишь в некоторых APU Ryzen 7000-й и 8000-й серий (Phoenix и Hawk Point), либо видеокарта AMD Radeon RX 7000-й серии.

Первым делом нужно установить LM Studio для Windows, а для ускорения ИИ силами видеокарты потребуется версия с поддержкой ROCm. Далее необходимо ввести в строку поиска TheBloke/OpenHermes-2.5-Mistral-7B-GGUF для запуска бота на базе Mistral 7b или TheBloke/Llama-2-7B-Chat-GGUF для использования LLAMA v2 7b, в зависимости от интересующей модели. Затем нужно найти в правой панели и загрузить файл модели Q4 K M. Наконец, можно перейти на вкладку чата и приступить к общению с ИИ.

Читайте также:  «Они продолжат делать так, пока мы не лишимся воли к жизни»: первое за долгое время крупное обновление для Team Fortress 2 оказалось с подвохом

Для ускорения ИИ посредством видеокарты Radeon RX 7000-й серии необходимо проделать ещё несколько шагов: выставить в настройках максимальное значение GPU Offload и убедиться, что в блоке Detected GPU Type отображается AMD ROCm.

Таким образом, в отличие от NVIDIA, компания AMD не готова пока представить собственное приложение для общения с чат-ботом, но это не значит, что этого не случится в будущем.

Источники:

Поделись в соц.сетях:


Комментарии закрыты.

IT новости – информационный портал DS1030.ru Все права защищены © 2017 - 2018
Яндекс.Метрика Рейтинг@Mail.ru
Читайте ранее:
Геймплейный трейлер киностратегии Hollywood Animal от создателей This is the Police расскажет, как сделать бездушный сиквел ради лёгких денег

Белорусская Weappy Studio (This is the Police, Rebel Cops) представила новый трейлер своей голливудской стратегии Hollywood Animal. В ролике рассказывается...

NVIDIA добавила в GeForce NOW подписки на сутки и поддержку G-Sync и Reflex

Облачный игровой сервис NVIDIA GeForce NOW, как и планировалось, обзавёлся «дневными пропусками», а также поддержкой технологий синхронизации кадров G-Sync и...

Сериал Fallout получил новый трейлер и дату премьеры — все эпизоды выйдут в один день

Amazon Studios представила новый трейлер сериала Fallout по мотивам серии постапокалиптических ролевых игр от Bethesda Softworks, а также раскрыла новую...

Закрыть