AMD рассказала, как запустить ИИ-бота локально на ПК с Ryzen или Radeon — у NVIDIA всё проще
Недавно NVIDIA анонсировала приложение Chat with RTX для запуска локальных чат-ботов на компьютерах с видеокартами RTX. Теперь компания AMD рассказала, как локально запустить ИИ-чат-бота на одной из открытых больших языковых моделей (LLM) с помощью её процессоров и видеокарт. Компания предлагает прибегнуть к помощи стороннего приложения LM Studio.
Источник изображений: AMD
Для запуска ИИ-чат-бота потребуется система с ИИ-ускорителем Ryzen AI, который имеется лишь в некоторых APU Ryzen 7000-й и 8000-й серий (Phoenix и Hawk Point), либо видеокарта AMD Radeon RX 7000-й серии.
Первым делом нужно установить LM Studio для Windows, а для ускорения ИИ силами видеокарты потребуется версия с поддержкой ROCm. Далее необходимо ввести в строку поиска TheBloke/OpenHermes-2.5-Mistral-7B-GGUF для запуска бота на базе Mistral 7b или TheBloke/Llama-2-7B-Chat-GGUF для использования LLAMA v2 7b, в зависимости от интересующей модели. Затем нужно найти в правой панели и загрузить файл модели Q4 K M. Наконец, можно перейти на вкладку чата и приступить к общению с ИИ.
Для ускорения ИИ посредством видеокарты Radeon RX 7000-й серии необходимо проделать ещё несколько шагов: выставить в настройках максимальное значение GPU Offload и убедиться, что в блоке Detected GPU Type отображается AMD ROCm.
Таким образом, в отличие от NVIDIA, компания AMD не готова пока представить собственное приложение для общения с чат-ботом, но это не значит, что этого не случится в будущем.
Источники:
Похожие записи:
- Еженедельный чарт Steam: ролевой экшен Black Myth: Wukong и шутер с видом из носимой камеры Bodycam ворвались в топ-5
- Electronic Arts, вероятно, хочет себя продать или пойти на слияние с другой компанией
- Головоломка-долгострой Manifold Garden вышла на консолях раньше, чем в Steam
- Человекоподобный весельчак и аналог шимпанзе: разработчики Atomic Heart показали геймплей с уникальными роботами
- Роглайк-экшен Ravenswatch с героями сказок разных стран и народов выйдет в ранний доступ 6 апреля
- Скандинавская стратегия Northgard получила крупное обновление Sword & Solace с улучшениями интерфейса и мультиплеера
- Видео: более 20 минут геймплея киберпанкового роглайк-экшена Loopmancer
Свежие комментарии