Языковые модели ИИ сразились друг с другом в импровизированном турнире по Street Fighter III
На хакатоне Mistral AI, прошедшем в Сан-Франциско на минувшей неделе, разработчики Стэн Жирар (Stan Girard) и Quivr Brain представили тест LLM Colosseum с открытым исходным кодом, основанный на классическом аркадном файтинге Street Fighter III. Тест предназначен для определения самой эффективной языковой модели ИИ в не совсем традиционной, но зрелищной манере.
Источник изображений: YouTube / Matthew Berman
ИИ-энтузиаст Мэтью Берман (Matthew Berman) решил провести с помощь теста LLM Colosseum своеобразный турнир между языковыми моделями, о чём он поделился в своём видео. В нём же Берман показал один из поединков между ИИ. Кроме того, он рассказал, как можно установить этот проект с исходным кодом на домашний ПК или Mac и оценить его самостоятельно.
Это не совсем типичный тест LLM. Как правило, маленькие языковые модели имеют преимущество в задержке и скорости, что приводит к победе в большинстве виртуальных боёв. В файтингах очень важна скорость реакции игроков на ответные действия своих оппонентов. То же правило работает и в случае противостояния ИИ против ИИ.
Источник изображений: OpenGenerativeAI team
Языковая модель в реальном времени принимает решение, как ей сражаться. Поскольку LLM представляют собой текстовые модели, их обучили в игре Street Fighter III с помощью текстовых подсказок. ИИ сначала дали проанализировать контекст игры в целом, а затем подсказали, как реагировать на то или иное игровое действие в той или иной ситуации, не забыв про вариативность ходов. ИИ обучили приближаться или отдаляться от противника, а также использовать различные приёмы вроде огненного шара, мегаудара, урагана и мегаогненного шара.
Источник изображения: OpenGenerativeAI team
Продемонстрированный на видео бой между ИИ выглядит динамично. Оппоненты действуют стратегически, блокируют удары противника и используют специальные приёмы. Однако к настоящему моменту проект LLM Colosseum позволяет использовать только одного игрового персонажа, Кена.
Согласно тестам Жирара, лучшей языковой моделью в турнире Street Fighter III оказалась GPT 3.5 Turbo от OpenAI. Среди восьми участников она достигла самого высокого рейтинга ELO — 1776.
В отдельной серии тестов, организованных Банджо Обайоми (Banjo Obayomi), специалистом по продвижению продуктов AWS компании Amazon, спарринги проводились между четырнадцатью языковыми моделями в рамках 314 индивидуальных матчей. Здесь в конечном итоге победила языковая модель claude_3_haiku от Anthropic с рейтингом ELO 1613.
Источники:
Похожие записи:
- Не Switch единой: ремейк тактической RPG о роботах Front Mission выйдет на ПК, PS5, Xbox Series X и S уже 30 июня
- Есть ли жизнь на Марсе? Симулятор космического агентства Mars Horizon 2: The Search for Life отправит искать ответ на этот вопрос в 2024 году
- «Чего трясёшься, брат?»: глава Epic Games в письме Гейбу Ньюэллу назвал Valve «мерзавцами»
- Stronghold: Warlords получила первый патч, а разработчики рассказали о планах на весну и начало лета
- «А до выхода нельзя было починить?»: Electronic Arts пообещала исправить технические проблемы Star Wars Jedi: Survivor после релиза
- МТС объявила о тестовом запуске Rushbe — магазина ключей для игр из Steam
- Ещё одной помехой на пути Yakuza Kenzan и Yakuza Ishin к западному релизу оказался возраст игр
Свежие комментарии