Эксперты узнали скорость принятия решений ИИ с помощью игры «Марио»

Американские исследователи используют видеоигры для оценки эффективности искусственного интеллекта, сообщает TechCrunch. Специалисты компании Hao AI Lab из Калифорнийского университета в Сан-Диего выбрали игру-платформер Super Mario Bros. 1985 года для тестирования.

Разработчики создали программу GamingAgent, чтобы модели могли играть. Они получили информацию об игре в виде картинок. Во время тестов оказалось, что игра «Марио» помогла моделям учиться, быстро принимать решения и придумывать стратегии.

Самой лучшей моделью оказалась Claude 3.7 от Anthropic. Модели Gemini 1.5 Pro от Google и GPT-4o от OpenAI справились чуть хуже.

Исследователи пришли к выводу, что даже наиболее продвинутые модели искусственного интеллекта не смогли превзойти начинающих игроков. По-видимому, это связано с тем, что моделям требуется время на принятие решения, а в игре «Марио» им не хватало этого времени.