MolmoWeb
Система позволяет взаимодействовать с веб-сайтами визуально, как это делает человек, для автоматизации задач.
MolmoWeb от AI2 - это открытый визуальный веб-агент, основанный на модели Molmo 2. Он позволяет автоматизировать задачи в браузере, используя визуальное понимание страниц.
Подробнее о MolmoWeb
MolmoWeb
MolmoWeb - это открытый визуальный веб-агент, разработанный для автоматизации задач в браузере. Он использует мультимодальные модели для интерпретации визуального интерфейса, позволяя выполнять широкий спектр задач, таких как заполнение форм и поиск информации. MolmoWeb предоставляет открытый исходный код, данные для обучения и инструменты оценки.
- •Визуальное управление браузером:Модель интерпретирует интерфейс, выполняя действия, такие как клики, ввод текста и прокрутка, как человек. Это позволяет взаимодействовать с веб-сайтами без специализированных API.
- •Открытый исходный код и данные:MolmoWeb предоставляет полный набор инструментов, включая код, данные для обучения и средства оценки. Это позволяет исследователям и разработчикам изучать, настраивать и улучшать каждый компонент системы.
- •Высокая производительность:Модели MolmoWeb (4B и 8B) демонстрируют передовые результаты среди открытых веб-агентов, превосходя другие модели в задачах навигации и выполнения задач.
- •Мультимодальное понимание:Основан на модели Molmo, MolmoWeb расширяет возможности понимания изображений, позволяя выполнять задачи управления браузером.
- •Поддержка различных действий:Агент поддерживает навигацию по URL, клики, ввод текста, прокрутку, открытие/переключение вкладок и отправку сообщений пользователю.
- •Использование скриншотов:Вместо структурированных представлений страниц, модель использует скриншоты, что делает систему более компактной и устойчивой к изменениям структуры страниц.
- •Открытый набор данных MolmoWebMix:Набор данных включает синтетические траектории, созданные с помощью агентов, и примеры, аннотированные людьми, для обучения веб-агентов.
- •Оценка на бенчмарках:MolmoWeb оценивается на популярных бенчмарках, таких как WebVoyager, Online-Mind2Web, DeepShop и WebTailBench, демонстрируя высокую производительность.
В современном мире автоматизация веб-задач становится все более важной. MolmoWeb предлагает решение, позволяющее автоматизировать рутинные задачи в браузере. Благодаря открытому доступу к исходному коду и данным, вы можете адаптировать систему под свои нужды, повышая эффективность работы. Выбирая MolmoWeb, вы получаете мощный инструмент для автоматизации и исследований.
