- Регистрация
- 26.10.16
- Сообщения
- 2,233
- Онлайн
- 38д 4ч 33м
- Сделки
- 251
- Нарушения
- 0 / 0
Учёные утверждают, что это самая большая VLM-модель из когда-либо созданных и что она может выполнять множество задач без необходимости переобучения.
При получении сложной команды, состоящей из нескольких объектов (например, «принеси мне чипсы из ящика»), PaLM-E генерирует план действий для мобильной роботизированной платформы с рукой (разработанной Google Robotics) и выполняет действия самостоятельно.
PaLM-E работает, анализируя данные с камеры робота, не требуя предварительно обработанного представления сцены. Это устраняет необходимость в аннотировании данных человеком и обеспечивает автономное управление роботом. Стоит отметить, что, если PaLM-E интегрирована в контур управления, она становится устойчивым к прерываниям, которые могут возникнуть во время выполнения задачи
В исследовательской работе Google объясняется, как PaLM-E превращает инструкции в действия. Исследователи следуют установке в Ahn et al (2022), где роботу необходимо планировать последовательность навигационных и манипулятивных действий на основе инструкций человека.
Например, учитывая инструкцию «Я пролил свой напиток, принеси мне что-нибудь, чтобы убрать здесь», робот должен спланировать последовательность действий:
- Найти губку;
- Поднять губку;
- Принести губку пользователю;
- Положить губку.
Модель PaLM-E основана на существующей большой языковой модели (LLM) Google под названием «PaLM» (похожа на технологию, лежащую в основе ChatGPT), только в неё добавлена сенсорная информация и роботизированное управление.
PaLM-E также опирается на модель распознавания образов Google ViT-22B, которая может классифицировать изображения, обнаруживать объекты, проводить семантическую сегментацию и создавать подписи к изображениям. Более того, PaLM-E может передавать полученные знания и навыки, что значительно увеличивает производительность по сравнению с однозадачными моделями.
Исследователи утверждают, что PaLM-E демонстрирует совершенно новые возможности, такие как:
- мультимодальная логическая цепочка рассуждений (модель анализирует последовательность входных данных, включающих как языковую, так и визуальную информацию);
- мультиобразный вывод (использование нескольких изображений в качестве входных данных, чтобы сделать вывод или прогноз).