Сан-франциський стартап Memories.ai, засновники якого раніше працювали дослідниками в Meta, почав залучати звичайних людей до запису відео від першої особи. Матеріал потрібен для навчання роботів, яким бракує даних про те, як людина виконує повсякденні дії. Компанія запускає Memories Upload, глобальну платформу для gig-роботи, де виконавці отримують оплату за зйомку.
Засновники компанії, Шон Шен і Бен Чжоу, раніше працювали в Meta. У липні 2025 року стартап залучив 8 мільйонів доларів початкового фінансування під керівництвом Susa Ventures. Серед інвесторів також Samsung Next. Тепер компанія будує мережу учасників, які записують власні дії на камеру.
Учасники знімають практичні завдання: приготування їжі, викладку товарів на полиці, ремонт обладнання. Для запису використовується носима камера LUCI Pin вагою менше 45 грамів із магнітними кріпленнями. Її можна закріпити на голові, грудях або зап’ясті. Дві камери можна з’єднати в пару, щоб отримати інформацію про глибину простору.
Бета-версія мережі за перший місяць зафіксувала понад мільйон годин відео. Компанія ставить мету досягти понад 10 мільйонів годин до березня 2027 року. Схожу модель використовує й платформа Index від Figure, яка платить людям за записи їхніх звичайних справ.
Потреба в такому матеріалі пов’язана з обмеженнями поточних методів навчання. Фахівці Physical Intelligence, зокрема співзасновник Сергій Левін, стверджують, що відео людей може доповнювати дані, які роботи збирають самі через телеуправління. Водночас переклад побачених людських рухів у дії робочого тіла робота досі не розв’язано. Саме тут, за словами розробників, відео від першої особи має практичну цінність.
Технологічна основа Memories.ai ґрунтується на моделі Nvidia Cosmos, яка застосовується для субтитрування та маркування дій. Після цього відео проходить донавчання на відібраному матеріалі для конкретного клієнта. Опис кожного фрагмента містить пошукові теги з позначками часу, що дає змогу розробникам знаходити потрібні приклади дій. За повідомленням компанії, серед її клієнтів є три з п’яти провідних лабораторій у сфері передового штучного інтелекту, але їхні назви не розголошуються.
Клієнти хочуть ширших середовищ, більшої кількості завдань і різних ракурсів камери. Зйомка з рівня зап’ястя фіксує контакт руки з предметом, який не видно з камери на голові. Водночас маркування такого матеріалу складне: рухи рук, приховані предмети та нечіткі межі дій ускладнюють автоматичну розмітку, тому для перевірки міток потрібен людський контроль.
Питання приватності компанія також вказує серед ключових. Учасники та регулярні колеги, які можуть потрапити в кадр, мають підписувати форми згоди. Автоматичне розмиття застосовується до сторонніх людей, бейджів, екранів і номерних знаків. Крім того, для кожної партії фрагментів проводиться вибіркова ручна перевірка кадрів.
Залишається невідомим, хто саме є клієнтами компанії, та наскільки ефективними виявляться ці дані в роботі реальних роботів. Ці питання поки без відповіді.