Компьютерное зрение

Например, человек открывает ящик. Робот видит, что нужно взять за ручку и тянуть на себя в горизонтально. После просмотра нескольких примеров он сможет понять, как открыть любой аналогичный ящик. На освоение нового навыка роботу нужно 25 минут.

Старая модель обучения требовала, чтобы действия демонстрировали живые люди.  Теперь роботу достаточно посмотреть видео. Для этого использовали видео из наборов данных Ego4D и Epic Kitchens, созданных специально для обучения моделей компьютерного зрения. В них собраны ролики, на которых моют посуду, прибираются или готовят еду.

Роботы уже перемещаются по кампусу университета и выполняют разные простые задачи. По мнению ученых, новый подход ускорит процесс их обучения и даст новые возможности для их использования в повседневности.

Получается, робота можно научить любым действиям, показав ему YouTube.

А вы чему бы научили?

Основатели Trigo (слева направо) Майкл Габай и Даниэль Габай | Фото: Том Бартов

Trigo , израильская компания, специализирующаяся на компьютерном зрении, создающая инфраструктуру для автономных розничных магазинов и занимающаяся розничной аналитикой, привлекла 100 миллионов долларов в рамках нового раунда акционерного финансирования, чтобы масштабировать развертывание автономных городских супермаркетов в Европе и США, выйти в новые регионы и развить свою деятельность. комплексный пакет приложений для управления магазином и запасами, StoreOS™.

Инвестиции возглавили сингапурская государственная инвестиционная компания Temasek Holdings (TEM.UL) и 83North . В число новых стратегических инвесторов входит компания SAP SE, которая также поможет коммерциализировать решение Trigo. К раунду присоединились существующие инвесторы, в том числе Hetz Ventures , Red Dot Capital Partners , Vertex Ventures , Viola и гигант супермаркетов REWE Group, один из ведущих мировых ритейлеров.

Trigo будет использовать средства для значительного развертывания магазинов, увеличения площадей поддерживаемых магазинов, включая полноразмерные городские супермаркеты, расширения в новых регионах и дальнейшего развития своего предложения StoreOS™.

Покупатели могут покинуть магазины без очереди на кассу | Фото: Триго

Trigo была основана в 2018 году братьями Майклом Габеем , генеральным директором компании, и Даниэлем Габеем , вице-президентом по технологиям. Даниэль вошел в список Forbes Israel 30 Under 30 2020, а компания была отмечена Forbes как следующий стартап на миллиард долларов в 2021 году.

СКРИНШОТ

Решения Trigo в настоящее время развернуты у некоторых ведущих мировых продовольственных ритейлеров, включая Tesco PLC в Великобритании, ALDI Nord в Нидерландах, REWE Group в Берлине и Кельне, Netto Marken-Discount (также известную как Netto) в Мюнхене, израильский Shufersal ( SAE) и Wakefern Food Corp., крупнейший кооператив розничной торговли в США.

Майкл Габай, соучредитель и генеральный директор Trigo, сказал: «Мы доказали, что можем использовать компьютерное зрение и искусственный интеллект, чтобы предоставить физическим магазинам те же идеи и возможности, что и магазины электронной коммерции. Эти инвестиции позволяют Trigo выполнить свой план расширения и усовершенствовать наш продукт для удовлетворения растущих потребностей наших клиентов».

Trigo превращает существующие супермаркеты в полностью автономные цифровые магазины, в которых анализируются изображения с потолочных камер и сенсоров на полках для создания «цифрового двойника» магазина. Алгоритмы компьютерного зрения, подобные тем, что используются в беспилотных автомобилях, регистрируют взаимодействие между людьми и товарами. В результате произошли фундаментальные изменения в том, как покупатели и операторы управляют физическими магазинами. Например, покупатели могут заходить в магазины, выбирать товары с полок и уходить без необходимости стоять в очереди на кассе или сканировать товары. Платежи и поступления осуществляются в цифровом виде.

Представляем решение Trigo для автономных покупок (субтитры на русском языке)

Перевод с английского

ИСТОЧНИК

ИСТОЧНИК

ИСТОЧНИК

Камеры с искусственным интеллектом проходят испытания в музее Болоньи / Фото с сайта The Telegraph

В музеях Болоньи внедрили систему ShareArt — рядом с экспонатами разместили камеры, отслеживающие посетителей. Система вычисляет, как долго и как близко люди рассматривают картины, скульптуры и артефакты, а затем выдаёт «оценку привлекательности». Модель классифицирует эмоции по пяти выражениям лица — счастливому, грустному, нейтральному, удивленному или сердитому, а также определяет пол, возраст и движение глаз посетителей.

Таким образом кураторы выставок хотят понять, какие именно экспонаты привлекают больше посетителей и на основе этого изменить планировки. По задумке руководства музеев, это позволит увеличить число туристов и возместить хотя бы часть из 190 миллионов евро выручки, которые музеи потеряли из-за пандемии.

Систему разработала команда из правительственного агентства ENEA, которое занимается развитием новых технологий в Италии. ShareArt использует камеры рядом с экспонатами, а затем объединяет и сравнивает, как люди проводят время рядом с разными картинами, скульптурами и артефактами.

Изначальный вариант системы разработали ещё в 2016 году, однако первые публичные тесты начали только в июле 2021 года после открытия музеев и галерей. Пока в музеях установили 14 устройств ShareArt: данные транслируют в специальный график, который отражает, на чём именно концентрируется внимание людей.

Разработчики уже получили первые результаты. К примеру, выяснилось, что в случае с картиной Трофима Биго «Святой Себастьян, помогающий Святой Ирэн», посетители фокусировались не на центре композиции, а на правой части лица Себастьяна. По мнению исследователей, причиной стала игра света и тени.

Картина Трофима Биго / Фото с сайта Saatchiart

ShareArt также отслеживает, как много посетителей останавливаются перед картинами и как долго на них смотрят. Оказалось, что очень немногие работы способны удерживать людей больше чем на 15 секунд. В среднем у экспоната проводят от 4 до 5 секунд.

Некоторые выводы исследователей оказались неожиданными: например, на диптихе 14-го века художника Витале дельи Экви внимание всегда привлекала только правая половина произведения. Левую часть большинство посетителей просто пропускали.

Диптих Витале дельи Экви / Фото Istituzione Bologna Musei

Пока в музее не поняли, в чём причина такого поведения посетителей, но считают, что чем больше данных они смогут получить, тем лучше смогут организовать выставки. Анализ поведения зрителей может привести к изменениям в освещении, постановке и размещении произведений искусства по отношению друг к другу.

Другим примером применения технологии стал анализ привлекательности статуи Аполлона Вейского, датированной 510-500 годами до Нашей Эры. Хотя кураторы Римского национального этрусского музея считали её одним из украшений коллекции, на неё обращают внимание лишь немногие зрители. Если бы статую разместили по принципу «лучшее напоследок», то её бы вообще не стали смотреть, пояснили в ENEA.

Аполлон Вейский / Фото из Мировой исторической энциклопедии

Дополнительно к описанному выше функционалу, камеры предупреждают персонал музея, если посетители находятся слишком близко друг к другу или снимают маски. Данные, получаемые с камер ShareArt, являются конфиденциальными. В частности, они не выполняют распознавание лиц, а фотографии посетителей после обработки нейросетью сразу же удаляются. Художники положительно оценили новую технологию: они утверждают, что ShareArt предоставляет ценный инструмент анализа влияния искусства на людей и выводит на новый уровень диалог между человеком и искусством.

Источник 1

Источник 2

Источник на английском языке