Голосовое описание содержания фотографий появилось в приложении социальной сети Facebook для iOS с 5 апреля 2016 года. Функция «Автоматический альтернативный текст» ориентирована на слепых и слабовидящих людей. Позже эту опцию планируют адаптировать для веб-версии и Android.
Как сообщает vc.ru со ссылкой на The Verge, функция распознавания объектов на фотографиях работает за счет принципа машинного обучения.
«Если показать программе достаточное количество изображений собак, то через некоторое время она сможет узнавать собак на фотографиях». Приложение Facebook будет зачитывать пользователю, что именно запечатлено на той или иной фотографии.
The Verge отмечает, что функция пока проработана не очень детально, но она может уверенно распознавать на фотографиях транспортные средства (например, машины, лодки, самолеты), природные объекты (снег, океан, закат), спортивные объекты (баскетбольная площадка) и еду (суши). Также доступно описание изображений людей (младенец, улыбка, борода и так далее) и селфи.
Facebook — не единственная компания, которая использует машинное обучение для распознавания фотографий, напоминает издание. Схожий принцип задействован в поиске по ключевым словам в Google Photos и Flickr. Но технология пока несовершенна, и миллионы объектов не поддаются однозначной идентификации. Так, в прошлом году Google вынуждена была извиняться за то, что сервис Google Photos «распознал» горилл на фотографии с двумя чернокожими людьми.