Школа машин: большие нейросети обучат маленькие
8 января 2019 г. Институт вычислительного моделирования СО РАН
Ученые создали способ взаимного обучения нейросетей, при котором большая система искусственного интеллекта будет делиться опытом со своим меньшим аналогом и в дальнейшем станет следить за его работой, оперативно внося коррективы при возникновении ошибок. Использование этой технологии уже сейчас позволяет в десять раз снизить требовательность систем обработки видеозаписей к вычислительным ресурсам. Система обладает характеристиками, которые позволят сделать качественный рывок в области разработки искусственного интеллекта.
Современные системы искусственного интеллекта способны решать самые разнообразные задачи, начиная от распознавания изображений и заканчивая управлением автомобилем. Однако в большинстве случаев они допускают ошибки в работе, мешающие их более широкому внедрению.
Один из наиболее эффективных способов решения этой проблемы предложила российско-британская группа разработчиков под руководством главного научного сотрудника Института вычислительного моделирования СО РАН, профессора Университета Лестера Александра Горбаня. Заключается этот способ в процессе взаимного обучения систем искусственного интеллекта, где большая по размеру (обучающая) нейросеть со значительным количеством входных информационных каналов обучает нейросеть меньших размеров, предназначенную для менее масштабных задач.
Например, для подготовки системы, рассчитанной на обработку картинок размером 100 на 100 пикселей, подходит система-наставник, способная работать с изображениями в разрешении 1000 на 1000 и более.
— Но главное наше ноу-хау заключается в том, что после прохождения этапа обучения взаимодействие с малой нейросетью не заканчивается, а переходит на стадию контроля, в которой система-наставник отслеживает действия своей ученицы и вовремя предотвращает ошибки, создавая специальную защиту — систему корректоров, препятствующих повторению неверных действий, — рассказал Александр Горбань.
Сами корректоры представляют собой простейшие нейроны, которые практически мгновенно (за несколько миллисекунд) встраиваются в проблемные места нейросети в качестве дополнительных элементов. При этом дальнейшая работа не требует переучивания всей системы, которое занимает много времени и может приводить к возникновению дополнительных ошибок.
В результате ученые создали принципиально новый подход, который позволит серьезно экономить вычислительные ресурсы и уйти от стандартного способа повышения эффективности нейросетей. Он заключался в быстром увеличении количества нейронов и использовании всё более мощных компьютеров для поддержания их работы. Например, если сейчас одного сервера хватает для полноценной обработки видеопотока с четырех камер видеонаблюдения в реальном времени, то в случае внедрения новой системы его характеристик будет достаточно для обработки данных с 400 таких же камер.
Источник: Известия
Поделиться: