Автор: Ирина Водина
НАУЧИТЬ КОМПЬЮТЕР ВИДЕТЬ
Зачем компьютеру зрение и чем оно поможет врачам
Герой: Евгений Павлович Васильев
Институт информационных технологий математики и механики
Можно ли с помощью компьютерной программы определить, правильно ли человек переходит дорогу? Правильно ли он выполняет физические упражнения? Есть ли у человека поражения легких, характерные для коронавируса? Нарушает ли автомобиль, попавший в объектив камеры видеонаблюдения, ПДД?
Ответ на эти вопросы прост – да, можно! В этом может помочь компьютерное зрение.
Ответ на эти вопросы прост – да, можно! В этом может помочь компьютерное зрение.
Компьютерное зрение - раздел компьютерной науки, является частью технологий искусственного интеллекта, который базируется на высоких вычислительных способностях современных компьютеров.
Компьютерное зрение позволяет программе «видеть» и извлекать информацию из увиденного.
Пример: программа с помощью компьютерного зрения находит на кадре людей и строит их траектории (следит за ними).
Программа способна анализировать образы (фотографии, картинки, видео, штрих-коды), а также лица и эмоции.
Чтобы научить компьютер «видеть», используются технологии машинного обучения. Собирается множество данных, которые позволяют выделить признаки и комбинации признаков для дальнейшей идентификации похожих объектов.
Компьютерный анализ мимики, жестов и поведения – это лишь малая часть того, чем занимается Евгений Васильев, аспирант и преподаватель Института информационных технологий, математики и механики ННГУ им. Н. И. Лобачевского.
Чтобы научить компьютер «видеть», используются технологии машинного обучения. Собирается множество данных, которые позволяют выделить признаки и комбинации признаков для дальнейшей идентификации похожих объектов.
Компьютерный анализ мимики, жестов и поведения – это лишь малая часть того, чем занимается Евгений Васильев, аспирант и преподаватель Института информационных технологий, математики и механики ННГУ им. Н. И. Лобачевского.
Евгений из династии учителей – его бабушка была учителем математики, мама – русского языка. В 2010 году он поступил в ННГУ им. Н.И. Лобачевского и спустя четыре года стал помогать преподавателям в научных проектах. Затем поступил в аспирантуру и начал вести практику у студентов.
Евгения студенты любят. Им с молодым преподавателем – ему всего 28 лет – очень интересно. Особенно интересно тем, кто занимается с ним в IT-лаборатории.
IT-Lab (“интеловская лаборатория”) создана как совместный проект нижегородского офиса корпорации Intel и ННГУ. Здесь студенты, которые прошли жесткий отбор, занимаются дополнительным образованием. Работают вместе с преподавателями над реализацией какого-либо проекта. Бесплатно, но получая бесценный опыт.
“
Intel занимается разработкой “железа”, но также они создают библиотеки для программистов, которые используют их в своих алгоритмах. Сейчас есть много демо, которые показывают, как работать с этими библиотеками. И команда, с которой занимаюсь я, как раз и создает такие новые демо, показывающие, как работать с библиотеками Intel и в каких задачах их можно применить.
Библиотека у программистов - готовый блок, который они могут использовать, собирая свою программу, как в конструкторе. Например, скачав библиотеку с блоком распознавания позы человека, можно составить программу, которая по видео определяет правильно ли человек делает упражнения.
Например, библиотека Open Vino от Intel, с которой работает Евгений.
Эта программа поможет, например, при дистанционных занятиях спортом определить, правильно ли человек выполняет упражнения.
В 2020 году Евгений принимал участие в конкурсе «Цифровой прорыв». За 48 часов он со своей командой разработал систему слежки за студентами на экзамене.
Во время самого страшного для всех студентов времени – сессии, которая из-за пандемии коронавируса сейчас может проходить в дистанционном формате, преподавателям помогает искусственный интеллект.
Искусственный интеллект распознаёт, когда студент списывает. Программа следит за тем, куда направлен взгляд сдающего экзамен. А также есть ли в кадре посторонние предметы.
Проект команды Евгения занял второе место в окружном отборочном этапе конкурса «Цифровой прорыв».
Помимо компьютерного зрения, Евгений Васильев также занимается и анализом медицинских изображений, в частности, обработкой данных компьютерной томографии (КТ) и магнитно-резонансной томографии (МРТ).
Сейчас активно по всему миру развивается получение именно трехмерных данных с помощью специальных программ.
Сейчас активно по всему миру развивается получение именно трехмерных данных с помощью специальных программ.
Так, когда мы получаем трехмерное изображение человека, мы фактически можем посмотреть, что у него внутри, без хирургического вмешательства. Таким образом, например, можно проанализировать легкие человека, переболевшего коронавирусом.
Проблема работы с трехмерными данными в том, что их очень много, необходима автоматизация их обработки. Когда у вас одна картинка, то все просто, а в трехмерном исследовании может быть от 200 до 600 срезов, картинок. И вручную это обрабатывать очень тяжело, и всем хочется такую работу поручить компьютеру.
Проблема работы с трехмерными данными в том, что их очень много, необходима автоматизация их обработки. Когда у вас одна картинка, то все просто, а в трехмерном исследовании может быть от 200 до 600 срезов, картинок. И вручную это обрабатывать очень тяжело, и всем хочется такую работу поручить компьютеру.
“
Некоторые болезни требуют четкого знания объёмов, например, желудочка сердца, это можно посмотреть по картинке, но врачу надо сделать много действий. Если это автоматизировать, то это сэкономило бы очень много времени и способствовало бы более качественной постановке диагноза.
Когда человек сам обрабатывает данные, к концу дня у него ухудшается восприятие, у машины же таких недостатков нет. Но, с другой стороны, возникает проблема - внутренние органы человека очень разнообразны. Сердце может сжаться и немного поменять форму просто от того, что человек поменял положение, и в этом состоит сложность разработки таких алгоритмов.
“
Сейчас делается так, что человек проходит КТ, получает свой скан. Я занимаюсь разработкой алгоритма, который поможет сегментировать данные, то есть врач уже получит данные о том, каков объем желудочка, предсердия, чтобы на основе этих данных, он смог сделать выводы и принять решение.
Приведем пример. У нас есть трехмерные данные и нам нужно получить сегментацию - где предсердие, где желудочек, где клапаны. Нам нужно создать алгоритм, который сделает эту разметку автоматически и качественно. Сейчас применяют так называемые глубокие нейронные сети. Это когда берется большое количество данных, уже размеченных кем-то, например врачом, и тренируется вот эта сеть таким образом, чтобы она на новых данных вела себя также, как это сделал бы человек. Сейчас это развитие идет во всех областях, в том числе и медицине, данные решения достигли очень высокого качества, и их внедряют повсеместно.
“
Базовая версия создается очень быстро за счет современных инструментов, а вот ее “донастройка” может занимать месяцы, а само обучение обычно от суток до нескольких дней.
Пока такое программное обеспечение существует только в лабораторных условиях. Хотя попытка его внедрить уже была. Евгений ездил в нижегородский кардиоцентр и пытался там установить эту программу. Но пока не получилось.
Евгений уверен, для того чтобы программное обеспечение внедрилось успешно, необходимо, чтобы над ним работала целая команда специалистов. Эта команда должна работать сразу от создания аппарата до внедрения его в больницы.
Евгений уверен, для того чтобы программное обеспечение внедрилось успешно, необходимо, чтобы над ним работала целая команда специалистов. Эта команда должна работать сразу от создания аппарата до внедрения его в больницы.
