Всем привет.
Как-то я подумал о масках на видео кружочках в телеграм.
Кароче, все началось с того, что я заметил, как пользователи все больше и больше применяют разные маски в своих соц сетях. Я задумался, что если самому попробовать разработать свои маски - это может быть интересно.
Тогда я начал рыться в разных технологиях и инструментах, чтобы разработать маску. Я погрузился в кучу документации, посмотрел много уроков, и проштудировал опыт других разрабов.
Когда я наконец-то выискал подходящую технологию, я принялся штамповать первую версию маски, клипартами с гугла). Я не переставал тестировать и допиливать ее, пока не получил удовлетворительный результат.
Все бы хорошо но такие маски мне не по зубам, нужно было делать в 3д
попросил помощи у проф сообщества.
В итоге взял примитивную маску без 3д.
Мне в лицо смотрела другая задача, Всего то сделать так, чтобы нейросеть распознавала лицо пользователя и фиксировала на нем маску.
Но, знаете, это была задача не для слабаков вроде меня. Она требовала знаний в области компьютерного зрения и глубокого обучения, да и не только.
Приступив к делу, я начал расследование, перебрав кучу способов распознавания лиц.
Смотрел на себя в зеркало, а потом уткнулся в книги и статьи, вороша методы и алгоритмы.
В итоге я нашел код на гитхабе и благополучно спитонил кусок кода.
Следующим шагом было собирание данных - я мгновенно налетел на открытые базы, слегка сонный так-как был за кампом с утра и до утра, в легком безумии я понял что будет супер сложно - но цель требовала жертв.
Что ж, когда груз данных был собран в моей голове, пришла пора привести его в порядок. Использовал разнообразные техники предобработки, чтоб ии было готово к обучению.
Так вышло что я принялся за создание самой нейросети, используя библиотеку Opencv.
Обучение заняло уйму времени и ресурсов, но в конечном итоге оно оправдало себя
-точность распознавания была на высшем уровне.
Через тернии в тернии подумал я и приступил к тестированию и отладке системы.
Это было долго, напряженно, сложно, но тесты прошли успешно и часть нейросети для распознавания лиц была готова.
Без условно, такая технология это важнейший шаг в области компьютерного зрения, который может использоваться в различных областях, от безопасности до медицинской диагностики.
Но я применил его в не менее нужное русло.
Кто умеет читать по губам)?
Это была первая версия без звука, сейчас уже со звуком.
Я сидел в своей комнате, смотрел на экран телефона и не мог поверить своим глазам. Нейронка с масками которую я выложил в своем телеграм чате, начала работать. После долгих недель работы, бессонных ночей и каторжных усилий, я наконец-то начал видеть результаты своей работы.
Затестить можно тут
https://t.me/mask_video_chat
