Технологии проходят испытания
30 октября состоялся SberZvuk Tech Days — первый онлайн-хакатон аудиосервиса Звук с целью привлечения в команду специалистов, а также усиления бренда Звук и Звук Бизнес как продуктовой IT-компании на рынке. В течение двух дней участники хакатона работали над созданием алгоритмов фильтрации видеоконтента, общались с менторами, прокачивали экспертизу и участвовали в розыгрыше денежных призов. Благодаря слаженной работе и поддержке команды облачных технологий SberCloud в процессе запуска за короткие сроки была организована инфраструктура, а также предоставлен необходимый инструментарий для проведения хакатона в удаленном автоматизированном формате.
«Хакатон стал отличной возможностью за короткое время познакомиться с большим количеством близких нам по духу разработчиков, заинтересованных в технологиях машинного обучения, — специалистов, которые нужны команде большого аудиосервиса. Мы смогли показать потенциальным кандидатам, как устроен рабочий процесс и как проходят обсуждения, какой технологический стек используется у нас при разработке продуктов и ревью кода. Спасибо организаторам за помощь в проведении хакатона, а вовлеченным участникам за нестандартные идеи и подходы — это было круто!»
Одним из заданий была разработка веб-сервиса, результаты которого нужно было выгрузить в S3-хранилище.
Дмитрий Троян, Backend-разработчик СберЗвука
«В ходе выполнения задания основные проблемы у участников возникали из-за отсутствия опыта с работой хранилища и виртуальными машинами, но почти все справились с созданием самого веб-сервиса. В основном был использован фреймворк FastAPI — здорово, что участники с ним знакомы и активно использовали его в своей разработке. Некоторые даже не стали ограничиваться одним сервисом и разработали пайплайн для обработки видео из нескольких. В качестве программного брокера сообщений использовали в основном RabbitMQ».
Анастасия Малашева, ML-инженер СберЗвука
«На хакатоне решали задачу про компьютерное зрение. Перед участниками стояла задача фильтрации нежелательного аудио- и видеоконтента, участники применяли различные подходы к решению, использовали обученные нейронные сети. В целом каждый справился с обеими задачами, было предложено несколько интересных решений — особенно это коснулось аудиоконтента».
Хакатон SberZvuk Tech Days — отличная возможность для middle- и senior python-разработчиков проявить себя и прокачать скиллы до высокого уровня. Чтобы участники могли создать сервисы для фильтрации пользовательского контента и не ограничивали себя в креативе, мы подумали о необходимой ИТ-инфраструктуре. Команда SberCloud.Advanced предоставила участникам облачные сервисы — объектное хранилище Object Storage Service для работы с большим объемом данных и виртуальный сервер Elastic Cloud Server для любых сценариев применения.
OBS позволил разместить файлы с результатами анализа аудиодорожки и видеоряда, а виртуальный сервер ECS команды использовали для запуска своего кода и проведения машинного обучения.
Получить в короткие сроки все ресурсы для работы над алгоритмом фильтрации не так просто, но вместе с партнерами из SberCloud мы довольно быстро подготовили 63 виртуальных сервера и такое же количество объектных хранилищ. Все операции выполняли с помощью программного инструментаTerraform — можно один раз сконфигурировать и оперативно получить весь пул требуемых ресурсов.
На подготовку и предоставление ресурсов понадобилось чуть больше одного рабочего дня с учетом времени на увеличение лимитов в облаке. В итоге участникам не нужно было искать свои мощности для выполнения задания и не пришлось ограничивать себя в плане креатива.
Павел Касьян, руководитель управления DevOps и SRE СберЗвука
«Для проведения следующего хакатона мы хотели бы использовать вычислительные ресурсы GPU или мощности суперкомпьютера Christofari и Christofari Neo. В целом мы используем многие сервисы SberCloud, в первую очередь, это Cloud Container Engine, Distributed Message Service for Kafka, Distributed Cache Service for Redis, Document Database Service, Object Storage Service, Elastic Cloud Server, а также тестируем и изучаем возможности сети доставки контента CDN. Мы рады, что совсем недавно у SberCloud появилась третья ресурсная зона доступности AZ3 — это еще одна классная возможность для использования облачных технологий».