Бенчмарки и ИИ‑тестирование: как МСЭ помогает выстраивать доверие к технологиям

10 июля в рамках программы Саммита "ИИ во благо" состоялся семинар, посвященный стандартизации в области создания систем мониторинга и бенчмаркинга* ИИ и связанной работе Сектора стандартизации электросвязи МСЭ (МСЭ-Т).

Такие системы помогают пользователям оценивать эффективность, устойчивость и надежность систем машинного обучения и ИИ.

Следующие взаимосвязанные направления работ МСЭ-Т стали центральными тематиками семинара:
•  бенчмаркинг и мониторинг ИИ для снижения рисков деградации моделей и снижения их производительности,
•  процессы тестирования с применением ИИ, включая анализ требований, проектирование сценариев использования, генерацию данных, выполнение тестов и формирование отчетов,
•  автоматическая генерация тестовых скриптов на базе.

Для участников РСС тема особенно актуальна: чтобы уверенно внедрять ИИ в телеком, госуслуги и другие сферы, странам нужны общие правила игры – именно их и обсуждают на площадке МСЭ.

Своей экспертизой поделились такие представители профессионального сообщества РСС, как:
•  Андрей Кучерявый, профессор, заведующий кафедрой сетей связи и передачи данных СПбГУТ им. проф. М.А. Бонч-Бруевича
•  Анна Абрамова, к.э.н, Директор Центра ИИ МГИМО
Они представили информацию о Центральноазиатской песочнице по бенчмаркингу ИИ, реализуемой совместно РСС, СПбГУТ и Центра ИИ МГИМО
•  Артем Волков, доктор технических наук, доцент СПбГУТ, который выступил модератором сессии, посвященной системам тестирования на базе ИИ.

Также в рамках мероприятия были представлены новые инструменты для поддержки процедур тестирования и автоматизации рабочих процессов оценки на базе ИИ.

*Бенчмаркинг (от англ. benchmark – "эталон", "контрольная точка") – процесс сравнения показателей, методов или результатов с эталоном

⠀

Подписывайтесь и следите за новостями РСС в официальном телеграм-канале.