Dmitriy Vatolin
Moscow State University

Проблемы измерения качества изображений и видео в эпоху нейросетей

Современные нейросетевые метрики лучше коррелируют с человеческим восприятием, однако подвержены атакам, причем как сознательным (когда авторы хотят получить SOTA, без реального улучшения качества), так и непреднамеренному взлому, когда метрика стала лучше, а реальный результат хуже. В докладе будут продемонстрированы результаты сравнения устойчивости 15+ современных методов оценки качества к различным состязательным атакам, как специализированным для метрик, так и адаптированным из области image classification для взлома метрик. Бета бенчмарка опубликована в июле по ссылке https://videoprocessing.ai/benchmarks/metrics-robustness.html. Также в 2021 была начата работа над стандартом JPEG A, который превосходит наилучший на сегодня стандарт VVC на 30%, а старый добрый JPEG примерно в 3 раза при том же визуальном качестве. К сожалению, многие нейросетевые методы иногда галлюционируют и JPEG AI не исключение. В этом году автор вошел в комитет стандартизации JPEG AI, будут продемонстрированы артефакты драфта стандарта и другие неопубликованные результаты.