Автоматическая стилизация изображений по расширенной коллекции стилей

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Стилизация изображений представляет собой актуальную прикладную задачу по автоматической перерисовке исходного изображения (контента) в стиле другого изображения (задающего целевой стиль). Традиционные методы стилизации изображений предоставляют единственный вариант стилизации. Если он пользователя не устраивает, например, в силу возникающих в ходе стилизации артефактов, то ему приходится выбирать другой стиль. В работе предлагается модификация алгоритма стилизации, дающая разнообразные результаты стилизации одним стилем, а также повышающая среднее качество стилизации за счет использования не только стилевой информации с исходного стилевого изображения, но и информации с изображений, имеющих похожий стиль.

Полный текст

Доступ закрыт

Об авторах

В. В. Понамарев

Московский государственный университет имени М.В. Ломоносова

Автор, ответственный за переписку.
Email: valera.pon.vp@gmail.com
Россия, Москва

В. В. Китов

Московский государственный университет имени М.В. Ломоносова; Российский экономический университет имени Г. В. Плеханова

Email: v.v.kitov@yandex.ru
Россия, Москва; Москва

Список литературы

  1. Gooch B., Gooch A. Non-photorealistic rendering. CRC Press, 2001.
  2. Strothotte T., Schlechtweg S. Non-photorealistic computer graphics: modeling, rendering, and animation. Morgan Kaufmann, 2002.
  3. Rosin P., Collomosse J. Image and video-based artistic stylisation. Springer Science & Business Media, 2012. V. 42.
  4. Gatys L.A., Ecker A.S., Bethge M. A neural algorithm of artistic style // arXiv preprint arXiv:1508.06576, 2015.
  5. Huang X., Belongie S. Arbitrary style transfer in real-time with adaptive instance normalization // Proceedings of the IEEE international conference on computer vision. 2017. P. 1501–1510.
  6. Li Y. et al. Universal style transfer via feature transforms // Advances in neural information processing systems. 2017. V. 30.
  7. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition // arXiv preprint arXiv:1409.1556, 2014.
  8. Deng J. et al. Imagenet: A large-scale hierarchical image database // 2009 IEEE conference on computer vision and pattern recognition. IEEE. 2009. P. 248–255.
  9. Phillips F., Mackintosh B. Wiki Art Gallery, Inc.: A case for critical thinking // Issues in Accounting Education. 2011. V. 26. № 3. P. 593–608.
  10. Florea C. et al. Pandora: Description of a painting database for art movement recognition with baselines and perspectives // 2016 24th European Signal Processing Conference (EUSIPCO). IEEE. 2016. P. 918–922.
  11. Buzuloiu V. et al. Adaptive-neighborhood histogram equalization of color images // Journal of Electronic Imaging. 2001. V. 10. № 2. P. 445–459.
  12. de Villiers J.P. A comparison of image sharpness metrics and real-time sharpening methods with GPU implementations // Proceedings of the 7th International Conference on Computer Graphics, Virtual Reality, Visualisation and Interaction in Africa. 2010. P. 53–62.
  13. Hassen R., Wang Z., Salama M.M.A. Image sharpness assessment based on local phase coherence // IEEE Transactions on Image Processing. 2013. V. 22. № 7. P. 2798–2810.
  14. Sanakoyeu A. et al. A style-aware content loss for real-time hd style transfer // Proceedings of the European conference on computer vision (ECCV). 2018. P. 698–714.
  15. Huang X., Belongie S. Arbitrary style transfer in real-time with adaptive instance normalization // Proceedings of the IEEE international conference on computer vision. 2017. P. 1501–1510.
  16. Li Y. et al. Universal style transfer via feature transforms // Advances in neural information processing systems. 2017. V. 30.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Применение переноса стиля методом [4]. Первый стиль наложился хуже, чем второй, из-за сильной несочетаемости с контентным изображением (по четкости)

Скачать (392KB)
Метаданные
3. Рис. 2. Используемые при стилизации слои сети VGG

Скачать (115KB)
Метаданные
4. Рис. 3. Пример работы алгоритма стилизации по группе найденных стилей с перекрашиванием исходного стиля: a) контент; б) стандартная стилизация контента a) по стилю д); в) предложенная стилизация по группе найденных стилей е) и з); г) предложенная стилизация по группе стилей с перекрашиванием ж) и и); д) исходный стиль; е) 1-й найденный стиль; ж) стиль е) перекрашенный в д); з) 2-й найденный стиль; и) стиль з) перекрашенный в д)

Скачать (391KB)
Метаданные
5. Рис. 4. Пример работы алгоритма стилизации по группе найденных стилей с переносом цветовой схемы исходного стиля: a) контент; (б) стандартная стилизация контента a) по стилю д); в) предложенная стилизация по группе найденных стилей е), ж); г) предложенная стилизация по группе стилей с перекрашиванием е), ж); д) пользовательский стиль; е), ж) похожие на (e) стили

Скачать (376KB)
Метаданные
6. Рис. 5. Работа предложенным алгоритмом стилизации по группе найденных стилей при различном размере группы k: a) стилизация по д), k = 1; б) стилизация по д) и е), k = 2; в) стилизация по д) – ж), k = 3; г) стилизация по д) – з), k = 4

Скачать (566KB)
Метаданные
7. Рис. 6. Работа предложенным алгоритмом стилизации по группе найденных стилей при различном размере группы k: а) стилизация по д), k = 1; б) стилизация по д) и е), k = 2; в) стилизация по д) – ж), k = 3; г) стилизация по д) – з), k = 4

Скачать (576KB)
Метаданные

© Российская академия наук, 2024