Метод реконструкции геометрии из набора RGB-изображений с использованием дифференцируемого рендеринга и визуальной оболочки

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Доступ платный или только для подписчиков

Аннотация

Применение методов дифференцируемого рендеринга является актуальным на сегодняшний день решением задачи реконструкции геометрии из набора RGB-изображений без задействования дорогостоящего оборудования. Недостатком этого класса методов являются возможные искажения геометрии, возникающие в ходе оптимизации, и высокая вычислительная сложность. Современные методы дифференцируемого рендеринга вычисляют и используют два типа градиентов: градиенты силуэтов и градиенты нормалей. Причиной большинства искажений, возникающих в ходе оптимизации геометрии, являются модификации параметров, связанных с градиентами силуэтов. В работе рассматривается возможность увеличения эффективности методов реконструкции геометрии, основанных на использовании дифференцируемого рендеринга, путем разделения процесса реконструкции на два этапа: инициализации и оптимизации. Первый этап реконструкции предполагает создание визуальной оболочки восстанавливаемого объекта. Выполнение этого этапа позволяет автоматизировать процесс выбора исходной геометрии и начать следующий этап с двумя условиями: силуэты объекта уже восстановлены со всех точек наблюдения, а топологии реконструируемого и истинного объектов эквивалентны. Второй этап представляет собой цикл оптимизации геометрии, основанный на выполнении перечисленных условий. Этот цикл состоит из четырех шагов: рендеринг изображений, вычисление функции потерь, расчет градиентов и оптимизация геометрии. Выполнение условия соответствия контуров исходной и эталонной геометрии позволяет избавиться от необходимости использования градиентов силуэтов. Такое решение позволяет значительно снизить число ошибок, возникающих в ходе оптимизации, а также уменьшить вычислительную сложность метода, благодаря исключению вычисления функции потерь, расчета градиентов и оптимизации параметров, связанных с силуэтами объектов. Проведены тестирование и анализ результатов, показавшие повышение точности реконструкции геометрии при уменьшении разрешения сетки и уменьшении общего времени работы метода в сравнении с аналогичными методами, а также увеличение скорости шагов оптимизации до двух раз.

Полный текст

Доступ закрыт

Об авторах

А. И. Лысых

Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики

Автор, ответственный за переписку.
Email: lysykhai@ya.ru
ORCID iD: 0000-0002-2437-5275
Россия, 197101 Санкт-Петербург, Кронверкский пр., 49

Д. Д. Жданов

Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики

Email: ddzhdanov@mail.ru
ORCID iD: 0000-0001-7346-8155
Россия, 197101 Санкт-Петербург, Кронверкский пр., 49

М. И. Сорокин

Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики

Email: vergotten@gmail.com
ORCID iD: 0000-0001-9093-1690
Россия, 197101 Санкт-Петербург, Кронверкский пр., 49

Список литературы

  1. Cardenas-Garcia J.F., Yao H.G., Zheng S. 3D reconstruction of objects using stereo imaging // Optics and Lasers in Engineering. 1995. V. 22. № 3. P. 193–213.
  2. Mikhail E.M. Introduction to Modern Photogrammetry // John Williey & Sons. 2001.
  3. He C., Shen Y., Forbes A. Towards higher-dimensional structured light // Light: Science & Applications. 2022. V. 11. № 1. P. 205.
  4. Collis R.T.H. Lidar // Applied optics. 1970. V. 9. № 8. P. 1782–1788.
  5. Zhou Z. et al. Three-Dimensional Geometry Reconstruction Method from Multi-View ISAR Images Utilizing Deep Learning // Remote Sensing. 2023. V. 15. № 7. P. 1882.
  6. Liu Z.N. et al. High-quality textured 3D shape reconstruction with cascaded fully convolutional networks // IEEE Transactions on Visualization and Computer Graphics. 2019. V. 27. № 1. P. 83–97.
  7. Henderson P., Ferrari V. Learning to generate and reconstruct 3d meshes with only 2d supervision // arXiv preprint arXiv:1807.09259. 2018.
  8. Kato H. et al. Differentiable rendering: A survey // arXiv preprint arXiv:2006.12057. 2020.
  9. Periyasamy A.S., Behnke S. Towards 3D Scene Understanding Using Differentiable Rendering // SN Computer Science. 2023. V. 4. № 3. P. 245.
  10. Nicolet B., Jacobson A., Jakob W. Large steps in inverse rendering of geometry // ACM Transactions on Graphics (TOG). 2021. V. 40. № 6. P. 1–13.
  11. Rojas R. The backpropagation algorithm // Neural networks: a systematic introduction. 1996. P. 149–182.
  12. Kato H., Ushiku Y., Harada T. Neural 3d mesh renderer // Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. P. 3907–3916.
  13. Liu S. et al. Soft rasterizer: A differentiable renderer for image-based 3d reasoning // Proceedings of the IEEE/CVF international conference on computer vision. 2019. P. 7708–7717.
  14. Chen W. et al. Learning to predict 3d objects with an interpolation-based differentiable renderer // Advances in neural information processing systems. 2019. V. 32.
  15. Petersen F., Bermano A.H., Deussen O., Cohen-Or D. “Pix2Vex: Image-to-Geometry Reconstruction using a Smooth Differentiable Renderer”. arXiv:1903.11149. 2019.
  16. Yan X., Yang J., Yumer E., Guo Y., Lee H. Perspective transformer nets: Learning single-view 3d object reconstruction without 3d supervision // NeurIPS, 2016.
  17. Tulsiani S., Zhou T., Efros A.A., Malik J. Multi-view supervision for single-view reconstruction via differentiable ray consistency // CVPR, 2017.
  18. Insafutdinov E., Dosovitskiy A. Unsupervised Learning of Shape and Pose with Differentiable Point Clouds // in NeurIPS, 2018.
  19. Liu S., Saito S., Chen W., Li H. Learning to infer implicit surfaces without 3d supervision // NeurIPS, 2019.
  20. Niemeyer M., Mescheder L., Oechsle M., Geiger A. Differentiable Volumetric Rendering: Learning Implicit 3D Representations without 3D Supervision // CVPR, 2020.
  21. Mildenhall B. et al. Nerf: Representing scenes as neural radiance fields for view synthesis // Communications of the ACM. 2021. V. 65. № 1. P. 99–106.
  22. Yang J., Pavone M., Wang Y. Freenerf: Improving few-shot neural rendering with free frequency regularization // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2023. P. 8254–8263.
  23. Kerbl B. et al. 3d gaussian splatting for real-time radiance field rendering // ACM Trans. Graph. 2023. V. 42. № 4. P. 139:1–139:14.
  24. Guédon A., Lepetit V. Sugar: Surface-aligned gaussian splatting for efficient 3d mesh reconstruction and high-quality mesh rendering //Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024. P. 5354–5363.
  25. Jiang Y. et al. Sdfdiff: Differentiable rendering of signed distance fields for 3d shape optimization // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020. P. 1251–1261.
  26. Lombardi S. et al. Neural volumes: Learning dynamic renderable volumes from images // arXiv preprint arXiv:1906.07751. 2019.
  27. Yifan W. et al. Differentiable surface splatting for point-based geometry processing // ACM Transactions on Graphics (TOG). 2019. V. 38. № 6. P. 1–14.
  28. Godard C., Mac Aodha O., Brostow G.J. Unsupervised monocular depth estimation with left-right consistency // Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. P. 270–279.
  29. Kajiya J.T. The rendering equation // Proceedings of the 13th annual conference on Computer graphics and interactive techniques. 1986. P. 143–150.
  30. Li T.M. et al. Differentiable monte carlo ray tracing through edge sampling // ACM Transactions on Graphics (TOG). 2018. V. 37. № 6. P. 1–11.
  31. Zhang C. et al. A differential theory of radiative transfer // ACM Transactions on Graphics (TOG). 2019. V. 38. № 6. P. 1–16.
  32. Zhang Z., Roussel N., Jakob W. Projective sampling for differentiable rendering of geometry // ACM Transactions on Graphics (TOG). 2023. V. 42. № 6. P. 1–14.
  33. Loubet G., Holzschuch N., Jakob W. Reparameterizing discontinuous integrands for differentiable rendering // ACM Transactions on Graphics (TOG). 2019. V. 38. № 6. P. 1–14.
  34. Xu P. et al. Warped-area reparameterization of differential path integrals // ACM Transactions on Graphics (TOG). 2023. V. 42. № 6. P. 1–18.
  35. Loper M.M., Black M.J. OpenDR: An approximate differentiable renderer // Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6–12, 2014, Proceedings, Part VII 13. – Springer International Publishing, 2014. P. 154–169.
  36. Laine S. et al. Modular primitives for high-performance differentiable rendering // ACM Transactions on Graphics (ToG). 2020. V. 39. № 6. P. 1–14.
  37. Ravi N. et al. Accelerating 3d deep learning with pytorch3d // arXiv preprint arXiv:2007.08501. 2020.
  38. Gupta K. Neural mesh flow: 3d manifold mesh generation via diffeomorphic flows. University of California, San Diego, 2020.
  39. Palfinger W. Continuous remeshing for inverse rendering // Computer Animation and Virtual Worlds. 2022. V. 33. № 5. P. e2101.
  40. Hoppe H. et al. Mesh optimization // Proceedings of the 20th annual conference on Computer graphics and interactive techniques. 1993. P. 19–26.
  41. Лысых А.И., Жданов Д.Д., Сорокин М.И. Использование визуальной оболочки для реконструкции геометрии по набору RGB-изображений с помощью дифференцируемого рендеринга // Материалы 34-й Международной конференции по компьютерной графике и машинному зрению. Омск: Омский государственный технический университет, 2024. С. 238–249.
  42. Laurentini A. The visual hull concept for silhouette-based image understanding // IEEE Transactions on pattern analysis and machine intelligence. 1994. V. 16. № 2. P. 150–162.
  43. Ren T. et al. Grounded sam: Assembling open-world models for diverse visual tasks // arXiv preprint arXiv:2401.14159. 2024.
  44. Liu S. et al. Grounding dino: Marrying dino with grounded pre-training for open-set object detection // European Conference on Computer Vision. Springer, Cham, 2025. P. 38–55.
  45. Ren T. et al. Grounding DINO 1.5: Advance the “Edge” of Open-Set Object Detection // arXiv preprint arXiv:2405.10300. 2024.
  46. Ravi N. et al. Sam 2: Segment anything in images and videos // arXiv preprint arXiv:2408.00714. 2024.
  47. Visvalingam M., Whyatt J.D. Line generalization by repeated elimination of points // Landmarks in Mapping. Routledge, 2017. P. 144–155.
  48. Ramer U. An iterative procedure for the polygonal approximation of plane curves // Computer graphics and image processing. 1972. V. 1. № 3. P. 244–256.
  49. Douglas D.H., Peucker T.K. Algorithms for the reduction of the number of points required to represent a digitized line or its caricature // Cartographica: the international journal for geographic information and geovisualization. 1973. V. 10. № 2. P. 112–122.
  50. Paszke A. et al. Pytorch: An imperative style, high-performance deep learning library // Advances in neural information processing systems. 2019. V. 32.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Сравнение результатов работы представленного метода и метода Continuous Remeshing при одинаковом числе итераций оптимизации. В углу обозначено общее время работы каждого метода. Цветом отмечено расстояние вершин геометрии от целевой поверхности.

Скачать (2MB)
Метаданные
3. Рис. 2. Сравнение результатов работы представленного метода и метода Continuous Remeshing на разных шагах процесса оптимизации. В углу обозначено общее время работы каждого метода. Цветом отмечено расстояние вершин геометрии от целевой поверхности.

Скачать (2MB)
Метаданные

© Российская академия наук, 2025