España Título y resumen en español

Mejora del inpainting de imágenes mediante una arquitectura híbrida que combina CNN, Vision Transformer y GAN Autores: Simge Coşkun - Burdur Mehmet Akif Ersoy University Bucak Zeliha Tolunay Applied Technology and Management Vocational School (TR) Ali Hakan Işık - Burdur Mehmet Akif Ersoy University, Faculty of Engineering and Architecture (TR) Resumen El inpainting de imágenes se centra en la reconstrucción de las regiones ausentes de una imagen de manera que se mantengan tanto la continuidad visual como la coherencia semántica con las áreas circundantes. En este estudio se presenta un modelo híbrido de reconstrucción que integra redes neuronales convolucionales (CNN), un Vision Transformer (ViT) y aprendizaje adversarial con el objetivo de mejorar la calidad de la reconstrucción de imágenes. Las capas convolucionales se encargan de extraer características estructurales locales, mientras que el componente ViT permite captar relaciones contextuales globales y dependencias de largo alcance dentro de la imagen. Para optimizar el rendimiento de la reconstrucción, se empleó una función de pérdida combinada que integra pérdidas de reconstrucción, perceptuales, de estilo, de bordes y adversariales. El enfoque propuesto se evaluó bajo distintas condiciones de enmascaramiento mediante análisis cuantitativos y cualitativos. Los resultados experimentales muestran que el modelo alcanza un elevado rendimiento de reconstrucción, con valores de PSNR, SSIM y LPIPS de 36,22, 0,9779 y 0,0260, respectivamente. Los experimentos adicionales de ablación confirman la importancia de cada uno de los componentes de la arquitectura. En particular, la eliminación del módulo ViT produjo una disminución apreciable del rendimiento medido mediante PSNR, lo que pone de manifiesto la relevancia del modelado del contexto global. De forma similar, la eliminación de la pérdida perceptual afectó negativamente a la similitud perceptual, al incrementar el valor de LPIPS. Las evaluaciones visuales mostraron que el componente de aprendizaje adversarial contribuyó a generar reconstrucciones más naturales, visualmente coherentes y perceptualmente realistas. En conjunto, tanto los resultados numéricos como las evaluaciones visuales confirman que el marco propuesto ofrece una solución equilibrada para preservar los detalles estructurales y, al mismo tiempo, mantener el realismo perceptual en las aplicaciones de inpainting de imágenes.