Towards Automatic Content Generation for Immersive Cinema Theater Based on Artificial Intelligence - Laboratoire d'Informatique et d'Automatique pour les Systèmes
Pré-Publication, Document De Travail Année : 2023

Towards Automatic Content Generation for Immersive Cinema Theater Based on Artificial Intelligence

Vers une génération automatique de contenus pour salle de cinéma immersive basée sur de l'intelligence artificielle

Résumé

Immersive display systems like the one proposed by ICE ® technology aims to enhance visual immersion by widening the field of view. However, creating immersive content while maintaining immersion integrity is a challenging task due to the sensitivity of human peripheral vision to flickering and movement. Moreover, identifying elements in videos that may disrupt immersion and determining whether they can be expanded into an immersive context is a complex and time-consuming process due to the lack of automatic methodologies. In this paper, we propose a pipeline for automatically generating content for lateral displays from movies. The pipeline consists of several steps. Firstly, the input content is divided into cinematic shots, and then further segmented into snippets. Next, domain-specific features are extracted using dedicated video deep learning models. Additionally, handcrafted features are computed to provide task-specific information. These extracted features are utilized to predict the required processing steps for generating lateral content that aligns with ground-truth annotations provided by cinema experts. The results obtained from our pipeline show promising accuracy and demonstrate the potential for this specialized application.
Les systèmes d'affichage immersifs comme celui proposé par la technologie ICE® visent à améliorer l'immersion visuelle en élargissant le champ de vision. Cependant, créer un contenu immersif tout en maintenant l'intégrité de l'immersion est une tâche difficile en raison de la sensibilité de la vision périphérique humaine au scintillement et au mouvement. De plus, l'identification des éléments dans les vidéos qui peuvent perturber l'immersion, et déterminer s'ils peuvent être étendus dans un contexte immersif est un processus complexe et long en raison du manque de méthodologies automatiques. Dans cet article, nous proposons un pipeline permettant de générer automatiquement du contenu pour les affichages latéraux à partir de films. Le pipeline se compose de plusieurs étapes. Tout d'abord, le contenu d'entrée est divisé en plans cinématographiques, puis en fragments de taille fixe. Ensuite, les caractéristiques spécifiques au domaine vidéo sont extraites à l'aide de modèles d'apprentissage profond vidéo dédiés. En outre, des caractéristiques élaborées à la main sont calculées pour fournir des informations plus spécifiques à notre tâche. Ces caractéristiques sont utilisées pour prédire les étapes de traitement nécessaires pour générer un contenu latéral qui s'aligne sur les annotations vérité-terrain fournies par les experts en cinéma. Les résultats obtenus par notre pipeline montrent une précision prometteuse et démontrent le potentiel de cette application spécialisée.
Fichier principal
Vignette du fichier
Publications_Traparic-29.pdf (4.49 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
licence

Dates et versions

hal-04210040 , version 1 (24-04-2024)

Licence

Identifiants

Citer

David Traparic, Mohamed-Chaker Larabi, Ladjel Bellatreche. Towards Automatic Content Generation for Immersive Cinema Theater Based on Artificial Intelligence. 2023. ⟨hal-04210040⟩
68 Consultations
62 Téléchargements

Altmetric

Partager

More