Comment la piste audio est-elle stockée dans un fichier vidéo ? Logique du demux et de la copie

Que se passe-t-il à l'intérieur du fichier quand vous extrayez le son d'une vidéo ? Le son n'est pas « séparé » — car il existe déjà comme piste distincte, simplement entrelacée avec les données vidéo. Dans cet article, nous expliquons la structure interne des conteneurs, la façon dont les pistes sont stockées et la différence technique entre copie et réencodage.

Comment les pistes sont disposées dans un conteneur

Si vous ouvriez un fichier vidéo pour en examiner l'intérieur, vous ne verriez pas une structure ordonnée du type « d'abord toute la vidéo, puis tout le son ». Vous trouveriez à la place un flux de petits paquets entrelacés :

[paquet video 0,00s][paquet audio 0,00s][paquet video 0,04s]
[paquet audio 0,02s][paquet video 0,08s][paquet audio 0,04s]...

C'est ce qu'on appelle le multiplexage. Sa raison est l'efficacité de lecture : en regardant une vidéo, vous avez besoin en même temps de l'image et du son d'un instant donné. Si ceux-ci étaient stockés à des extrémités différentes du fichier, le lecteur devrait constamment lire en avant et en arrière. En diffusion réseau, ce serait une structure totalement inutilisable.

Le demux (demultiplexing) consiste à démêler ce flux mélangé et à rassembler chaque piste séparément. C'est la première étape de l'extraction audio.

Point déterminant : le demux n'implique aucun décodage. Il lit les paquets, regarde à quelle piste ils appartiennent et les sépare. Il ne regarde jamais à l'intérieur des données audio.

Structure des pistes et métadonnées

Chaque conteneur comporte une structure conservant des informations sur les pistes. En MP4, ce sont les structures trak à l'intérieur de l'atome moov ; en MKV, l'élément Tracks.

Les informations conservées pour chaque piste :

| Information | Signification | |---|---| | Type de piste | Vidéo, audio, sous-titre, métadonnées | | Identifiant de codec | AAC, H.264, AC3, Opus... | | Échelle de temps | L'unité des horodatages | | Durée | La longueur de la piste | | Langue | Français, anglais... | | Nombre de canaux | Mono, stéréo, 5.1 | | Fréquence d'échantillonnage | 44100, 48000 Hz | | Débit | Débit de données moyen | | Données spécifiques au codec | Les paramètres initiaux nécessaires au décodeur |

La dernière ligne est importante : de nombreux codecs ont besoin d'un bloc de configuration avant de commencer à décoder. Pour l'AAC, on l'appelle AudioSpecificConfig et il porte des données comme la fréquence d'échantillonnage, la configuration des canaux et le profil. Ce bloc n'est pas stocké dans les paquets audio mais dans les métadonnées de la piste.

Lors de l'extraction audio, ce bloc de configuration doit également être correctement transféré vers le nouveau fichier — sinon le fichier obtenu est illisible ou joue à la mauvaise vitesse.

La copie : la voie sans perte

Lors d'une opération de stream copy (copie de flux), voici ce qui se passe :

1. Le conteneur est démultiplexé, les paquets audio sont isolés.
2. On ne regarde jamais à l'intérieur des paquets. Les données encodées restent telles quelles.
3. Un nouveau conteneur (ou un fichier brut) est créé.
4. Les paquets sont écrits dans le nouveau conteneur avec leurs horodatages.
5. Les métadonnées de piste et la configuration du codec sont transférées.

Résultat : les données audio sont identiques bit pour bit. Il n'y a aucune perte de qualité. L'opération se déroule à la vitesse d'une copie de fichier, car aucun calcul n'est effectué.

Condition : le format de fichier cible doit pouvoir héberger ce codec.

| Codec audio source | Cibles copiables | |---|---| | AAC | .m4a, .aac, .mp4, .mkv | | MP3 | .mp3, .mkv, .mp4 | | Opus | .opus, .ogg, .mkv, .webm | | Vorbis | .ogg, .mkv, .webm | | FLAC | .flac, .mkv | | PCM | .wav, .mkv, .mov | | AC3 / DTS | .ac3, .dts, .mkv |

Conséquence pratique de ce tableau : si vous choisissez la cible M4A en extrayant le son de vos vidéos MP4, une copie est effectuée et vous ne perdez aucune qualité. Si vous voulez le même contenu en MP3, un réencodage devient obligatoire.

Le réencodage : la voie avec perte

Si le format cible est incompatible avec la source, une opération en deux étapes s'impose :

1. Le décodage. Les paquets audio encodés sont décodés en PCM (une suite d'échantillons bruts).

2. Le réencodage. Ces données PCM sont compressées de zéro avec le codec cible.

En allant d'une source avec perte vers une cible avec perte, le problème est le suivant : l'information écartée par le premier encodeur a déjà disparu, et le second encodeur écarte à nouveau de l'information selon son propre modèle psychoacoustique. Deux « abandons » différents se superposent et la perte s'accumule.

Par ailleurs, le bruit de quantification laissé par le premier encodage apparaît au second comme du « vrai son » et il dépense du budget de bits à tenter de le préserver.

C'est pourquoi il faut viser un débit cible un cran au-dessus de celui de la source — cela n'annule pas la perte mais la limite.

Exception : si la source est sans perte (PCM ou FLAC), le réencodage n'ajoute qu'une seule dégradation et c'est une opération d'encodage normale. Dans ce cas, la qualité dépend entièrement du débit que vous choisissez.

Horodatages et synchronisation

Chaque paquet porte un horodatage. Deux, en réalité :

PTS (Presentation Timestamp) : le moment où ce paquet doit être affiché/joué.

DTS (Decoding Timestamp) : le moment où ce paquet doit être décodé.

Pour l'audio, les deux sont généralement identiques. Pour la vidéo, ils peuvent différer — les images B effectuant une prédiction vers l'avant, l'ordre de décodage diffère de l'ordre d'affichage.

Dans l'extraction audio, les horodatages comptent pour deux raisons :

Le décalage de départ. Sur certains enregistrements, la piste audio ne démarre pas au même instant que la vidéo. Dans le conteneur, cela est compensé par une edit list ou une valeur de décalage. Si cette information n'est pas transférée lors de l'extraction, le son obtenu se retrouve décalé de quelques centaines de millisecondes par rapport à celui de la vidéo.

Les trous. Sur certains enregistrements (en particulier les flux reçus par le réseau), il peut y avoir des trous dans les paquets audio. La copie transporte ces trous ; certains outils les comblent, d'autres les ignorent et la durée raccourcit.

Le problème de la fréquence d'images variable

Les logiciels de capture d'écran et certaines caméras de téléphone utilisent une fréquence d'images variable (VFR) : ils économisent de la place en sautant des images quand il n'y a pas de mouvement.

Le son, lui, s'écoule toujours à débit constant — 48 000 échantillons par seconde, sans exception.

Cette asymétrie complique les calculs temporels sur les vidéos VFR. Certains outils calculent la fréquence d'images moyenne de la vidéo, la supposent constante et interprètent les horodatages audio en conséquence. Le résultat est un décalage qui augmente à mesure que la vidéo avance.

Le son extrait d'une capture d'écran d'une heure peut se retrouver décalé de plusieurs secondes vers la fin. La solution consiste à convertir d'abord la vidéo en fréquence d'images constante.

Les pistes audio multiples

Le conteneur MKV peut transporter un nombre illimité de pistes audio. Dans un fichier de film typique :

• Piste 1 : langue d'origine, 5.1 AC3
• Piste 2 : doublage, 2.0 AAC
• Piste 3 : commentaire du réalisateur, 2.0 AAC
• Piste 4 : audiodescription

Chaque piste porte son étiquette de langue, sa configuration de canaux et son codec.

Les outils d'extraction prennent généralement la piste par défaut ou la première piste. Si vous voulez une piste précise, l'outil doit proposer une sélection de piste.

Le conteneur MP4 prend aussi en charge les pistes audio multiples, mais c'est moins employé en pratique et certains lecteurs ne voient que la première.

Le mixage des canaux

Le son des films est généralement en 5.1 ou 7.1 canaux. En l'extrayant vers un fichier stéréo, un downmix (mixage réducteur) est effectué : six canaux sont ramenés à deux.

La formule standard est grossièrement la suivante :

• Gauche = Avant gauche + 0,707 × Centre + 0,707 × Arrière gauche
• Droite = Avant droite + 0,707 × Centre + 0,707 × Arrière droite
• Le LFE (canal de basses) est généralement écarté ou ajouté avec un faible poids

Ce mixage pose parfois problème : dans le son des films, les dialogues sont sur le canal central et les effets sur les canaux latéraux. Si les proportions de mixage ne conviennent pas, les dialogues peuvent rester en arrière-plan — c'est pourquoi les paroles s'entendent mal quand vous extrayez le son d'un film.

Certains outils proposent des options « axées dialogue » qui mixent le canal central plus fortement.

Le PCM : une source sans perte

Dans certaines vidéos, le son est stocké sans aucune compression, au format PCM. On le trouve dans les caméras professionnelles, certains logiciels de capture d'écran et les disques Blu-ray.

Le PCM est la même donnée que celle contenue dans les fichiers WAV. Dans ce cas :

• Extraction en WAV : copie directe, aucune perte.
• Extraction en FLAC : compression sans perte, les données sont rigoureusement préservées, le fichier rétrécit.
• Extraction en MP3/AAC : premier encodage avec perte ; la qualité dépend entièrement du débit choisi et, à un bon débit, le résultat est excellent.

Les extractions issues de sources PCM constituent le meilleur point de départ pour le montage.

En résumé

Dans un fichier vidéo, le son existe comme une piste distincte entrelacée avec les données vidéo ; la première étape de l'extraction consiste à séparer ces paquets (demux) et cette étape n'implique aucun décodage. Si le format cible est compatible avec le codec source, les paquets sont transportés tels quels — copie, zéro perte, opération de quelques secondes. En cas d'incompatibilité, un décodage et un réencodage sont nécessaires, et une seconde dégradation s'ajoute sur les sources avec perte. Les horodatages déterminent la synchronisation et constituent la cause principale des décalages sur les sources à fréquence d'images variable. Enfin, le mixage vers la stéréo du son multicanal des films peut affaiblir les dialogues — c'est une conséquence naturelle des proportions de mixage.