Qu'est-ce qui affecte la fréquence d'images dans . Pourquoi les fréquences d'images et les résolutions sont importantes dans les jeux

Bonjour chers lecteurs de cet article.

Je ferai une réserve tout de suite que sur Habré il y avait déjà une mention de ce que je vais diffuser plus bas, mais c'était désinvolte et pas trop perceptible. Par conséquent, je pense que ce ne sera pas pire si je mâche tout et essaie d'impliquer plus de gens. Parce que c'est vraiment cool !

Assis le soir au début de cette semaine, je suis tombé accidentellement, sur plusieurs sites à la fois, sur une nouvelle intéressante qui dit "Cameron tournera la suite d'Avatar à 60 images par seconde".
Cameron est loin d'être une personne stupide, ce qui m'a fait me demander ce qu'il veut extraire de ces 60 images, car l'œil humain ne distingue que 24-25 images par seconde.
Au cours de mes fouilles, on a découvert ce qui suit (évident, bien sûr, mais peu de gens y pensent) : sur une vidéo à 24 images par seconde, l'image des objets en mouvement est floue du fait que la vitesse d'obturation de l'objectif vidéo pour chaque image est de 1/24 seconde. En conséquence, si vous ralentissez la vitesse d'obturation, l'image est plusieurs fois plus claire. Grâce à mon ami et son appareil photo cool, voici une vidéo pour démontrer la différence entre la vidéo 24 ips et la vidéo 60 ips.

Par exemple, la vitesse de lecture est de douze fois par seconde : la première case du film est de 50 ms puis seulement de 33 ms. Surtout lors du déplacement de la caméra, c'est très ingérable, parfois extrêmement destructeur. Là, les airs peuvent être atténués, selon le cas, pour quelques tours - ce joueur en est incapable.

Cela peut en effet résoudre le problème, mais les téléviseurs sont toujours de la partie. Les signaux de ce format ne peuvent pas encore être reçus par la plupart des téléviseurs. En pratique, cependant, des incompréhensions entre les appareils peuvent survenir et le lecteur est déraisonnablement retardé sur un signal turbulent de 60 Hz.

J'avais peur de télécharger la vidéo via youtube ou autre chose, sauf pour un service d'hébergement de fichiers, afin que cela n'affecte pas la qualité, alors voici le lien
Également à titre de démonstration - une coupe du long métrage "Avatar" tourné à 60 images par seconde.

J'ai trouvé cette vidéo par accident, au cours de l'analyse d'informations sur le sujet, si je comprends bien, c'est du matériel supplémentaire pour le disque sous licence avec le film.
Impressionné ? Moi aussi. Après cette vidéo, j'ai posé une question naturelle, y a-t-il des films réalisés dans une qualité similaire ? Je n'ai rien trouvé qui m'aurait autant plu que ce clip d'Avatar. MAIS.

Navigation : contre les images meurtries grâce à la puissance de calcul

Alors maintenant, l'image est tirée en Europe. Le plaisir télévisuel indésirable ne commence que lorsque la chaîne du signal est sans faille. Cependant, grâce à leurs processeurs graphiques modernes, ces téléviseurs traitent non seulement la simple répétition d'images, mais calculent même des sous-trames. De plus, ce processus d'interpolation peut être supprimé par une petite interruption dans la reproduction du film du matériau source. Cependant, le déplacement des contours pendant l'interpolation montre souvent des bords impurs. Ainsi, certains téléviseurs laissent le choix entre la répétition classique et l'interpolation au spectateur.

J'ai trouvé un plugin de lecteur vidéo très intéressant. C'est ce qu'on appelle le projet SmoothVideo (SVP). Ce programme crée une magie extraordinaire - il analyse les images vidéo et en ajoute de nouvelles, basées sur celles déjà présentes dans la vidéo, et même en temps réel ! Ainsi, la vidéo peut être portée à 60 images ou plus par seconde.
Sceptiques, cyniques, vos exclamations sont vaines - ça marche ! Mais à condition d'avoir un ordinateur assez puissant, ce qui est logique.
Comment pouvez-vous l'essayer? Maintenant je vais vous le dire.

Avec le printemps prochain, une nouvelle génération de processeurs apparaîtra qui ne créera plus d'effets de halo. Cependant, tant qu'il n'y a pas d'effets secondaires dévastateurs et inquiétants, vous devriez essayer toutes les combinaisons d'appareils avant d'acheter. Et vous ne pouvez pas secouer l'image en regardant.

Signaux vidéo et fréquences d'images

La fréquence d'image ne distingue pas cadres complets et champs.

Du film à la télévision : les chemins de signal les plus importants

Accéléré, doublé ou interpolé : avant qu'une image ne soit affichée sur un écran de télévision, elle subit un traitement intensif - en partie avec des effets secondaires désagréables tels que le scintillement ou le scintillement.

1. Nous allons sur le site svp-team.com, où nous téléchargeons version complète paquet (il contient tout ce dont vous avez besoin).

2. Installez tous les programmes nécessaires contenus dans le package complet (ne modifiez pas les paramètres lors de l'installation et cliquez sur le standard Suivant-Suivant-Terminer)

3. Personnalisez. L'aide en russe du programme explique comment le configurer, mais comme j'ai promis de le mâcher, je le mâcherai.

La diffusion télévisée était basée sur l'expérience du film classique, qui utilise 24 images par seconde, ce qui est le minimum pour une image non scintillante. Par conséquent, 25 images par seconde ont été choisies pour la diffusion télévisée avec l'idée d'utiliser une fréquence de 50 Hz. Cependant, une telle image a clignoté parce que les écrans de télévision étaient de courte durée et, d'autre part, l'œil percevait toujours une telle fréquence - même avec un film ordinaire, chaque plan est projeté deux fois, ce qui donne une fréquence d'images apparente de 48 images par seconde .

L'augmentation de la fréquence d'images du téléviseur augmentera considérablement les besoins en bande passante. La solution a été trouvée lors de la division de l'image en champs, lorsque seules les lignes paires étaient transférées dans un champ et uniquement les lignes impaires dans le second champ. Optiquement, une telle image montrait qu'elle était de 50 images par seconde, donc elle ne scintille pas, mais débit est encore conservé.

L'aide contient des exemples de paramètres pour plusieurs lecteurs vidéo. Essence générale consiste à forcer le lecteur à utiliser un codec tiers, avec lequel SVP fonctionne tout simplement. Le codec, ou plutôt le décodeur, celui-ci standard, vous l'avez probablement déjà installé, il s'appelle ffdShow.
Considérons la configuration du lecteur pour l'exemple du bundle lecteur multimédia classique:

Avec les écrans et l'imagerie numérique d'aujourd'hui, le scintillement de l'image n'est plus un problème, de sorte que l'image entrelacée n'a plus aucun mérite. Au contraire, cela entraîne de nombreuses complications, car une telle image est très difficile à traiter. Par exemple, il n'est pas possible de redimensionner une image pendant la lecture car l'image doit être interpolée entre des lignes adjacentes.

Le faisceau de balayage de la caméra fonctionne de la même manière que le faisceau de l'écran - il balaye la scène à travers le champ. Lorsqu'une telle image est lue sur un écran à vide normal et myope, les lignes sont entrelacées dans le rendu. Lorsqu'une paire de lignes est affichée, la luminosité de l'autre paire de lignes diminue. Une telle image s'opère alors de manière fluide et naturelle.

Ouvrez le player, allez dans les paramètres : c'est soit le menu Affichage>Paramètres, soit appuyez simplement sur le "o" latin

Dans les paramètres, accédez à la section des filtres intégrés et décochez toutes les cases de la section Décodeurs :

Ensuite, allez dans la section Filtres externes et cliquez sur Ajouter. Ajout du filtre vidéo brut ffdShow


Cependant, les écrans modernes n'ont plus le temps de s'afficher, ils s'affichent à tout moment. L'image ne suffira qu'à s'afficher 25 fois par seconde, ce qui est bien plus pratique pour le traitement d'image. Cependant, la conversion d'une image entrelacée en une image non déplacée est assez exigeante, et il n'y a pas de méthode à 100%, il y a toujours une perte de qualité d'image.

Si les lignes sont simplement combinées en une seule image, elles contiennent une image décalée dans le temps et des dents pointues apparaissent sur les bords des objets en mouvement. Si seulement la moitié des images est utilisée, l'image n'est pas irrégulière mais a la moitié de la résolution. Une qualité acceptable serait de doubler le nombre de prises de vue et de mettre à jour une fois et une seconde pour les rangées impaires. Cela signifie doubler les images par seconde et doubler la taille des données, et les dents sont toujours là, bien que moins visibles. L'autre méthode essaie de simuler un faisceau de rayons lorsqu'elle utilise l'image du champ précédent, mais avec une réduction de poids.

Après avoir ajouté un filtre, vous devez cliquer dessus, puis mettre un point sur l'inscription Préférer.

Pour regarder la vidéo en douceur, l'icône du programme SVP Manager doit être suspendue dans la barre de notification. Si le triangle est vert, alors tout va bien :

Regardez et appréciez !

Le plus utilisé est le désentrelacement "intelligent", qui tente de faire la distinction entre les parties mobiles et statiques d'une image. Si une partie de l'image est modifiée, elle n'utilise que les lignes d'un champ et aucune dent n'apparaît. La résolution de cette partie de l'image est réduite, mais elle est moins perceptible dans une image animée. Dans les parties statiques de l'image, il utilise la pleine résolution des deux champs. Cependant, cela ne fonctionne pas toujours bien, donc le résultat n'est pas toujours à 100%, cela signifie toujours une détérioration.

Par conséquent, cela dépend de la façon dont l'image est capturée. S'il s'agit d'un enregistrement TV, l'image est entrelacée, lisse sur un téléviseur ordinaire, mais le traitement numérique est irrégulier ou mauvais. Si elle est enregistrée avec un caméscope classique, l'image est enregistrée image par image sans entrelacement d'image - lorsque l'image est diffusée à la télévision, deux champs sont enregistrés à partir de la même fenêtre de film. Il y a une image entrelacée, mais la conversion en une image non entrelacée est facile, il suffit de fusionner les lignes paires et impaires en une seule image et l'image n'est pas irrégulière.

PS En cliquant avec le bouton droit sur l'icône, vous accédez à divers paramètres et profils de lecture vidéo. Ainsi, la vidéo fonctionne mieux pour moi si, en mode expert, dans les paramètres de profil de la ligne "Modification de la fréquence d'images", définissez "24-> 60 (2,5x)".

UPD2 :
Un excellent exemple de différentes fréquences d'images a été fourni par l'utilisateur Turbo.

Éditeur de jeux PC Alex Wiltshire a parlé avec des neuroscientifiques et des psychologues pour découvrir de combien d'images par seconde dans les jeux l'œil et le cerveau humains ont besoin. La réponse à la question n'était pas facile.

Les convertisseurs ont le choix : utiliser le désentrelacement avec simple fusion de lignes ou le désentrelacement intelligent pour la détection de mouvement. Cependant, les entreprises craignent qu'il s'agisse d'une perte de fluidité de l'image, et parfois les films sont tournés au double de la vitesse de 48 images par seconde. Si un tel film est dans une salle de cinéma, seule la moitié des images à 24 images par seconde est utilisée.

Il y a des tentatives de diviser le film en 48 images par seconde d'origine. La complication est qu'une telle image est trop forte en mouvement car elle utilise une vitesse d'obturation trop rapide. Dans tous les cas, il y a toujours une image des 48 images par seconde d'origine sur l'écran. Lorsqu'un objet se déplace, l'œil enregistre les phases individuelles du mouvement. Mais ces phases n'ont pas un intervalle de temps continu entre elles, elles changent de différentes manières. Les bords sont trop tranchants lors du déplacement. En conséquence, l'œil perçoit un tel mouvement comme non naturel et saccadé, plutôt que fluide.

De nombreux joueurs savent que non seulement le nombre d'images est important dans les jeux, mais aussi la stabilité de leur réception : par exemple, même 30 images peuvent être perçues beaucoup plus agréables que "traîner" dans la plage de 40 à 50.

Cela est dû au fait que les rabattements dans certaines scènes sont perçus comme ces "freins" très notoires (le cerveau s'attend à voir un certain mouvement avec la même douceur que le reste, mais l'ordinateur n'a pas le temps de traiter l'image à la bonne vitesse).

Mais quand le spectateur ne compare pas, il ne remarquera même pas différentes vitesses. Heureusement, les images entrelacées sont maintenant rejetées par les émissions de télévision. Scan scanne la scène dans temps différent. Le premier n'accepte que les lignes paires, tandis que les autres n'acceptent que les lignes impaires. Tissage : les objets en mouvement se fondent simplement avec les dents. Ce type de fusion est appelé désentrelacement décalé. Il convient dans les cas où la source d'origine n'était pas un entrelacement vidéo et où rejoindre les champs ne crée pas de mordant.

Ou - Annuler : Le plus simple est de supprimer l'un des champs. Seules les lignes paires ou les lignes impaires sont utilisées. L'image résultante a une résolution verticale et donc une qualité réduite. Un autre nom de méthode est un champ. Généralement, vous pouvez choisir le champ à utiliser.

Par conséquent, parfois, les développeurs qui n'ont pas prêté suffisamment d'attention à l'optimisation publient un jeu avec une limite de 30 images, même sur PC, ce qui provoque généralement une indignation notable parmi les joueurs. Et pour les jeux sur console sans multijoueur, 30 images sont généralement la norme.

Cependant, dans son étude, Wiltshire n'a abordé qu'une fréquence d'images stable et n'a pas abordé la question de la synchronisation verticale et d'autres paramètres informatiques qui affectent la perception de l'image.

Moyen : les deux champs sont utilisés et ils fusionneront. Ainsi, l'image contient plus d'informations sur l'image, mais la résolution verticale est toujours de moitié et les fantômes derrière les objets en mouvement sont visibles dans l'image. Ainsi, la première ligne est utilisée à partir de l'image composite sans modification.

La deuxième ligne est obtenue en fusionnant les lignes 1 et 2, la troisième ligne en fusionnant les lignes 2 et 3, et ainsi de suite. contrairement à la méthode Medium, la finesse de l'image est augmentée, mais il y a toujours un problème de fantômes derrière les objets en mouvement. Les deux champs sont convertis en images complètes et les suivent comme des images complètes. 50 ips à partir des 50 ips d'origine, au lieu de convertir en 25 ips comme dans les méthodes précédentes.

Les yeux et le cerveau travaillent en tandem

Le débat sur le nombre d'images par seconde que l'œil humain peut percevoir dure depuis longtemps, en grande partie parce qu'il n'y a pas de réponse sans équivoque à cette question.

Comme le note Wiltshire, une personne ne lit pas la réalité comme un ordinateur, et la perception visuelle est entièrement basée sur le travail conjoint des yeux et du cerveau. Par conséquent, par exemple, les gens voient le mouvement et la lumière différemment, et la vision périphérique s'adapte mieux à certains aspects de l'image qu'à la principale - et vice versa.

De plus, une image impaire décale la ligne, ce qui entraîne une augmentation partielle de la résolution verticale. Bob linéaire : amélioration de la méthode de Bob, au lieu de simplement supprimer des images, les images linéaires sont reportées, de sorte que les lignes manquantes sont interpolées à partir des lignes adjacentes. Cela augmente la finesse des bords et le problème de flou des bords et des lignes horizontales est légèrement amélioré. Le manque de mégadonnées demeure. Cette méthode est souvent appelée linéaire.

Ne copiez pas ou vous serez annulé dans le compte photo

L'image est une combinaison des méthodes précédentes. Cela fournit une résolution complète dans les parties statiques de l'image et les parties mobiles n'ont pas de dents. Avec les parties mobiles de l'image, la résolution n'est pas si perceptible et cela n'a pas d'importance, mais le fantôme n'a pas d'importance. À première vue, il est souvent difficile de savoir s'il s'agissait d'illustrations redessinées ou d'une copie complète. Une image rappelant la production cinématographique professionnelle est le rêve de tout réalisateur en herbe. Il est composé de nombreux facteurs.

Le temps pendant lequel une personne perçoit des informations visuelles est additionné de la vitesse de la lumière entrant dans l'œil, de la vitesse de transmission des informations reçues au cerveau et de la vitesse de son traitement.

Selon le professeur de psychologie Jordan DeLong, en traitant les signaux visuels, le cerveau se calibre constamment, calcule des moyennes à partir de milliers et de milliers de neurones, de sorte que l'ensemble du système est plus précis que ses composants individuels.

La première chose, et la plus importante, c'est qu'il y a généralement une dizaine voire des dizaines de personnes qui travaillent sur un film. Cependant, lorsque vous n'avez pas beaucoup de monde à votre disposition et peut-être le plus d'équipements, il y a des choses qui peuvent vous rapprocher du soi-disant. regarder un film. Probablement la chose la plus répétitive en matière de cinéma. Bien sûr, pas de la manière dont cela pourrait sembler au premier abord. Cependant, l'utilisation d'une faible profondeur de champ donnera cet effet Hollywood.

Nombre magique d'images. 24 ips soit en réalité 976 images en mode progressif. Moins d'entre eux donnent l'impression que l'image est "coincée". 24 fps est aussi un choix basé sur les finances. Le cinéma n'est pas bon marché et ne l'a jamais été. Par conséquent, vous deviez économiser sur les cellules. Ce montant est un compromis entre la liquidité et les bénéfices. Vous pouvez, même Peter Jackson a tourné Le Hobbit de cette façon. Tout le monde n'a pas aimé. Ce n'est pas étrange du tout, les gens sont tellement habitués au 24 ips depuis tant d'années.

Comme le note le chercheur Adrien Chopin, la vitesse de la lumière peut difficilement être modifiée, mais il est tout à fait possible d'accélérer la partie de la perception visuelle qui se déroule dans le cerveau.

Les jeux sont peut-être le seul moyen d'améliorer de manière significative les principaux indicateurs de votre vision : la sensibilité aux contrastes, l'attention et la capacité à suivre le mouvement de nombreux objets en même temps.

Adrien Chopin, chercheur sur les fonctions cognitives du cerveau

Comme le souligne Wiltshire, ce sont les joueurs les plus préoccupés par les fréquences d'images élevées qui sont capables de traiter les informations visuelles plus rapidement que n'importe qui d'autre.

Différences dans la perception du mouvement et de la lumière

Si l'ampoule fonctionne à 50 ou 60 Hz, la plupart des gens trouveront que la lumière est constante, mais il y a ceux qui remarquent un scintillement. Cet effet peut également être obtenu en tournant la tête tout en regardant les phares à LED de la voiture.

Dans le même temps, certains pilotes de chasse lors des tests pouvaient voir des images qui apparaissaient à l'écran pendant 1/250 de seconde.

Cependant, ces deux exemples ne disent pas comment l'œil humain perçoit les jeux où le paramètre principal est le mouvement.

Comme le note le professeur Thomas Busey, vitesses élevées(retard inférieur à 100 millisecondes) la loi dite de Bloch entre en jeu. L'œil humain n'est pas capable de faire la distinction entre un flash lumineux qui a duré une nanoseconde et un flash moins brillant qui a duré un dixième de seconde. Un appareil photo fonctionne sur un principe similaire, qui, à une vitesse d'obturation lente, peut laisser entrer plus de lumière.

Cependant, la loi de Bloch ne signifie pas que la limitation de la perception humaine s'arrête à 100 millisecondes. Dans certains cas, les gens peuvent voir des artefacts dans une image à 500 images par seconde (délai de 2 millisecondes).

Comme le note le professeur Jordan DeLong, la perception du mouvement dépend en grande partie de la position dans laquelle se trouve la personne. S'il reste assis et regarde l'objet, alors c'est une situation, et s'il va quelque part, alors c'est complètement différent.

Cela est dû aux différences entre la vision primaire et la vision périphérique, que les gens ont héritées de leurs ancêtres primitifs. Lorsqu'une personne regarde directement un objet, elle peut distinguer les moindres détails, mais sa vision ne s'adapte pas bien aux objets en mouvement rapide. vision périphérique, au contraire, souffre d'un manque de détails, mais agit beaucoup plus vite.

C'est à ce problème que les développeurs de casques de réalité virtuelle ont été confrontés. Si 60 ou même 30 Hz suffisent pour un moniteur qu'une personne regarde directement, alors pour que le spectateur se sente normal en VR, la fréquence d'images doit être augmentée à 90 Hz. C'est parce que le casque donne une image pour la vision périphérique.

Selon le professeur Busey, si l'utilisateur joue à un jeu de tir à la première personne, l'augmentation de la fréquence d'images lui permet, pour la plupart, de mieux percevoir le mouvement des gros objets que les petits détails.

Cela est dû au fait que pendant le jeu, le joueur ne se tient pas au même endroit, attendant les ennemis, mais se déplace dans l'espace virtuel avec la souris et le clavier, changeant également sa position par rapport aux adversaires qui peuvent apparaître dans différentes parties du moniteur.

Combien accrocher dans des cadres

Les opinions sur le nombre d'images par seconde dont une personne a besoin, les scientifiques différaient. Le professeur Busey pense que cela vaut la peine de passer par au moins 60 Hz pour le confort, mais il ne sait pas s'il y aura une différence entre 120 ips et 180 ips pour certaines personnes.

Le psychologue Delong estime qu'une fréquence d'images supérieure à 200 images sera perçue par tout spectateur comme vrai vie, cependant, il est convaincu qu'après 90 images, la différence devient minime pour la plupart des gens.

Le chercheur Adrien Chopin voit les choses différemment. Oui, plus il y a de cadres, mieux c'est, cependant cerveau humain cesse de recevoir de nouvelles informations utiles de l'image à une fréquence supérieure à 20 Hz. Selon le scientifique, pour réparer un petit objet, le cerveau en a encore moins besoin.

Lorsque vous souhaitez effectuer une recherche visuelle, suivre plusieurs objets ou déterminer la direction du mouvement, votre cerveau capture environ 13 images par seconde à partir du flux total. Pour ce faire, il calcule une certaine valeur moyenne à partir d'un certain nombre de trames adjacentes, constituant l'une d'entre elles.

Adrien Chopin, chercheur

Chopin est convaincu que pour la transmission de l'information cela n'a aucun sens de dépasser 24 images par seconde, admis au cinéma. Cependant, il comprend que les gens voient la différence entre 20 et 60 hertz.

Si vous voyez une différence, cela ne signifie pas que vous deviendrez un meilleur joueur. Après 24 Hz, rien ne changera de manière significative, bien que vous puissiez avoir le sentiment opposé.

Adrien Chopin, chercheur

Ce sur quoi les scientifiques s'accordent, c'est que haute fréquence cadres est plus esthétique que pratique, et ils ne croient pas que les jeux doivent être développés dans cette direction.

Chopin est convaincu que les développeurs devraient réfléchir davantage à l'augmentation de la résolution, et DeLonge aimerait que les créateurs de moniteurs et de téléviseurs réfléchissent à la manière d'obtenir un contraste maximal dans l'image.