Difficulty in Video Games : An Experimental Validation of a Formal Definition

Abstract

This paper synthetically presents a reliable and generic way to evaluate the difficulty of video games, and an experiment testing its accuracy and concordance with subjective assessments of difficulty. We propose a way to split the gameplay into measurable items, and to take into accountthe player's apprenticeship to statistically evaluate the game's difficulty. We then present the experiment, based on a standard FPS gameplay. First, we verify that our constructive approach can be applied to this gameplay. Then, we test the accuracy of our method. Finally, we compare subjective assessments of the game's difficulty, both from the designers and the players, to the values predicted by our model. Results show that a very simple version of our model can predict the probability to the player has to lose with enough accuracy to be useful as a game design tool. However,the study points out that the subjective feeling of difficulty seems to be complex, and not only based on a short term estimate of the chances of success.Cet article présente un méthode générique d'évaluation de la difficulté des jeux vidéo, ainsi qu'une expérimentation évaluant sa précision et sa corrélation avec une évaluation subjective de la difficulté. Nous proposons une manière de découper un gameplay et sous éléments mesurables, et de prendre en compte l'apprentissage du joueur pour évaluer statistiquement la difficulté du jeu. Nous présentons une expérimentation basée sur un jeu de type FPS. Nous vérifions tout d'abord que notre approche constructive peut être appliquée à ce type de gamplay. Ensuite, nous évaluons la précision de notre méthode et la comparons à des évaluations subjectives de la difficulté, à la fois provenant des joueurs et des intentions de design. Nos résultats montrent qu'une version simplifiée de notre modèle peut prédire la probabilité d'échec du joueur avec suffisamment de précision pour être utile en tant qu'outil de game design. Egalement, notre étude pointe le fait que l'aspect subjectif de la difficulté est une question complexe, et pas uniquement basée sur sur estimation à court terme des chances de succès