Open source computer game application: An
La gestin
empirical analysis of quality concerns
Aplicacin de juegos de ordenador de cdigo
abierto: Un anlisis emprico de las preocupaciones
de calidad
Abstract
A computer game is one of the major sources of
entertainment. People nowadays spend a lot of time
while playing computer games. Open Source
Software (OSS), despite some reservations on the
quality, has been steadily increasing its popularity.
The uncontrolled change management foresees an
increase in the complexity of the methods and
classes in an application, which sometimes result in
poor quality. The number of OSS projects dealing
with computer game development are on the
increase, which lead to more research interests in
assessing the quality of OSS resulting products.
Some studies that deal with the evaluating the OSS
quality, concerns use users survey approach
focusing on the usability aspects. The empirical
investigations to evaluate the quality concerns of
the design, using internal code attributes, needs
attention of researchers. In this study, we aim to
investigate the quality concerns of the design
complexity of methods in OSS computer game
applications using internal code attributes. We use
three quality criteria, namely correctness, reliability
and maintainability from the set of six factors of ISO
9126 model. We collect data from 55 OSS computer
game applications and use various statistical
analysis techniques to examine the research
question of this study. We conclude that the
methods of the OSS computer game applications
demonstrate an acceptable level of quality in the
three criteria of correctness, reliability and
maintainability.
Un juego de ordenador es una de las principales
fuentes de entretenimiento. La gente hoy en da
pasan mucho tiempo jugando juegos de
computadora. El software de cdigo abierto (OSS), a
pesar de algunas reservas sobre la calidad, ha ido
incrementando su popularidad.
incontrolada del cambio prev un aumento de la
complejidad de los mtodos y clases en una
aplicacin, lo que a veces resulta en mala calidad. El
nmero de proyectos de OSS relacionados con el
desarrollo de juegos informticos est en aumento,
lo que lleva a ms intereses de investigacin en la
evaluacin de la calidad de los productos resultantes
de OSS. Algunos estudios que se ocupan de la
evaluacin de la calidad de OSS, las preocupaciones
utilizan el enfoque de encuesta de usuario
centrndose en los aspectos de usabilidad. Las
investigaciones empricas para evaluar las
preocupaciones de calidad del diseo, utilizando
atributos de cdigo interno, necesitan atencin de
los investigadores. En este estudio, nuestro objetivo
es investigar las preocupaciones de calidad de la
complejidad de diseo de los mtodos en
aplicaciones de juegos de computadora OSS
utilizando atributos de cdigo interno. Utilizamos
tres criterios de calidad, a saber, la correccin, la
fiabilidad y la facilidad de mantenimiento del
conjunto de seis factores del modelo ISO 9126.
Recopilamos datos de 55 aplicaciones de juegos de
computadora OSS y utilizamos varias tcnicas de
anlisis estadstico para examinar la cuestin de
investigacin de este estudio. Concluimos que los
mtodos de las aplicaciones de juegos de
computadora OSS demuestran un nivel de calidad
aceptable en los tres criterios de correccin,
confiabilidad y mantenibilidad.
Keywords
Computer game; Empirical study; Software quality;
Open source software; Maintainability; Reliability
Juego de ordenador; el estudio emprico; Calidad del
Software; el software de fuente abierta;
Mantenimiento; confiabilidad
1. Introduction
A computer game is a software application, which
primarily targets to entertain its users. The user of
the computer game application interacts with
graphical objects that simulate daily life/imaginary
characters that are integral part of a background
story to follow as the game progress. Although wide
spread use of computer game is for entertaining
purpose, in the recent past the use of computer
game for educational objectives is on the rise. Taylor
et al. [1] conclude that the computer games can
assist with purposeful human activity, as well as
being played purely for recreational purposes. A
computer game operates on various platforms, such
as personal computers, game consoles, tablets,
mobile phones, etc. Nowadays, computer game
development is a billion dollar industry. Many
companies and developers have significant
contributions in the field of computer game
development. Nayak [2] finds that game industry
earned three times more revenue than any other
software product in 2012. Schaefer and Warren [3]
discover that today the computer gaming industry
has become bigger than the music and film
industries. Ustunel et al. [4] observes that game has
a quantifiable outcome that can be either positive or
negative. Kanode and Haddad [5] determine that
during preproduction phase of game development
the game designers develop prototypes and test
them to evaluate the fun elements for the game. In
the game development lifecycle, the emphasis is to
evaluate the user experiences and using the
feedback to drive design iterations [6]. Practitioners
and researchers argue that computer game
development process have some differences in
comparison to the core traditional software
development process. Callele et al. [7] highlights the
necessities to extend the traditional techniques of
requirements engineering to support the creative
process of the electronic game development. Gold
[8] also demonstrates that computer games
development is different from other types of
software development. Similar to other computer
applications, the software design of a computer
game application is an important piece of artifact.
The internal design helps in managing the
complexity of the game application, and facilitates
in achieving better quality. Shorter life span is a
slightly different approach to understand the
difference between a computer game and any other
software development application. The computer
game is in use as long as it maintains the interests of
the user community. The underline truth is that
computer game application does not solve the
problem of the user as the traditional counterpart
do; it strives to entertain people. In the absence of
real functional requirements for any computer
game, the job of the software designer is more
demanding. The game development organizations
maintain their objective to create a piece of
software application that is more engaging and
provides fun. The pressure to shorten the
development time to capture major portion of the
market segments always dictates the vital design
decisions.
Un juego de computadora es una aplicacin de
software, cuyo objetivo principal es entretener a sus
usuarios. El usuario de la aplicacin de juego de
computadora interacta con objetos grficos que
simulan vida diaria / personajes imaginarios que son
parte integral de una historia de fondo a seguir
como el progreso del juego. Aunque el uso
extendido del juego de computadora es para el
propsito entretenido, en el pasado reciente el uso
del juego de computadora para los objetivos
educativos est en la subida. Taylor et al. [1]
concluyen que los juegos de computadora pueden
ayudar con la actividad humana con propsito, as
como ser jugado puramente para los propsitos
recreacionales. Un juego de computadora funciona
en varias plataformas, tales como ordenadores
personales, consolas de juegos, tabletas, telfonos
mviles, etc. Hoy en da, el desarrollo de juegos de
computadora es una industria de mil millones de
dlares. Muchas empresas y desarrolladores tienen
importantes contribuciones en el campo del
desarrollo de juegos de ordenador. Nayak [2]
encuentra que la industria del juego gan tres veces
ms rdito que cualquier otro producto de software
en 2012. Schaefer y Warren [3] descubren que hoy
la industria del juego de computadora se ha hecho
ms grande que las industrias de la msica y de la
pelcula. Ustunel et al. [4] observa que el juego tiene
un resultado cuantificable que puede ser positivo o
negativo. Kanode y Haddad [5] determinan que
durante la fase de preproduccin del desarrollo del
juego los diseadores de juegos desarrollan
prototipos y los prueban para evaluar los elementos
divertidos del juego. En el ciclo de vida del desarrollo
del juego, el nfasis es evaluar las experiencias del
usuario y utilizar la retroalimentacin para impulsar
iteraciones de diseo [6]. Los practicantes e
investigadores sostienen que el proceso de
desarrollo de juegos de computadora tiene algunas
diferencias en comparacin con el proceso de
desarrollo de software tradicional. Callele et al. [7]
destaca las necesidades para ampliar las tcnicas
tradicionales de ingeniera de requisitos para apoyar
el proceso creativo del desarrollo de juegos
electrnicos. Gold [8] tambin demuestra que el
desarrollo de juegos de computadora es diferente
de otros tipos de desarrollo de software. Similar a
otras aplicaciones informticas, el diseo de
software de una aplicacin de juego de ordenador
es una pieza importante de artefacto. El diseo
interno ayuda a manejar la complejidad de la
aplicacin del juego, y facilita en lograr una mejor
calidad. Una vida ms corta es un enfoque
ligeramente diferente para entender la diferencia
entre un juego de computadora y cualquier otra
aplicacin de desarrollo de software. El juego de
computadora est en uso siempre y cuando
mantenga los intereses de la comunidad de
usuarios. La verdad del subrayado es que la
aplicacin del juego de computadora no soluciona el
problema del usuario como la contraparte
tradicional; Se esfuerza por entretener a la gente. En
ausencia de requisitos funcionales reales para
cualquier juego de computadora, el trabajo del
diseador de software es ms exigente. Las
organizaciones de desarrollo de juegos mantener su
objetivo de crear una pieza de aplicacin de
software que es ms atractivo y ofrece diversin. La
presin para acortar el tiempo de desarrollo para
capturar la mayor parte de los segmentos de
mercado siempre dicta las decisiones vitales de
diseo.
The process of computer game development
envisages contributions from various fields of
knowledge, such as computer science, visual arts,
sociology, psychology, education, business, etc. The
composition of development team of computer
game accommodates people from these varying
fields of knowledge. This diversification
distinguishes it from a traditional software
development team. According to Crooks [9],
creating the computer games is very complicated
task that requires the involvement of specialized
and extremely skilled professionals from a wide
spectrum area of computer sciences. Petrillo et al.
[10] observe that successful game projects count on
highly specialized multidisciplinary teams, having
simultaneously software developers, designers,
musicians, scriptwriters and many other
professionals. Ampatzoglou and Chatzigeorgiou [11]
also reinforce that in games, the development group
consists of people with different fields of expertise.
Kanev and Sugiyama [12] find that teams consisting
of several specialists, work together to discover new
game ideas, characters design, modeling, evaluation
and testing of computer games. Prensky [13] divides
the fundamental components of a computer game
into many parts such as rules, goals and objectives,
outcomes and feedback,
conflict/competition/challenge/opposition,
interaction, and representation or story.
El proceso de desarrollo de juegos informticos
prev contribuciones de diversos campos del
conocimiento, tales como la informtica, las artes
visuales, la sociologa, la psicologa, la educacin, los
negocios, etc La composicin del equipo de
desarrollo de juegos de ordenador acomoda a
personas de estos diversos campos del
conocimiento. Esta diversificacin lo distingue de un
equipo de desarrollo de software tradicional. De
acuerdo con Crooks [9], la creacin de los juegos de
ordenador es una tarea muy complicada que
requiere la participacin de profesionales
especializados y extremadamente calificados de un
amplio espectro de las ciencias de la computacin.
Petrillo et al. [10] observan que los proyectos de
juego exitosos cuentan con equipos
multidisciplinarios altamente especializados, que conclude that following good software design and
tienen simultneamente desarrolladores de coding practices is essential to the success of the
software, diseadores, msicos, guionistas y game. Ampatzoglou and Stamelos [18] suggest that
muchos otros profesionales. Ampatzoglou y software engineering for computer games is a field
Chatzigeorgiou [11] tambin refuerzan que en los that embraces many techniques and methods from
juegos, el grupo de desarrollo se compone de conventional software engineering and adapts them
personas con diferentes campos de especializacin. to fit the specific requirements of game
Kanev y Sugiyama [12] encuentran que los equipos development. The essential characteristic of being a
que consisten en varios especialistas, trabajan creative process demands strong collaboration
juntos para descubrir nuevas ideas de juegos, diseo among the team members of the game
de personajes, modelado, evaluacin y pruebas de development project, which is a characteristic of the
juegos de computadora. Prensky [13] divide los OSS development environment.
componentes fundamentales de un juego de
El OSS ha ido ganando impulso desde que las
computadora en muchas partes tales como reglas,
grandes organizaciones como Google, IBM y Nokia
metas y objetivos, resultados y retroalimentacin,
se unieron al club. Se ha convertido en una fuente
conflicto / competencia / desafo / oposicin,
popular de demostrar las capacidades de
interaccin, y representacin o historia.
programacin en el tiempo, se ha convertido en una
avenida de socializacin de cdigo. A diferencia del
software tradicional, en el que el cdigo fuente no
The OSS has been gaining momentum since the
est disponible para el usuario final y el costo est
large organizations such as Google, IBM, and Nokia
asociado con el producto, el OSS est abierto y libre.
joined the club. It has become a popular source of
De acuerdo con Scacchi [14], el enfoque de software
demonstrating programming capabilities over time,
de cdigo abierto permite a las comunidades de
it has become a code socialization avenue. Unlike
participantes con ideas afines desarrollar sistemas
the traditional software, in which source code is not
de software y los participantes a menudo
available to the end user and cost is associated with
desempean diferentes funciones, como
the product, the OSS is open and free. According to
desarrollador principal, propietario de mdulo,
Scacchi [14], the open source software approach
contribuyente de cdigo, administrador de
lets communities of like-minded participants
repositorio de cdigo, revisor o usuario final . La
develop software systems and the participants often
calidad del producto OSS ha sido una preocupacin
play different roles, such as core developer, module
clave. Bahamdain [15] considera que la OSS de alta
owner, code contributor, code repository
calidad depende de tener una comunidad grande y
administrator, reviewer, or end user. The quality of
sostenible para desarrollar cdigos rpidamente,
the OSS product has been a key concern. Bahamdain
identificar los errores de manera eficiente, depurar
[15] finds that high-quality OSS depends on having a
el cdigo de manera efectiva y construir nuevas
large sustainable community to develop code
caractersticas. Algunos ejemplos de estos OSS de
rapidly, to identify bugs efficiently, to debug the
alta calidad son Linux, Apache Web Server, Mozilla
code effectively, and to build new features. Some
Firefox, etc. Segn Sowe et al. [16], las comunidades
examples of such high-quality OSS are Linux, Apache
de cdigo abierto estn creciendo en el desarrollo
Web Server, Mozilla Firefox, etc. According to Sowe
de juegos de computadora. Asundi et al. [17]
et al. [16], the open source communities are
encuentra que hay muy pocas dudas de que el
growing in computer game development. Asundi et
proceso de desarrollo de software libre, til y
al. [17] finds that there is very little doubt that the
complejo iniciado por el movimiento OSS ha
process of developing free, useful and complex
mejorado a los clientes. Schaefer y Warren [3]
software initiated by the OSS movement has made
concluyen que seguir buenas prcticas de diseo y
customers better off. Schaefer and Warren [3]
codificacin de software es esencial para el xito del
juego. Ampatzoglou y Stamelos [18] sugieren que la
ingeniera de software para juegos de computadora
es un campo que abarca muchas tcnicas y mtodos
de la ingeniera de software convencional y los
adapta para adaptarse a los requisitos especficos
del desarrollo de juegos. La caracterstica esencial
de ser un proceso creativo exige una fuerte
colaboracin entre los miembros del equipo del
proyecto de desarrollo de juegos, que es una
caracterstica del entorno de desarrollo de OSS.
Scacchi [14], surveying the Free and OSS
development practices in computer game
community observes that these projects do not
adhere to traditional software engineering life-cycle
principles from modern textbooks and rely on lean
electronic communication media, virtual project
management, and version management
mechanisms to coordinate globally dispersed
development efforts. Source code reuse is
considered more intense in OSS development as
compared to commercial/closed source software
[19]. Paschali et al. [20] empirically explore the
opportunity to reuse components from existing OSS
game projects and results of the study suggests that
specific game genres offer more reuse opportunities
than others, and that most components are related
to scenario and characters. Zyda [21] finds that
developers need an open source game engine that
includes a development toolset as widely available
and utilized as Linux and would make feasible
exploring many other directions, including the
modeling and simulation of computer characters,
story, and human emotion. Fritsch and Kada [22]
find that certain portions or sometimes even the
whole game engine is released as open source
software, these engines can be extended to build
more serious applications at very little costs.
According to Guo et al. [23], the game engines are
open-source and it is therefore possible for users to
extend the application of game technologies to
other fields. Guilfoyle [24], observes that the open-
source code of game technology allows end users to
create new functions independently with ease.
Scacchi[14], que estudia las prcticas de desarrollo
de Free y OSS en la comunidad de juegos de
computadora, observa que estos proyectos no se
adhieren a los principios del ciclo de vida de la
ingeniera de software tradicional de los libros de
texto modernos y se basan en los medios
electrnicos de comunicacin, Para coordinar
esfuerzos de desarrollo globalmente dispersos. La
reutilizacin del cdigo fuente se considera ms
intensa en el desarrollo de OSS en comparacin con
el software comercial / de cdigo cerrado [19].
Paschali et al. [20] explora empricamente la
oportunidad de reutilizar componentes de los
proyectos de juegos OSS existentes y los resultados
del estudio sugieren que los gneros especficos del
juego ofrecen ms oportunidades de reutilizacin
que otros y que la mayora de los componentes
estn relacionados con el escenario y los personajes.
Zyda [21] encuentra que los desarrolladores
necesitan un motor de juego de cdigo abierto que
incluya un conjunto de herramientas de desarrollo
tan ampliamente disponible y utilizado como Linux
y que hara factible explorar muchas otras
direcciones, incluyendo el modelado y simulacin de
personajes de computadora, historia y emociones
humanas. Fritsch y Kada [22] encuentran que ciertas
partes oa veces incluso el motor de todo el juego es
lanzado como software de cdigo abierto, estos
motores se pueden ampliar para construir
aplicaciones ms graves a muy pocos costos. Segn
Guo et al. [23], los motores de juego son de cdigo
abierto y por lo tanto es posible para los usuarios
ampliar la aplicacin de las tecnologas de juego a
otros campos. Guilfoyle [24], observa que el cdigo
de cdigo abierto de la tecnologa del juego permite
a los usuarios finales crear nuevas funciones de
forma independiente con facilidad.
One of the main issues with reporting empirical
structural analysis of the software code in the closed
software environment is non-availability of the
code. Most of such analysis is an in-house activity
and organizations are generally reluctant to share
the results. In case of OSS, the code is available to
analyze, which opens up a huge opportunity of
knowledge generation. Harrison [25] emphasizes
the need for empirical studies of open source by the
software engineering community. According to
Stamelos et al. [26], the core of open source
activities happens at the code level, therefore, it is
reasonable to focus at measuring and assessing the
resulting code. The OSS is gaining plenty of attention
from larger companies and has become a source of
major code repository. Rapid application
development requires reuse of the code. A
quantitative analysis of the quality of OSS modules
provides greater confidence in reuse of these
modules. There are studies that deal with evaluating
the quality of OSS software projects, mainly
targeting the well-known and large projects [27],
that include Linux, Apache, Mozilla Firefox, etc.,
whereas, most of the OSS projects are small [28].
This sets the initial motivation of this work to target
evaluating the quality assessment of relatively small
projects. The computer game development has a lot
of potential to gain benefits from OSS development
environment and code repositories. This sets the
motivation to a much narrower scope to gain
benefits in domain specific knowledge.
Uno de los principales problemas con la
presentacin de informes de anlisis estructural
emprico del cdigo de software en el entorno de
software cerrado es la no disponibilidad del cdigo.
La mayora de este tipo de anlisis es una actividad
interna y las organizaciones son generalmente
reacias a compartir los resultados. En el caso de OSS,
el cdigo est disponible para analizar, lo que abre
una gran oportunidad de generacin de
conocimiento. Harrison [25] enfatiza la necesidad de
estudios empricos de cdigo abierto por la
comunidad de ingeniera de software. Segn
Stamelos et al. [26], el ncleo de las actividades de
cdigo abierto ocurre en el nivel de cdigo, por lo
tanto, es razonable centrarse en la medicin y la
evaluacin del cdigo resultante. El OSS est
ganando mucha atencin de las compaas ms
grandes y se ha convertido en una fuente de
repositorio de cdigo principal. El desarrollo rpido
de aplicaciones requiere la reutilizacin del cdigo.
Un anlisis cuantitativo de la calidad de los mdulos
OSS proporciona una mayor confianza en la
reutilizacin de estos mdulos. Existen estudios que
tratan de evaluar la calidad de los proyectos de
software OSS, principalmente dirigidos a los
conocidos y grandes proyectos [27], que incluyen
Linux, Apache, Mozilla Firefox, etc., mientras que la
mayora de los proyectos OSS son pequeos [28]. ].
Esto establece la motivacin inicial de este trabajo
para evaluar la evaluacin de la calidad de proyectos
relativamente pequeos. El desarrollo de juegos de
computadora tiene mucho potencial para obtener
beneficios del entorno de desarrollo OSS y
repositorios de cdigo. Esto establece la motivacin
a un alcance mucho ms estrecho para obtener
beneficios en el dominio conocimiento especfico.
Software quality metrics are measures of the quality
of software based on number of factors that deals
with software size and complexity. ISO 9126 model
lists six of these factors as functionality, reliability,
usability, maintainability, portability and efficiency.
In order to keep this study within a limited scope, we
select three factors of correctness, reliability and
maintainability. The presented rationale to select
these three factors is to cover the important phases
of software development such as coding, testing and
maintenance and to narrow down the scope within
the coding perspectives. However, this work also
recognizes the importance of other three quality
factors of portability, usability and efficiency. These
three factors directly deal with the game design and
aesthetics, fundamental characteristics of computer
game application. In the future work, we would like
to cover these three quality factors of the ISO 9126
model. Correctness is one of the important quality
factors, which deals with the confidence in the
functionality that the product is offering. Reliability
points out lower probability of bugs in the software
product. Maintainability reflects the ability to make
changes in the code. Up to what extent we have the
confidence that the code of the OSS computer game
application is correct. Are the OSS computer games
easy to maintain? Can we say OSS computer games
are reliable? This study aims to explore the answers
to these questions. In order to explore these
answers, we study the internal design complexity of estudiamos la complejidad de diseo interno de los
OSS computer game projects. More precisely, in this proyectos de juegos de computadora OSS. Ms
study we empirically analyze the internal code concretamente, en este estudio se analizan
attributes such as number of operators, operands, empricamente los atributos internos del cdigo,
code difficulty level, likelihood of bugs, method como el nmero de operadores, los operandos, el
complexity, etc., of the OSS computer game nivel de dificultad de cdigo, la probabilidad de
applications and evaluate quantitatively the quality errores, la complejidad de mtodos, etc., de las
criteria of correctness, reliability and aplicaciones de juegos de ordenador OSS y se
maintainability. evalan cuantitativamente los criterios de calidad
de correccin, Fiabilidad y facilidad de
Las mtricas de calidad de software son medidas de
mantenimiento.
la calidad del software basadas en el nmero de
factores que se ocupan del tamao y la complejidad
del software. El modelo ISO 9126 enumera seis de
estos factores como funcionalidad, confiabilidad,
facilidad de uso, facilidad de mantenimiento,
portabilidad y eficiencia. Para mantener este
estudio dentro de un mbito limitado,
seleccionamos tres factores de correccin,
confiabilidad y facilidad de mantenimiento. La
justificacin presentada para seleccionar estos tres
factores es cubrir las fases importantes del
desarrollo de software tales como la codificacin, las
pruebas y el mantenimiento y reducir el alcance
dentro de las perspectivas de codificacin. Sin
embargo, este trabajo tambin reconoce la
importancia de otros tres factores de calidad de
portabilidad, usabilidad y eficiencia. Estos tres
factores se ocupan directamente del diseo del
juego y la esttica, las caractersticas fundamentales
de la aplicacin de juegos de ordenador. En el
trabajo futuro, nos gustara cubrir estos tres
factores de calidad del modelo ISO 9126. La
correccin es uno de los factores de calidad
importantes, que se ocupa de la confianza en la
funcionalidad que el producto est ofreciendo. La
fiabilidad indica una menor probabilidad de errores
en el producto de software. La sostenibilidad refleja
la capacidad de realizar cambios en el cdigo. Hasta
qu punto tenemos la confianza de que el cdigo de
la aplicacin de juegos de computadora OSS es
correcta. Son fciles de mantener los juegos de
computadora OSS? Podemos decir que los juegos
de computadora OSS son confiables? Este estudio
tiene como objetivo explorar las respuestas a estas
preguntas. Con el fin de explorar estas respuestas,