Verifikation von Empfehlungen zur Produktion und Nutzung von Vision Videos basierend auf subjektiven Videoqualitätsbewertungen

Abstract

Zur erfolgreichen Umsetzung eines Softwareprojekts ist es essenziell, auf Basis von proaktiver Kommunikation, ein gemeinsames Verständnis zwischen Stakeholdern und Entwicklern zu schaffen. Die Anforderungen des Kunden werden hierbei häufig in Form einer schriftlichen Dokumentation erfasst. Allerdings kann es vorkommen, dass bei der Kommunikation auf Basis schriftlicher Dokumentation Missverständnisse entstehen. Ein neuer Ansatz für die Entwicklung eines gemeinsamen Verständnisses sind Vision Videos. Darunter werden Videos verstanden, die Visionen oder Teile des zu entwickelnden Systems darstellen. Durch ihre konkrete Visualisierung des Inhalts bieten sie weniger Interpretationsraum und ermöglichen eine einfache Informationsübermittlung, da bei der Betrachtung von Videos keine Vorkenntnisse nötig sind. Jedoch sind Vision Videos bislang nicht etabliert im Requirements Engineering. Ein möglicher Grund ist das fehlende Wissen der Requirements Engineers bzgl. der Videoproduktion und darüber welche Eigenschaften ein Vision Video „gut“ machen.

In dieser Arbeit wird ein Experiment präsentiert, in dem die Umsetzung der Eigenschaften pleasure, focus und image quality in zwei Vision Videos untersucht werden. Dabei wird jeweils ein professionell und ein amateurhaft produziertes Video betrachtet. Es existieren bereits potentielle Empfehlungen für die Videoproduktion von Vision Videos, aber diese wurden lediglich aus einer Analyse bereits existierender Literatur zusammengestellt. Zum einen werden mithilfe der Untersuchung Rückschlüsse auf die Empfehlungen gezogen, um diese zu verifizieren. Die Verifikation basiert auf der Analyse von subjektiven Bewertungen der jeweiligen Eigenschaft, die kontinuierlich während der Wiedergabe der Videos gesammelt worden ist. Zum anderen wird analysiert, ob und inwieweit Unterschiede bei der Umsetzung dieser Eigenschaften zwischen den Videoarten bestehen. Weiterhin wird untersucht, inwiefern die drei untersuchten Eigenschaften Einfluss auf die Gesamtqualität der Videos haben. An dem Experiment haben insgesamt 16 Softwareentwickler und 15 Informatikstudenten teilgenommen. Die Probanden bewerteten die Umsetzung aller drei Eigenschaften eines Videos. Somit wurden insgesamt 93 Bewertungen erfasst.

In dem Experiment konnten signifikant positive Zusammenhänge zwischen den genannten Eigenschaften und der Gesamtqualität festgestellt werden. Genauer bedeutet dies, je besser die jeweilige Eigenschaft umgesetzt ist, desto besser ist die Gesamtqualität. Weiterhin wurde festgestellt, dass das professionelle Video eine signifikant besser image quality hat als das amateurhafte Video. Bei den anderen beiden Eigenschaften wurden keine Unterschiede bezüglich ihrer Umsetzung identifiziert. Auf Basis der detaillierten kontinuierlichen Bewertung der Eigenschaften konnten konkrete Videostellen ermittelt werden, die auffallend gute bzw. schlechte Umsetzungen der untersuchten Eigenschaften aus Sicht der Probanden repräsentieren. Die genauere Analyse dieser konkreten Videostellen führte zu der Verifikation von 22 der 52 untersuchten Empfehlungen.

For the successful implementation of a software project it is essential to create an equal understanding between stakeholders and developers on the basis of proactive communication. The requirements are often recorded in the form of written documentation. However, misunderstandings can occur during communication based on written documentation. A new approach are Vision Videos. These are videos that represent visions or parts of the system to be developed. Due to their concrete visualization of the content, they offer less room for interpretation and allow for an easy transfer of information, since no previous knowledge is necessary when watching videos. Nevertheless, vision videos are not yet established in requirements engineering. A possible reason is the lack of knowledge of requirements engineers regarding video production and which characteristics define a “good” vision video.

In this thesis an experiment is presented in which the implementation of the characteristics pleasure, focus and image quality in two vision videos is examined. One professional and one amateur video will be examined. There are already potential recommendations for the video production of vision videos, but these were only compiled from an analysis of existing literature. On the one hand, the investigation will help to draw conclusions about the recommendations in order to verify them. The verification is based on the analysis of subjective ratings of the respective property, which have been continuously collected during the playback of the videos. On the other hand, it is analyzed whether and to what extent there are differences in the implementation of these characteristics between the video types. Furthermore, it will be examined to what extent the three investigated characteristics have an influence on the overall quality of the videos. A total of 16 software developers and 15 computer science students participated in the experiment. The subjects evaluated the implementation of all three characteristics of a video. Thus a total of 93 evaluations were recorded.

The experiment showed significant positive correlations between the mentioned characteristics and the overall quality. This means more exactly, the better the respective characteristic is converted, the better is the total quality. Furthermore, a better image quality was found for the professional than for the amateur video. For the other two characteristics, no differences were identified with respect to their implementation. On the basis of the detailed continuous evaluation of the characteristics, concrete video locations could be determined that represent remarkably good or bad implementations of the examined characteristics from the viewpoint of the test persons. The more exact analysis of these concrete video places led to the verification of 22 of the 52 examined recommendations.