[Hintergrund] Forschungswissensgraphen, als strukturierte Repräsentationen wissenschaftlicher Domänen, stehen vor der Herausforderung, ihre Qualität angesichts ihrer wachsenden Größe zu erhalten. Unzureichende Wartung kann zu minderwertigen Anwendungen fuhren, weshalb die Kuratierung eine zentrale Rolle spielt. Im spezifischen Kontext des Open Research Knowledge Graph (ORKG) hat sich ein Team für Kuratierung und Gemeinschaftsbildung formiert. Der ORKG wird durch Crowdsourcing erweitert, wodurch die Qualität des Graphen stark von den Beiträgen der Nutzer:innen abhängt. Ein zentrales Problem besteht darin, dass die manuelle Kuratierung sehr zeit- und kostenintensiv ist, jedoch notwendig bleibt, da der semantische domänenspezifische Kontext am besten von Menschen erfasst werden kann. Mit dem fortschreitenden Wachstum des ORKG wird jedoch die Implementierung maschineller Unterstützung erwogen. Diese soll die menschliche Kuratierung erleichtern, ohne selbst direkte Änderungen am Wissensgraph vorzunehmen. [Ziel] Zur Unterstützung des Teams wurde ein Dashboard entwickelt, das gezielt auf deren Bedürfnisse zugeschnitten ist. In diesem Kontext werden ausgewählte User Stories in Form eines Minimum Viable Product (MVP) umgesetzt. Diese User Stories umfassen Metriken, die gemäß der Expertise des Teams Aufschluss über die Qualität des ORKGs geben. Der MVP soll bereits zum Abschluss dieser Arbeit einen signifikanten Mehrwert für das Team darstellen. Darüber hinaus soll das Dashboard Modularisierungsoptionen bieten, um die Qualität verschiedener Wissensgraphen zu überwachen und zu vergleichen. [Methode] Der Ansatz beruht auf einer engen Zusammenarbeit im Sinne der Aktionsforschung, wodurch das Team kontinuierlich Einfluss auf die Gestaltung nehmen kann. Dabei werden zwei Zyklen angesetzt, in denen der Prototyp iterativ entsprechend den Anforderungen des Teams weiterentwickelt wird. Ein Zyklus umfasst die Planung und Umsetzung der Erkenntnisse aus dem vorherigen Zyklus, eine Evaluierung sowie die Reflexion über gewonnene Einsichten. Die Evaluierung erfolgt in Form eines Pluralistic Walkthroughs, wobei das Feedback der zukünftigen Nutzer:innen von zentraler Bedeutung ist. Abschließend wird das Dashboard im Rahmen eines Experiments mit 15 Teilnehmenden, bestehend aus zukünftigen Nutzer:innen und Expert:innen im Kontext des ORKG, evaluiert. Hierbei werden sowohl objektive als auch subjektive Metriken zur Bedienbarkeit des Dashboards und zur Umsetzung der Bedürfnisse erhoben. [Ergebnisse] Die Ergebnisse zeigen, dass die Bedienbarkeit, im Form von Effizienz, Effektivität und Zufriedenheit, als positiv zu betrachten ist. Die Teilnehmenden waren in der Lage, vier von fünf Aufgaben in der vorgegebenen Zeit zu erledigen, mehr als die Hälfte der Aufgaben erfolgreich abzuschließen und gaben eine positive Nutzererfahrung an. Die Bedürfnisse wurden laut den Teilnehmenden in großen Teilen erfolgreich umgesetzt. [Schlussfolgerung] Dadurch entstand eine maßgeschneiderte Anwendung, die die Arbeit des Teams effektiv unterstützt. Diese spezialisierte Lösung stellt einen Kompromiss zwischen einem generischen und einem spezifischen Ansatz dar. Bei der Modularität offenbarte sich jedoch eine Grenze, da jeder Wissensgraph einzigartig ist und Qualität eine multidimensionale Metrik darstellt, sodass die Graphen nicht pauschal verglichen werden können.
[Context] Research knowledge graphs, as structured representations of scientific domains, face the challenge of maintaining their quality as they grow. Insufficient maintenance can lead to subpar applications, making curation a critical task. In the specific context of the Open Research Knowledge Graph (ORKG), a team dedicated to curation and community building has formed. The ORKG is expanded through crowdsourcing, making the quality of the graph heavily dependent on user contributions. A central problem is that manual curation is very time- and cost-intensive, but remains necessary because the semantic, domain-specific context is best understood by humans. However, with the continuous growth of the ORKG, the implementation of machine support is being considered. This support aims to ease human curation without making direct changes to the knowledge graph itself. [Objective] To support the team, a dashboard was developed specifically tailored to their needs. In this context, selected user stories are implemented as a Minimum Viable Product (MVP). These user stories encompass metrics that, according to the team’s expertise, provide insights into the quality of the ORKG. The MVP is intended to provide significant value to the team by the conclusion of this work. Additionally, the dashboard is designed to offer modularization options to monitor and compare the quality of various knowledge graphs. [Method] The approach is based on close collaboration in the spirit of action research, allowing the team to continuously influence the design. Two cycles are implemented, in which the prototype is iteratively refined according to the team’s requirements. Each cycle includes planning and implementing the lessons learned from the previous cycle, evaluation, and reflection on the insights gained. Evaluation is conducted in the form of a pluralistic walkthrough, where feedback from future users is crucial. Finally, the dashboard is evaluated through an experiment involving 15 participants, consisting of future users and experts in the context of the ORKG. Both objective and subjective metrics are collected to assess the usability of the dashboard and the extent to which the needs have been met. [Results] The results indicate that the usability, in terms of efficiency, effectiveness, and satisfaction, is considered positive. Participants were able to complete four out of five tasks within the allotted time, successfully complete more than half of the tasks, and reported a positive user experience. According to the participants, the needs were largely successfully implemented. [Conclusion] This resulted in a tailored application that effectively supports the team’s work. This specialized solution represents a trade-off between a generic and a specific approach. However, a limitation was revealed in terms of modularity, as each knowledge graph is unique and quality is a multidimensional metric, making it impossible to compare the graphs uniformly.
