A) Qualitätscheks in Erschließungsabläufen (Beispiel WirLernenOnline)
Bevor wertvolle Zeitressourcen von Redaktionen zum Einsatz kommen, um Lern- und Wissensinhalte zu erschließen und auffindbar zu machen, sollten maschinelle Checks unpassendes aussortieren oder zumindest mit einer Warnmeldung markieren.
Außerdem sollten Prüffunktionen die Prüfergebnisse als generierte Metadaten anbieten.
Qualitätprüfung bezieht sich auf 2 Bereiche:
1. Inhaltliche Qualität
Neutralität
(z.B. gegenüber politischen u.a. Richtungen)Sachrichtigkeit
(Faktencheck, Prüfung von Aussagen gegenüber aktuellen wissenschaftlichen Erkenntnisständen)didaktische Qualität
(z.B. angemessene didaktische Reduzierung für das Niveau der Lernzielgruppe oder erfolgversprechender pädagogischer Aufbau, prüfbar auf Basis von pädagogischen Pattern-Datenbanken)mediale Qualität
(z.B. angemessner Medienmix, zeitgemäße Medien und Gestaltung)
2. nicht-inhaltliche Qualität, Beispiele
Barrierefreiheit
auf Lerninhalte-Seite enthaltene Werbung
korrekte DSGVO / Datenschutz Angaben
unpassende Social-Media-Elemente
Abschaltzwang von Ad-Blockern
Trackingfunktionen für Datenerfassung
Pop-Ups und Modal-Dialoge
Paywalls
schädliche Dateien
In der Redaktionsumgebung von WirLernenOnline landen maschinell erschlossene oder von Nutzern vorgeschlagene Materialien auf einem sogenannten "Prüftisch" und können dort von den (Fach-)Redakteur*innen begutachtet werden. Dabei werden sie durch den Prüfprozess geleitet, bei dem die Metadaten entsprechend der definierten Qualitätskriterien abgeprüft werden und ggf. ergänzt werden können. Die erwähnten Services, die eine automatische Prüfung des Materials vornehmen werden hier genutzt und liefern Daten, um die Arbeit und Prüfung der Redaktion zu erleichtern.
B) Bestehende technische Lösung
B1) MetaLookUp - automatische Qualitätsprüf-Services
Im WirLernenOnline-Projektes sind nachfolgende Services entwickelt worden. Hier findet sich eine Liste der Metadaten für Qualitätseigenschaften, welche identifiziert und durch technische Untersuchungen abgleitet werden können:
Auf dieser Github-Seite des MetaLookUP-Projekts ist beschrieben, wie die Qualitätsprüfung funktioniert und welche Herausforderungen es dabei noch gibt.
Barrierefreiheit alias Accessibility
Dieses Merkmal gibt an, ob die Webseite barrierefrei nach Google Lighthouse ist. Dafür wird eine Punktezahl für mobile Endgeräte und Desktop-PCs berechnet. Deren Mittelwert wird benutzt, um eine Aussage über die Barrierefreiheit zu treffen. Ist der Mittelwert hoch genug, gilt Barrierefreiheit als true.
Cookies
Dieses Merkmal liest die Cookies ein, die von der Webseite benutzt werden. Wird eines dieser Cookies als unsicher dargestellt, so wird dieses Merkmal als false definiert. Idealerweise sollte eine Webseite so wenig Cookies wie möglich laden, bevor der Verwendung von Cookies (s. DSGVO) zugestimmt wird. Da diese Zustimmung nicht erfolgt, sollten keine oder wenige Cookies geladen werden.
Dateiextrahierbarkeit alias ExtractFromFiles
Dieses Merkmal untersucht die herunterladbaren Dateien einer Webseite darauf, ob diese als Volltext gelesen werden können. Unterstützte Dateiformate sind derzeit .docx und .pdf. Wenn mehr als die Hälfte aller Dateien extrahiert werden können, so gilt dieses Merkmal als true.
DSGVO alias GDPR
Dieses Merkmal untersucht die Übereinstimmung der Webseite mit den Anforderungen der DSGVO. Da dieses Merkmal eine juristische Behandlung nicht erfüllen kann, wird dieses Merkmal stets false anzeigen.
verschiedene Eigenschaften bzw. Fragestellungen der Webseite werden untersucht und hinterlegt
Verlinkt die Seite nur auf sichere HTTPS Webseiten?
Ist HTTP Strict Transport Security (HSTS) eingeschaltet? Falls ja: Sind sicherheitsrelevante Eigenschaften von HSTS optimal gesetzt?
Ist die referrer-policy optimal eingestellt?
Werden keine externen Fonts geladen und falls doch, welche?
Werden keine kompromittierende Eingaben gefordert und falls doch, welche?
Befindet sich ein Link auf das Impressum der Webseite. Dies sagt nichts darüber aus, ob das Impressum korrekt ist.
Javascript
Dieses Merkmal untersucht, ob und welche Javaskripte ausgeführt werden. Da Javascript potenziell gefährliche Inhalte laden und ausführen kann werden 0 Sterne zurückgegeben, sobald ein Javascript gefunden wurde welcher mittels src Attribut von einer anderen Quelle geladen wird.
Webseite einbettbar alias IFrameEmbeddable
Dieses Merkmal untersucht, ob die Webseite in einen IFrame auf einer externen Webseite einbettbar ist.
Gefährliche Dateierweiterungen alias MaliciousExtensions
Dieses Merkmal untersucht, ob und welche bekannten gefährlichen Dateiendungen in Dateien der Webseite vorkommen. Beispiele enthalten, u. a., .exe, .com und .dll. Dieses Merkmal ist noch recht grob und wird false sobald irgendeine Datei mit solch einer Endung gefunden wird.
Metabeschreibungsentdecker alias MetatagExplorer
Dieses Merkmal sammelt alle meta HTML Elemente der Webseite für zukünftige Auswertung nach Produktivlauf. Da es derzeit rein explorativ ist, wird dieses Merkmal stets unknown als isHappyCase zurückgeben.
Sicherheit alias Security
Dieses Merkmal untersucht verschiedene HTML-Header Eigenschaften, um Aussagen über optimal konfigurierte Sicherheitseinstellungen zu liefern. Sind alle Eigenschaften gesetzt, so gibt dieses Merkmal true zurück, d. h., es ist strikt. Es ist zu erwarten, dass nur die wenigsten Webseiten dieses Merkmal erfüllen.
Werbung alias Advertisement
Dieses Merkmal nutzt Adblock-Listen, um Werbung, ungewollte Frames, Bilder und Objekte zu erkennen. Diese Listen werden für Browser-Plugins zur Werbungsblockierung eingesetzt. Wird ein Werbeelement entdeckt, so wird dieses Merkmal auf false gesetzt.
Privatsphäre alias EasyPrivacy
Dieses Merkmal untersucht ob bspw. Tracker u. ä. auf der Webseite eingesetzt werden um die Privatsphäre des Nutzenden zu kompromittieren. Es nutzt dafür gepflegte open-source Online-Listen. Wird ein entsprechendes Element entdeckt, so wird dieses Merkmal auf false gesetzt.
FanboyAnnoyance
Dieses Merkmal versucht „nervige“ Elemente zu entdecken, bspw. Pop-Ups. Es nutzt dafür gepflegte open-source Online-Listen. Es reduziert signifikant die Ladezeiten. Der Name Fanboy ist der Alias eines Software-Ingenieurs: https://github.com/ryanbr .
Da die Einschätzung, ob ein Element als nervig gilt rein subjektiv ist, ermöglicht dieses Merkmal anhand eines großen Fundus an Informationen automatisiert solche Elemente zu erkennen. Es eliminiert aufwändiges Suchen durch Menschen und subjektive Entscheidungen.
Benachrichtigungen alias FanboyNotification
Dieses Merkmal untersucht, ob die Webseite Elemente beinhaltet, die versuchen Benachrichtigungen auf dem Endgerät zu erzeugen. Es nutzt dafür gepflegte open-source Online-Listen. Der Name Fanboy ist der Alias eines Software-Ingenieurs: https://github.com/ryanbr .
B2) Prototyp und Studie zur automatischen Prüfung von Inhalten auf Sachrichtigkeit
Dokumentation in Arbeit (siehe Abschnitt D - Aktuelle Projekte)
D) Aktuelle Projekte und Weiterentwicklungen
Im aktuellen F&E-Projekt zur Weiterentwicklung von WirLernenOnline / edu-sharing werden derzeit bis März 2025 die Weiterentwicklungen von Konzepten und Lösungsbausteinen dokumentiert.
Überarbeitung vorhandener MetaLookUp-Dienste - Auftragenehmer gesucht
MetaLookUp-Dienste sollen im aktuellen F&E-Projekt überarbeitet / aktualisiert werden. Dazu fand eine Analyse statt, die im nachfolgenden Expander dokumentiert ist. Dafür wird gerade ein Auftragnehmer gesucht.
Aufgaben:
Umsetzung der Empfehlungen aus der Analyse
Sichtung verfügbarer Dienste im Internet, die zusätzlich integrierbar sind
agiler Abstimmung mit den WLO-Redaktionen zu Prioritäten und nötigen Qualitätsanzeigen, um Bildungsinhalte kuratieren zu können.
Studie automatische Prüfung auf Sachrichtigkeit
Die Studie befasst sich mit der Herausforderung, die Sachrichtigkeit von durch Large Language Models (LLMs) generierten Texten zu validieren. Im Mittelpunkt steht ein innovativer Ansatz, der als "LLM as a Judge" bezeichnet wird. Zunächst wurden spezifische Anwendungsfälle für die Wissensbewertung identifiziert und präzise Kriterien für Sachrichtigkeit entwickelt. Nach einer umfassenden Analyse existierender Bewertungsbenchmarks und des aktuellen Forschungsstands entstand ein neuartiges Vorgehensmodell.
Der zentrale methodische Ansatz basiert auf einem multilateralen Bewertungsprozess, bei dem mehrere LLMs in einem iterativen Verfahren wechselseitig ihre generierten Ausgaben überprüfen. Ein Proof of Concept wurde entwickelt und getestet, wobei die KI-basierten Bewertungen mit menschlichen Einschätzungen verglichen wurden. Die Ergebnisse zeigen hohe Übereinstimmungsraten mit menschlichen Bewertungen und lassen sich durch fortschrittliche Prompting-Techniken noch weiter optimieren.
Der entwickelte Ansatz bietet bedeutende Vorteile: Er ermöglicht eine systematische Prüfung generierter Inhalte, erlaubt einen objektiven Vergleich verschiedener KI-Modelle und ist flexibel für unterschiedliche Anwendungsfälle skalierbar. Die Methode zeigt vielversprechende Ergebnisse für die Qualitätssicherung von KI-generierten Texten und eröffnet neue Perspektiven für den gezielten Einsatz von Large Language Models.