Motivation und Überblick test
Um die Arbeit der Redaktionen und Fachredaktionen zu erleichtern, werden Services entwickelt und eingesetzt, die bei der Qualitätsprüfung der aggregierten Materialien helfen sollen. Ziel ist es, die Materialien schneller nutzbar zu machen und das Sucherlebnis für die Nutzer*innen zu verbessern, indem die Metadaten zu den Materialien hinzugefügt und verbessert werden. Einige dieser Qualitätstests können mit Hilfe verschiedener Tools automatisiert werden. Beispielsweise lässt sich leicht überprüfen, ob eingesammelte Materialien auf bekannten "Blocklisten" jugendgefährender Medien liegen, eine Seite Werbung enthält oder grundständige Accessibility-Kriterien erfüllt werden.
Wird bei der Qualitätsprüfung hingegen festgestellt, dass bestimmte Attribute gar nicht vorhanden sind, beispielsweise das Schulfach, müssen andere Services genutzt werden. Hierbei wurden bereits einige KI-Services entwickelt und in die Plattform eingebunden, die das Schließen solcher nicht-vorhandenen Attribute ermöglichen sollen. Besonders herausfordernd ist dabei der Umstand, dass solche Verfahren "angelernt" werden müssen, d.h. die Maschinen müssen anhand vorhandener Daten lernen können, um gute Zuordnungen vorschlagen zu können. Hierbei helfen die bereits von den Fachredaktionen einsortierten Materialien, die als Lerngrundlage dienen können. Die Konzepte, Ideen und Prototypen für eine maschinell gestützte Einordnung von Materialien zu Schulfächern sowie Lehr- und Kompetenzplänen findet sich in 4.5 KI - Interaktion zwischen Mensch und Maschine.
Im folgenden werden nun die Verfahren vorgestellt, die bei der automatischen Qualitätsprüfung eingesetzt werden.
| Info |
|---|
Services für automatische Qualitätsprüfung von Online-Lerninhalten helfen bei der automatisierten Erschließung von Internet-Lerninhalten und -angeboten. Geprüft werden können Aspekte von IT-Sicherheit, Jugendschutz, Barrierfreiheit, Datenschutz. Neuere Prototypen und Konzepte beschäftigen sich mit der automatischen Prüfung der Inhaltequalität. Das meint Sachrichtigkeit, Neutralität, didaktische und mediale Qualität. Prüfergebnisse sind Grundlagen für Metadatengenerierung zu Qualitätseigenschaften. Bisherige Prüfergebnisse werden in der Redaktionsumgebung von WirLernenOnline den Redaktionen als Hinweise für Qualitätsprobleme angezeigt. |
Inhalt dieser Seite
| Table of Contents |
|---|
<< Zurück zur Startseite / GesamtinhaltsverzeichnisInhalt dieser Seite
| Table of Contents |
|---|
Mitwirkende an dieser Seite:
| Contributors Summary |
|---|
A) Qualitätscheks in Erschließungsabläufen (Beispiel WirLernenOnline)
Bevor wertvolle Zeitressourcen von Redaktionen zum Einsatz kommen, um Lern- und Wissensinhalte zu erschließen und auffindbar zu machen, sollten maschinelle Checks unpassendes aussortieren oder zumindest mit einer Warnmeldung markieren.
Außerdem sollten Prüffunktionen die Prüfergebnisse als generierte Metadaten anbieten.
Qualitätprüfung bezieht sich auf 2 Bereiche:
1. Inhaltliche Qualität
Neutralität
(z.B. gegenüber politischen u.a. Richtungen)Sachrichtigkeit
(Faktencheck, Prüfung von Aussagen gegenüber aktuellen wissenschaftlichen Erkenntnisständen)didaktische Qualität
(z.B. angemessene didaktische Reduzierung für das Niveau der Lernzielgruppe oder erfolgversprechender pädagogischer Aufbau, prüfbar auf Basis von pädagogischen Pattern-Datenbanken)mediale Qualität
(z.B. angemessner Medienmix, zeitgemäße Medien und Gestaltung)
2. nicht-inhaltliche Qualität, beispielsweise:
Barrierefreiheit
auf Lerninhalte-Seite enthaltene Werbung
korrekte DSGVO / Datenschutz Angaben
unpassende Social-Media-Elemente
Abschaltzwang von Ad-Blockern
Trackingfunktionen für Datenerfassung
Pop-Ups und Modal-Dialoge
Paywalls
schädliche Dateien
In der Redaktionsumgebung von WirLernenOnline landen
maschinell erschlossene oder von Nutzern vorgeschlagene Materialien auf einem sogenannten "Prüftisch" und können dort von den (Fach-)Redakteur*innen begutachtet werden. Dabei werden sie durch den Prüfprozess geleitet, bei dem die Metadaten entsprechend der definierten Qualitätskriterien abgeprüft werden und ggf. ergänzt werden können. Die erwähnten Services, die eine automatische Prüfung des Materials vornehmen werden hier genutzt und liefern Daten, um die Arbeit und Prüfung der Redaktion zu erleichtern.
Screenshots:
Technische
B) Bestehende technische Lösung
Im
WirLernenOnline-Projektes sind
nachfolgende Services entwickelt worden
. Hier findet sich eine Liste der
Metadaten für Qualitätseigenschaften, welche identifiziert und durch technische Untersuchungen abgleitet werden können:
Auf dieser Github-Seite des MetaLookUP-Projekts ist beschrieben, wie die Qualitätsprüfung funktioniert und welche Herausforderungen es dabei noch gibt.
Barrierefreiheit alias Accessibility
Dieses Merkmal gibt an, ob die Webseite barrierefrei nach Google Lighthouse ist. Dafür wird eine Punktezahl für mobile Endgeräte und Desktop-PCs berechnet. Deren Mittelwert wird benutzt, um eine Aussage über die Barrierefreiheit zu treffen. Ist der Mittelwert hoch genug, gilt Barrierefreiheit als true.
Cookies
Dieses Merkmal liest die Cookies ein, die von der Webseite benutzt werden. Wird eines dieser Cookies als unsicher dargestellt, so wird dieses Merkmal als false definiert. Idealerweise sollte eine Webseite so wenig Cookies wie möglich laden, bevor der Verwendung von Cookies (s. DSGVO) zugestimmt wird. Da diese Zustimmung nicht erfolgt, sollten keine oder wenige Cookies geladen werden.
Dateiextrahierbarkeit alias ExtractFromFiles
Dieses Merkmal untersucht die herunterladbaren Dateien einer Webseite darauf, ob diese als Volltext gelesen werden können. Unterstützte Dateiformate sind derzeit .docx und .pdf. Wenn mehr als die Hälfte aller Dateien extrahiert werden können, so gilt dieses Merkmal als true.
DSGVO alias GDPR
Dieses Merkmal untersucht die Übereinstimmung der Webseite mit den Anforderungen der DSGVO. Da dieses Merkmal eine juristische Behandlung nicht erfüllen kann, wird dieses Merkmal stets false anzeigen.
verschiedene Eigenschaften bzw. Fragestellungen der Webseite werden untersucht und hinterlegt
Verlinkt die Seite nur auf sichere HTTPS Webseiten?
Ist HTTP Strict Transport Security (HSTS) eingeschaltet? Falls ja: Sind sicherheitsrelevante Eigenschaften von HSTS optimal gesetzt?
Ist die referrer-policy optimal eingestellt?
Werden keine externen Fonts geladen und falls doch, welche?
Werden keine kompromittierende Eingaben gefordert und falls doch, welche?
Befindet sich ein Link auf das Impressum der Webseite. Dies sagt nichts darüber aus, ob das Impressum korrekt ist.
Gefährliche Dateierweiterungen alias MaliciousExtensions
Dieses Merkmal untersucht, ob und welche bekannten gefährlichen Dateiendungen in Dateien der Webseite vorkommen. Beispiele enthalten, u. a., .exe, .com und .dll. Dieses Merkmal ist noch recht grob und wird false sobald irgendeine Datei mit solch einer Endung gefunden wird.
Metabeschreibungsentdecker alias MetatagExplorer
Dieses Merkmal sammelt alle meta HTML Elemente der Webseite für zukünftige Auswertung nach Produktivlauf. Da es derzeit rein explorativ ist, wird dieses Merkmal stets unknown als isHappyCase zurückgeben.
Sicherheit alias Security
Dieses Merkmal untersucht verschiedene HTML-Header Eigenschaften, um Aussagen über optimal konfigurierte Sicherheitseinstellungen zu liefern. Sind alle Eigenschaften gesetzt, so gibt dieses Merkmal true zurück, d. h., es ist strikt. Es ist zu erwarten, dass nur die wenigsten Webseiten dieses Merkmal erfüllen.
Werbung alias Advertisement
Dieses Merkmal nutzt Adblock-Listen, um Werbung, ungewollte Frames, Bilder und Objekte zu erkennen. Diese Listen werden für Browser-Plugins zur Werbungsblockierung eingesetzt. Wird ein Werbeelement entdeckt, so wird dieses Merkmal auf false gesetzt.
Privatsphäre alias EasyPrivacy
Dieses Merkmal untersucht ob bspw. Tracker u. ä. auf der Webseite eingesetzt werden um die Privatsphäre des Nutzenden zu kompromittieren. Es nutzt dafür gepflegte open-source Online-Listen. Wird ein entsprechendes Element entdeckt, so wird dieses Merkmal auf false gesetzt.
FanboyAnnoyance
Dieses Merkmal versucht „nervige“ Elemente zu entdecken, bspw. Pop-Ups. Es nutzt dafür gepflegte open-source Online-Listen. Es reduziert signifikant die Ladezeiten. Der Name Fanboy ist der Alias eines Software-Ingenieurs: https://github.com/ryanbr .
Da die Einschätzung, ob ein Element als nervig gilt rein subjektiv ist, ermöglicht dieses Merkmal anhand eines großen Fundus an Informationen automatisiert solche Elemente zu erkennen. Es eliminiert aufwändiges Suchen durch Menschen und subjektive Entscheidungen.
Benachrichtigungen alias FanboyNotification
Dieses Merkmal untersucht, ob die Webseite Elemente beinhaltet, die versuchen Benachrichtigungen auf dem Endgerät zu erzeugen. Es nutzt dafür gepflegte open-source Online-Listen. Der Name Fanboy ist der Alias eines Software-Ingenieurs: https://github.com/ryanbr .
Sprachekennung von Materialien
Einige Dokumente enthalten keine Metadaten über die verwendete Sprache. Deshalb wurde ein Service implementiert, der zu gegebenen Texten die im Text vorhandenen Sprachen identifiziert.
Z.B. liefert der Algorithmus für folgenden Text:
"Victor jagt zwölf Boxkämpfer quer über den großen Sylter Deich. The quick brown fox jumps over the lazy dog."
Die Werte:
en 0.5714256620210416 de 0.4285713688317989
Die Implementierung ist im GitHub zu finden unter:
https://github.com/yovisto/wlo-langdetect
Weitere wünschenswerte Funktionen
Zusätzlich zu den bereits genannten Attributen, könnte die automatisierte Erstellung folgender Eigenschaften die Zugänglichkeit zu Lehrinhalten erhöhen und die Barrierearmut verringern:
Audiotranskriptionen
Videotranskriptionen
Bildbeschreibung (Alt Texte)
Für die Erstellung dieser Daten gibt es momentan noch keine frei nutzbaren und eingebundenen Services.
Herausforderungen bei der Einbindung in das Redaktionssystem
Wie können wir die Einbindung in das Redaktionssystem verbessern?
Umbau der DB-Struktur, um sich mehr KI-Metadaten merken zu können / Performanz
Regelmäßige Abfrage der KI-Dienste mit den Datensätzen und Persistierung der Ergebnisse
Aktuelle Projekte und Weiterentwicklungen
Automatische Prüfung auf Sachrichtigkeit
Im aktuellen F&E-Projekt zur Weiterentwicklung von WirLernenOnline / edu-sharing werden