Motivation und Überblick

Wie bereits im vorangegangenen Kapitel dargestellt, ist es nicht bei allen Attributen möglich, ihre Werte zu berechnen. Ein Test auf Barrierefreiheit oder eine Spracherkennung eines Inhalts kann einfach und schnell durchgeführt werden. Die Zuordnung eines Lerninhalts zu einem Schulfach oder einem Lehrplan erfordert jedoch die Nutzung von Verfahren maschinellen Lernens, das auch als Künstliche Intelligenz (KI) bezeichnet wird. Für eine Bildungssuchmaschine ist die Zuordnung eines Lernobjektes zu einem Fach essentiell, jedoch liefern viele Quellen diese Metadaten nicht mit. Eine Analyse aus dem September 2020 zeigt beispielsweise, dass 58% der bezogenen Inhalte, keine Fachzuordnung aufwiesen:

Um diesem Problem zu begegnen wurden Konzepte und Prototypen entwickelt, die helfen sollten, das Fach zu schließen, wenn der Inhalt kein Schulfach aufwies.

Um die Fachredaktionen bei der Suche nach geeigneten Materialien für ihre Fachportale zu unterstützen, sollte außerdem ein weiterer Service entwickelt werden, der die Einordnung eines Objektes in den WirLernenOnline-Themenbaum unterstützt. Sowohl die Fächerlisten, als auch die Themenbäume (sowie weitere Vokabulare) werden bei WirLernenOnline als SKOS-Vokabulare entwickelt. SKOS, Simple Knowledge Organization System, ist ein W3C-Standard zur Modellierung kontrollierter Vokabulare und basiert auf dem ebenfalls vom W3C veröffentlichten RDF-Modell, ein Datenmodell zum Austausch von Daten über das Web.

In den folgenden Abschnitten wird nun geschildert, wie die genannten Herausforderungen bearbeitet wurden, wie die Maschinen von den Menschen lernen können und welche nötigen Arbeiten identifiziert wurden.

KI - Ist-Stand der Lösung

Nachfolgend werden die implementierten Lösungen bezüglich der Facheinordnung und der Einordnung in den WirLernenOnline-Themenbaum beschrieben. Die bisherigen Implementierungen basieren auf dem state-of-the-art der verwendeten Technologien. Dennoch sind weiterführende Arbeiten notwendig, um bessere Ergebnisse zu erzielen, neue Arten von Daten (z.B. neue Fächer, Lehrpläne) zu integrieren, auf Veränderungen im Bestand zu reagieren, und generell weitere Funktionen zur Unterstützung der Nutzer zu implementieren. Die folgende Themen sollen dabei bearbeitet werden.

Fachzuordnung

In WirLernenOnline können die Inhalte zu 62 Schul- bzw. schulbezogenen Fächern zugeordnet werden. Nur ca. 20 dieser Fächer können mit ausreichender Qualität erkannt werden. Leider sind einige “wichtige” (Haupt-) Fächer nicht unter den 20 genannten (z.B. Kunst, Politik, Ethik, u.a.). Ein wesentlicher Grund hierfür ist der Mangel an Trainingsmaterial. Deshalb wäre es wünschenswert den gegebenen Datenbestand hier “künstlich” zu erweitern. Ein Ansatz wäre z.B. die Lehrpläne zu den einzelnen Fächern auch als Trainingsmaterial heranzuziehen. Erste Experimente mit dem Lehrplan von Bayern haben in diesem Zusammenhang eine Verbesserung von ca. 1% F1-score erreicht. Es liegt also nahe, weitere Fachbezogenen Daten zu akquirieren und den Trainingsdatensatz damit zu ergänzen. Weitere Datenquellen für fachbezogenen Inhalte wären z.B. die Wikipedia, Fachbereichsliteratur, Inhalte von Fachportalen, Forschungsdaten, sonstige freie Onlinedatenbanken.

Ein weiterer vielversprechender Ansatz das Verfahren zu verbessern ist die Einbeziehung der Fach-Redaktion. Das Konzept sieht vor, dass Redakteure während der täglichen Arbeit mit den Inhalten, die Ergebnisse der Klassifikation bewerten. Auf diese Weise könnten weitere Trainingsdaten erzeugt werden, und  die Qualität bestehender Daten geprüft und sichergestellt werden (Reinforcement-Learning).

Um fehlende Metadaten zur Zuordnung der Platform-Inhalte zu den Fächern zu ergänzen wurde ein Verfahren zur Klassifikation der Inhalte entwickelt. Hierbei wurde versucht, die Inhalte einem oder mehreren der folgenden 62 Fächern zuzuordnen:

Agrarwirtschaft, Allgemein, Alt-Griechisch, Arbeitssicherheit, Astronomie, Bautechnik, Berufliche_Bildung, Biologie, Chemie, Darstellendes_Spiel, Deutsch, Deutsch_als_Zweitsprache, Eletrotechnik, Englisch, Ernährung_und_Hauswirtschaft, Esperanto, Ethik, Farbtechnik_und_Raumgestaltung, Französisch, Geografie, Geschichte, Gesellschaftskunde, Gesundheit, Hauswirtschaft, Holztechnik, Informatik, Interkulturelle_Bildung, Italienisch, Kunst, Körperpflege, Latein, MINT, Mathematik, Medienbildung, Mediendidaktik, Metalltechnik, Musik, Nachhaltigkeit, Niederdeutsch, Philosophie, Physik, Politik, Psychologie, Pädagogik, Religion, Russisch, Sachunterricht, Sexualerziehung, Sonderpädagogik, Sorbisch, Sozialpädagogik, Spanisch, Sport, Textiltechnik_und_Bekleidung, Türkisch, Umweltgefährdung,_Umweltschutz, Verkehrserziehung, Weiterbildung, Werken, Wirtschaft_und_Verwaltung, Wirtschaftskunde, Zahlen,_Algebra

Die Klassifikation basiert auf der Implementierung eines Künstlichen Neuronalen Netzes (KNN), das die Texte der Inhalte den einzelnen Fächern zuordnet.
Dieses maschinelle Lernverfahren besteht aus zwei Phasen: 

1. Training des Modells (Learning)
2. Anwenden des Modells (Prediction)

Das Training erfolgt anhand von Beispieldokumenten (Trainingskorpus), für die eine Fachzuordnung bereits bekannt ist. Hierzu wurden aus dem Bestand ca. 120-tausend Dokumente verwendet. Folgende Abbildung zeigt die Verteilung der Dokumente auf die einzelnen Fächer.

Unterrepräsentierte Fächer, also Fächer mit nur sehr wenigen Dokumenten, sind nicht für das Training geeignet. Deshalb wurden sie in einer Sammelkategorie (garbage-Klasse) zusammengefasst. Einige Fächer weisen untereinander sehr hohe Ähnlichkeit auf (z.B. Wirtschaft und Verwaltung/Wirtschaftskunde, Zahlen&Algebra/Mathematik, u.a.). Eine Differenzierung ist nur schwer möglicht, deshalb wurden diese Fächer zusammengefasst (vgl. Code). Einige Fächer habe generell sehr schlechte Ergebnisse geliefert und wurden ebenfalls der Sammelklasse hinzugefügt (z.B. Ethik, Politik, Astronomie, Kunst).

Folgende Abbildung zeigt die letztendlich für das Training verwendeten Fächer:

Das Verfahren selbst basiert auf folgendem Ablauf (vereinfacht dargestellt):
Über ein Word-Embedding Ansatz (Word2Vec) werden die Begriffe der Texte in einem Vektorraum abgebildet. Die Besonderheit hierbei ist, das eine Ähnlichkeit zwischen einzelnen Begriffen anhand einer Distanz (Cosinusdistanz) berechnet werden kann. Ähnliche Begriffe (z. B. Synonyme, oder verwandte Bezeichnungen) haben demnach eine geringe Distanz.
Mit dem daraus resultierenden Datensatz ist es möglich über ein Rekurrentes Neuronales Netz (RNN) mit Long Short-Term Memory (LSTM) eine Klassifikation vorzunehmen. Das gesamte Verfahren besteht aus folgenden Schichten:

1. Embedding Layer: Embedding Matrix als Gewichtsmatrix im Embedding Layer eines RNN, für jedes Wort in Trainingskorpus existiert ein Embedding.
2. LSTM Layer: Neuronales Netz mit “Gedächtnis” - lernt nicht nur auf Basis eines aktuellen Wortes sondern auch auf Basis der vorherigen Wörter in einem Text.
3. Klassifikationslayer: Anzahl an Outputs = Anzahl der Fächer

Die genaue Implementierung und der Service ist im GitHub-Repository zu finden unter:
https://github.com/yovisto/wlo-classification

Ein Teil der für das Training geeigneten Dokumente (ca. 20%) wird nicht für das Training sondern für die anschließende Evaluation des Verfahrens verwendet.
Die folgende Abbildung zeigt die Ergebnisse der Evaluation:

Die erste Spalte listet die Fächer auf, in Klammern steht die Anzahl der Dokumente des Fachs, die an der Evaluation teilgenommen haben. Die linke Spalte der Grafik zeigt die Treffergenauigkeit (Precision), die mittlere Spalte die Trefferquote (Recall) und die rechte Spalte die Kombination aus beiden Werten (F1-score, Harmonisches Mittel). Je größer die Werte, desto besser. Es ist festzustellen, dass in den meisten Fällen die F1-Werte deutlich über 80% liegen, bei 9 Fächern auch über 90%.
Eine konkrete Beurteilung der Qualität dieses Ergebnisses kann nicht wirklich erfolgen, da es an Vergleichsverfahren mangelt. Das Ergebnis ist deshalb als “Baseline” zu verstehen.
Zudem basiert dieses Ergebnis darauf, dass zur Evaluation nur Fächer verwendet wurden, für die es genau eine Fachzuordnung gab. Bei Fächern für die mehrere Fachzuordnungen vorhanden sind, muss die Evaluation differenzierter erfolgen.

WLO-Themenbaum (Topic Assistant)

Im Zuge der Entwicklung des Portals und zur Organisation der Inhalte wurde durch die Redaktion Themenbäume erstellt. Ziel ist es sowohl die Inhalte des Portals als auch die Lehrplaninhalte mit diesem Themenbaum zu verknüpfen. Somit wäre es möglich, einen Abgleich der Portal-Inhalte mit den Lehrplänen durchzuführen.

Ein Ausschnitt des Themenbaums ist in folgender Abbildung dargestellt:

Die Daten sind als RDF verfügbar unter folgendem URL:
https://github.com/openeduhub/oeh-metadata-vocabs/blob/master/oehTopics.ttl

Jeder Knoten des Themenbaums enthält einen Bezeichner (Label), eine Beschreibung und verschiedene Schlüsselwörter. Die RDF Darstellung des Knotens zum Thema “Wüsten und wie sie entstehen” lautet z. B. wie folgt:

<011277e2-cab4-4433-9e24-08c3fee55ad2> a skos:Concept ;
    skos:broader <c5e37ac5-6a50-4f08-a9fa-61412ba7f474> ;
    skos:definition "Wüsten sind die vegetationslosen oder vegetationsarmen Gebiete unserer Erde. Der Grund für die Wüstenbildung liegt in fehlender Wärme, Überweidung oder Wassermangel. Alle Materialien rund um Wüsten, die spezifischen Wüstenformen sowie den Umgang des Menschen damit findest du in diesem Bereich. "@de ;
    skos:inScheme <http://w3id.org/openeduhub/vocabs/oeh-topics/5e40e372-735c-4b17-bbf7-e827a5702b57> ;
    skos:prefLabel "Wüsten und wie sie entstehen"@de ;
    skos:relatedMatch <http://w3id.org/openeduhub/vocabs/discipline/220> ;
    sdo:keywords "Felswüste"@de,
        "Sahel-Syndrom"@de,
        "Sandwüste"@de,
        "Steinwüste"@de,
        "Wüste"@de,
        "Wüstenbildung"@de .

Ca. 2.700 Themen werden im Themenbaum beschrieben. Da es für die Redakteure sehr aufwendig ist, manuell für jedes Dokument des Datenbestands die richtigen Themen aus den 2.700 auszuwählen, wurde eine System implementiert, das hierzu eine automatisierte Vorentscheidung anbietet. Den Nutzern werden dabei relevante Knoten vorgeschlagen und sie haben die Möglichkeit die Auswahl manuell anzupassen.

Der Vorschlagsmechanismus basiert auf dem Abgleich der Schlüsselwörter und Beschreibungen der jeweiligen Knoten mit den Inhalten der Dokumente. Folgende Abbildung zeigt ein Beispiel für einen gegebenen Text:

Die Konkrete Implementierung des Vorschlagsalgorithmus und des Service ist im GitHub-Repository zu finden unter:
https://github.com/yovisto/wlo-topic-assistant

Der hierbei bereitgestellte Service wurde in die Redaktionsumgebung integriert.

Lehrpläne

Die Zuordnung von Plattforminhalten zu Lehrplänen stellt eine große Herausforderung dar und unterliegt einem erheblichen Forschungsaufwand. Zwar lassen sich die Plattform-Inhalte mit der oben beschriebenen semi-automatischen Zuordnung recht zuverlässig in den Themenbaum einordnen, allerdings trifft dies nicht auf die Lehrpläne zu.

Folgende Herausforderungen stellen sich bei der automatisierten Erschließung von Lehrplänen:

• Die Struktur der Lehrpläne ist nicht einheitlich.
• Themen teilen sich auf und wiederholen sich bzgl. Schulform und Schulklasse, also auf unterschiedlichen Niveaus.
• Lehrpläne unterscheiden sich von Bundesland zu Bundesland und von Jahr zu Jahr, unterliegen also ständiger Veränderung.
• Die Formulierungen (Vokabular) im Lehrplan entsprechen häufig nicht den Formulierungen in den Inhalten der Plattform. Im Lehrplan werden Ziele, Kompetenzen und Fähigkeiten dargestellt. Diese Informationen sind den Lerninhalten nur schwer automatisiert zu entnehmen.
• In Lehrplänen wird häufig eine eher abstrakte oder umschreibende Sprache verwendet.
• Es fehlt oft an konkreten Beispiel-Lernmaterialien (ebendiese sollen ja zugeordnet werden)

Mit dem Ziel die Plattforminhalte den Lehrplänen zuzuordnen müssen also verschiedene Methodiken in Betracht gezogen werden. Hierzu zählen:

• Einheitliche, maschinenlesbare Strukturierung der Lehrpläne.
• Die Funktionalität einzelner Abschnitte erfassen bzw. beschreiben (z.B. geht es um eine Kompetenz oder um konkretes Wissen, das erlangt werden soll?)
• Erstellen eines Lehrplan-Vokabular (Thesaurus)
• Mapping des Vokabulars zum Themenbaum und so zu den Plattform-Inhalten
• Ähnlichkeitsbasiertes Mapping von Lehrplanabschnitten zu Plattform-Inhalten

Diese Ansätze können implementiert werden mittels:

• Manuelle Verfahren (oder Semi-automatische Verfahren)
• KI-basierte Ansätze, z.B. Keyword-Extraction, Embeddings, Vektorräume für z.B. Similarity Matching, Hashingverfahren, u.a.
• Explizite Semantik (z.B. Entity Extraction und Linking)

KI - Weitere Einsatzmöglichkeiten

Recommender

Ein Recommendersystem beantwortet folgende Frage: Wie kann Nutzer*innen basierend auf Daten, die sie teilen wollen, der passende Inhalt vorgeschlagen werden?

Mit Hilfe eines Empfehlungssystems könnten die Nutzer bei der Recherche und Organisation der Inhalte unterstützt werden. Hierbei ist zunächst zu prüfen, was die Nutzer als Empfehlung erwartet. Gibt es zu einem gegebenen Inhalt alternative, ergänzende, komplementäre, oder vertiefende Inhalte? Aus diesen Dimensionen ergibt sich die Art der Technologie die hierfür herangezogen werden kann. 
Hierzu zählen z.B:

• Content Based Recommender
  • Finde Dokumente die am besten zum gegebenen Text passen
  • Similarity Search, Topic Clustering, etc.
  • Nachteil: Ergebnisse basieren meist auf inhaltlicher Ähnlichkeit, das ist nicht immer ein gutes Ergebnis, denn oft wird  nichts 'ähnliches' benötigen, sondern etwas ‘ergänzendes’ gesucht. (Complementary Information)
• Collaborative Filtering
  • Finde Dokumente, die zu einem gegebenen Dokument passen anhand dessen vergangener Nutzung durchnandere Nutzer
  • Vorteile: Empfehlungen sind eher ‘complementary’
  • Nachteile: Kaltstartproblem (insb. auch bei neuen Inhalten)
• Hybride Ansätze

Nötige Arbeiten

Bisherige Arbeiten konzentrierten sich darauf, die Metadaten mittels Künstlicher Intelligenz und anderen maschinellen Methoden zu verbessern. Mit dem Auftragnehmer Yovisto wurden klassische nicht-KI-basierte Ansätze zur Generierung von Metadaten gegen KI-basierte Verfahren verglichen. Klassische NLP Ansätze wie Vektorraum-basierte Modelle, Support Vector Maschinen oder Latent Semantic Indexing erreichten in den Benchmarks eine Genauigkeit von höchstens 80% bei der Zuordnung von Inhalten zu Lehrplanthemen / Fachgebieten. KI-basierte Ansätze zur Fach-Prediction via Word- und Document-Embeddings und LSTM KNNs erreichten bei der gleichen Aufgabe eine Genauigkeit von bis zu 90% und werden daher für Vorschläge von fachlichen Lehrplanthemen genutzt.

Während Mundo bisher mit guten Ergebnissen auf die Analyse der Lehrpläne fokussiert hat, fokussierte WLO darauf, die Bildungsinhalte durch die KI-Verfahren zu erschließen. In weiteren Treffen mit Mundo können durch Zusammenführen der Ergebnisse beider Projekte Synergien nutzbar gemacht werden. Hierfür eigenen sich insbesondere Linked Data-basierte Verfahren, die es erlauben die Daten interoperabel als Knowledge-Graph zu strukturieren und weiter verwertbar machen. Aufbauend auf den bisherigen Vorarbeiten sollen in WLO-3 auch weitere Ansätze für KI-basierte Metadatengenerierung erschlossen werden. Außerdem sollen Suchergebnisse weiter  optimiert werden, indem auch hier der Einsatz von Linked Data Ansätzen betrachtet wird, wie auch der computer-gestützten semantischen Textanalyse, semantischer Suche, Informationspriorisierung und -visualisierung. Hier wurden Vorarbeiten bisher gesichtet und Partner wie Yovisto ausgewählt, die einschlägige Vorarbeiten geleistet haben [Waitel18]