Ziel der Testreihe in die Generierung von Vorschaubildern für Bildungsinhalte, bei denen bisher keine oder unzureichende Vorschaubilder existieren.

Auswahl der Inhalte

Die Inhalte sollten Beschreibungstexte/Titel haben, um gute Voraussetzungen für die Promptgenerierung zu schaffen. Es sollten verschiedene Fachbereiche und Themen abgedeckt werden:

[1] Unterrichtsreihe zum Licht

Open

Beschreibungstext: Diese Seite kann als Einstieg in eine Unterrichtsreihe zur Optik genutzt werden.

[2] Salzsee

Open

Beschreibungstext: Was ist eigentlich ein Salzsee? Und weshalb geht man dort nicht unter? Diese Fragen werden vom Klexikon altersgerecht erklärt.

[3] Einführung in negative Zahlen

Beschreibungstext: In diesem Lernpfad lernst du negative Zahlen kennen. Nachdem du den Lernpfad bearbeitet hast, kannst du...

[4] Kostümbildner/in - Berufe am Theater

Beschreibungstext: Konstümbildner/in am Theater: Berufsbild, Voraussetzungen, Ausbildung und Adressen

[5] Bewegungstherapie für Erwachsene mit nicht-spezifischen Kreuzschmerzen

Beschreibungstext: nicht vorhanden → Nutzung des Titels: Bewegungstherapie für Erwachsene mit nicht-spezifischen Kreuzschmerzen

Fragestellungen

• Evaluierung verschiedener Umsetzungsoptionen (Open Graph Images, KI-generierte Bilder)

• Evaluierung des Gestaltung des Prompts

• Evaluierung der Qualität/Anforderungen der KI-Bildgeneratoren

Vorgehensweise

• Testreihe 1

  • Erstellung von Open Graph Images mittels experimentellen Tool

• Testreihe 2

  • Prompterzeugung für die Bild-KI mittels Text-KI (Open AI gpt-4o)

  • Nutzung der generierten Prompts mit verschiedenen Bildmodellen

    • OpenAI Dall-E 3

    • Stable Diffusion XL (Schnell in Fooocus)

    • Flux [schnell]

  • Testreihe 3

    • Demonstriert mit Inhalt 1 und Open Dall-E 3 die Wirkung von Styles

• Maschinelle Bewertung mittels geeigneten Metriken für Bildqualität und Promptwirkung mit dem entwickelten Tool

• Qualitative menschliche Bewertung basierend auf folgenden Leitfaden:

Durchführung

Testreihe 1 - Open Graph Images

[1] Unterrichtsreihe zum Licht

Menschliche Bewertung 1:

Beide Grafiken haben mit dem Lerngegenstand zu tun, wobei Grafik 1 nicht ansprechend ist. Grafik 2 motiviert und lädt zum Lernen ein. Das Bild ist nicht überladen, enthält außer der generierten Schrift keine Buchstaben und zeigt nur Gesichter von Fantasie-Figuren. Eine direkte Nutzung ist nur möglich, wenn ein Mensch ein Auswahl trifft. Eventuell kann das gegenchecken mittels NLP-Metrik die Auswahl unterstützen.

[2] Unterrichtsreihe zum Licht

Menschliche Bewertung 1:

Bild 1 bildet den Lerngegenstand ab, während Bild 2 keinen direkten Bezug zum Thema zu haben scheint. Die Qualität der Grafiken ist beiden Fällen nicht sehr hoch, wobei Grafik 1 zum Lernen geeignet ist. Es werden keine extra Schrift oder Gesicherter gezeigt.

[3] Einführung in negative Zahlen

Menschliche Bewertung 1:

Beide Grafiken haben nicht mit dem Lerngegenstand zu tun. Grafik 1 ist von der Qualität her besonders ungünstig und könnte problematische Inhalte haben. Eventuell lassen sich durch zusätzliche Bild-API weitere und damit geeignete Vorschläge generieren.

[4] Kostümbildner/in - Berufe am Theater

Menschliche Bewertung 1:

Bild 1 scheint inhaltlich geeignet zu sein. Bei Bild 2 erschließt sich der Themenbezug nicht. Die Bildqualität von 1 Bild 1 ist gut, während Bild 2 leichtes Rauschen hat. Beide Bilder zeigen keine zusätzliche Schrift. Gesichter sind in Bild 1 enthalten aber nicht kritisch.

[5] Bewegungstherapie für Erwachsene mit nicht-spezifischen Kreuzschmerzen

Konnte nicht erhoben werden. Schlagwörter wurden definiert, es traten aber technische Probleme auf.

Testreihe 2 - KI generierte Bilder

Prompt-Erstellung (Style 1)

Der Text-Prompt für die Erzeugung der Bild-Prompts wurde nach einer Diskussionen im Team erweitert und um Anweisungen zur Vermeidung der Darstellung von Text und Gesichtern angepasst:

Für Dall-E 3 und Flux [schnell] wurden nur die Prompts genutzt. Bei SDXL schnell mit Fooocus wurde zusätzlich der Standard-Negativ-Prompt genutzt:

[1] Unterrichtsreihe zum Licht

Output von OpenAI Dall-E 3:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Flux [schnell]:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Stable Diffusion XL via Fooocus im Speed Modus:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

[2] Salzsee

Output von OpenAI Dall-E 3:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Flux [schnell]:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Stable Diffusion XL via Fooocus im Speed Modus:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

[3] Einführung in negative Zahlen

Output von OpenAI Dall-E 3:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Flux [schnell]:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Stable Diffusion XL via Fooocus im Speed Modus:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

[4] Kostümbildner/in - Berufe am Theater

Output von OpenAI Dall-E 3:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Flux [schnell]:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Stable Diffusion XL via Fooocus im Speed Modus:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

[5] Bewegungstherapie für Erwachsene mit nicht-spezifischen Kreuzschmerzen

Output von OpenAI Dall-E 3:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Flux [schnell]:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Stable Diffusion XL via Fooocus im Speed Modus:

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Vergleich der Metriken für KI-generierte Bilder

Inhalt 1: Unterrichtsreihe zum Licht

Inhalt 2: Salzsee

Inhalt 3: Einführung in negative Zahlen

Inhalt 4: Kostümbildner/in - Berufe am Theater

Inhalt 5: Bewegungstherapie für Erwachsene mit nicht-spezifischen Kreuzschmerzen

Testreihe 3 (Vergleich Styles)

[1] Unterrichtsreihe zum Licht: Style Wasserfarben

[1] Unterrichtsreihe zum Licht mit Style Illustration

[1] Unterrichtsreihe zum Licht mit Style Lyrische Geometrie

Testreihe 4 (Style Watercolor, Fix für abstrakte Konzepte)

In Testreihe 4 wurde ein Fix für den Promptgenerator getestet. Der Stil Wasserfarben wurde integriert sowie eine Anweisung zum Umgang mit abstrakten Konzepten eingefügt (diese soll dann in einer Lehr- und Lernsituation dargestellt werden oder mit Beispielen visualisiert werden).

[3] Einführung in negative Zahlen

Menschliche Bewertung 1: Der Fix für abstrakte Konzepte hat z.T. funktioniert und bei der Darstellung von negativen Zahlen eine Lehr- und Lernsituation zur Unterstützung genutzt. Das Ergebnis ist aber noch verbesserungsfähig.

[4] Kostümbildner/in - Berufe am Theater

Menschliche Bewertung 1: Der Fix mit dem Stil Wasserfarben sorgt für ein sehr neutrales und anschauliches Bild in beiden Versuchen.

[5] Bewegungstherapie für Erwachsene mit nicht-spezifischen Kreuzschmerzen

Menschliche Bewertung 1: Beide Bilder haben warme Farbtöne und sehen gut aus. In Versuch 2 ist das Gesicht des Trainers angedeutet, was nicht gewünscht ist. Der Stil Wasserfarbe wurde nicht konsequent umgesetzt.

Auswertung

Auswertung der Metriken KI-generierter Bilder

Allgemeine Bildqualität

Die allgemeine Bildqualität wurde anhand der Metriken BRISQUE, NIQE, Entropie, Farbigkeit, Schärfe und Kontrast bewertet. Niedrige BRISQUE- und NIQE-Werte deuten auf eine hohe Bildqualität hin. OpenAI DALL·E 3 erzielte durchgehend niedrige NIQE-Werte, insbesondere bei den Inhalten Salzsee (NIQE 2,66) und Kostümbildner/in (NIQE 2,36), was auf eine natürliche und hochwertige Bildqualität hindeutet. Die hohen Entropie- und Farbigkeitswerte bei DALL·E 3 weisen auf detaillierte und lebendige Bilder hin, beispielsweise erreichte es bei Unterrichtsreihe zum Licht eine Farbigkeit von 50,01.

Stable Diffusion XL zeigte ebenfalls gute BRISQUE- und NIQE-Werte, besonders bei abstrakten Inhalten wie Einführung in negative Zahlen (BRISQUE -3,36, NIQE 2,56), was auf eine ausgezeichnete Bildqualität hindeutet. Die Entropiewerte waren konstant hoch, was detaillierte Bilder suggeriert, jedoch waren die Farbigkeitswerte teilweise geringer als bei DALL·E 3.

Flux [schnell] hatte im Vergleich höhere BRISQUE- und NIQE-Werte, beispielsweise bei Einführung in negative Zahlen (BRISQUE 72,99, NIQE 12,29), was auf eine geringere Bildqualität schließen lässt. Die niedrigeren Entropie- und Farbigkeitswerte deuten auf weniger detaillierte und weniger lebendige Bilder hin.

In Bezug auf Schärfe und Kontrast erzielte DALL·E 3 extrem hohe Schärfewerte, insbesondere bei Kostümbildner/in (1.397,38) und Salzsee (1.038,50), was sehr klare und detaillierte Bilder bedeutet. Flux [schnell] zeigte variable Schärfewerte, während Stable Diffusion XL im Vergleich niedrigere Schärfewerte hatte, was auf weniger scharfe Bilder hindeuten könnte.

Befolgung des Prompts

Die Befolgung des Prompts wurde durch die Metriken CLIP Score und BLIP Score bewertet. Höhere Werte deuten auf eine bessere semantische Übereinstimmung zwischen Bild und Prompt hin. OpenAI DALL·E 3 erzielte hohe BLIP Scores, nahe 0,96, was auf eine gute Übereinstimmung mit dem Prompt hindeutet. Allerdings waren die CLIP Scores teilweise niedriger als bei Flux.

Flux [schnell] erreichte bei einigen Inhalten höhere CLIP Scores, beispielsweise bei Salzsee (0,3870), was auf eine stärkere semantische Erfassung des Prompts hindeutet. Dies könnte bedeuten, dass Flux die Kernelemente des Prompts gut interpretiert, obwohl die allgemeine Bildqualität variabler ist.

Stable Diffusion XL zeigte konsistente, aber etwas niedrigere Werte in beiden Metriken, was auf eine solide, aber nicht herausragende Befolgung des Prompts hindeutet.

Einfluss des Inhalts

Der Inhalt hatte einen signifikanten Einfluss auf die Leistung der Modelle. Bei naturbezogenen Inhalten wie Salzsee lieferte DALL·E 3 hervorragende Ergebnisse in fast allen Metriken, was auf eine starke Fähigkeit hindeutet, natürliche Szenen realistisch und detailreich darzustellen. Flux zeigte bei diesem Inhalt eine Verbesserung in der Befolgung des Prompts (höherer CLIP Score).

Bei abstrakten Konzepten wie Einführung in negative Zahlen erzielte Stable Diffusion XL die besten BRISQUE- und NIQE-Werte (BRISQUE -3,36, NIQE 2,56), was darauf hindeutet, dass dieses Modell abstrakte Inhalte effektiv visualisieren kann. DALL·E 3 erreichte hier hohe Schärfe- und Farbigkeitswerte, was auf detaillierte Darstellungen schließen lässt.

Bei berufsspezifischen Inhalten wie Kostümbildner/in erzielten DALL·E 3 und Flux hohe Schärfe- und Kontrastwerte, was zeigt, dass sie komplexe Szenen mit vielen Details gut darstellen können. Stable Diffusion XL lieferte gute NIQE-Werte, was auf eine natürliche Bilddarstellung hindeutet.

Zusammenfassung der Metriken

Insgesamt ist OpenAI DALL·E 3 aufgrund seiner herausragenden Bildqualität und Fähigkeit, detaillierte und motivierende Bilder zu generieren, besonders geeignet für den Einsatz in Bildungsinhalten. Die klaren und lebendigen Bilder können das Lernen unterstützen und komplexe Themen greifbarer machen. Bei Inhalten, bei denen die genaue Befolgung des Prompts besonders wichtig ist, kann Flux [schnell] eine Alternative sein, obwohl mögliche Einschränkungen in der Bildqualität zu berücksichtigen sind. Für abstrakte Konzepte stellt Stable Diffusion XL eine solide Option dar, um hochwertige und verständliche Visualisierungen zu erzeugen.

Durch die gezielte Auswahl des Modells entsprechend den Anforderungen des Bildungsinhalts können qualitativ hochwertige Vorschaubilder erstellt werden, die den Lernprozess effektiv unterstützen und die Lernenden motivieren.

Auswertung der menschlichen Bewertung KI-generierter Bilder

…

Auswertung der menschlichen Bewertung von Open Graph Bildern

…

Fazit

….