Ziel der Testreihe in die Generierung von Vorschaubildern für Bildungsinhalte, bei denen bisher keine oder unzureichende Vorschaubilder existieren.

Auswahl der Inhalte

Die Inhalte sollten Beschreibungstexte/Titel haben, um gute Voraussetzungen für die Promptgenerierung zu schaffen. Es sollten verschiedene Fachbereiche und Themen abgedeckt werden:

...

Beschreibungstext: nicht vorhanden → Nutzung des Titels: Bewegungstherapie für Erwachsene mit nicht-spezifischen Kreuzschmerzen

Fragestellungen

• Evaluierung verschiedener Umsetzungsoptionen (Open Graph Images, KI-generierte Bilder)

• Evaluierung des Gestaltung des Prompts

• Evaluierung der Qualität/Anforderungen der KI-Bildgeneratoren

Vorgehensweise

• Testreihe 1:

  • Erstellung von Open Graph Images mittels experimentellen Tool

• Testreihe 2:

  • Prompterzeugung für die Bild-KI mittels Text-KI (Open AI gpt-4o)

  • Nutzung der generierten Prompts mit verschiedenen Bildmodellen

    • OpenAI Dall-E 3

    • Stable Diffusion XL

    • Flux

Durchführung

Testreihe 1 - Open Graph Images

[1] Unterrichtsreihe zum Licht

...

Konnte nicht erhoben werden. Schlagwörter wurden definiert, es traten aber technische Probleme auf.

Testreihe 2 - KI generierte Bilder

Prompt-Erstellung (Style 1)

Der Text-Prompt für die Erzeugung der Bild-Prompts wurde nach einer Diskussionen im Team erweitert und um Anweisungen zur Vermeidung der Darstellung von Text und Gesichtern angepasst:

...

Output von OpenAI Dall-E 3:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Flux [schnell]:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Stable Diffusion XL via Fooocus im Speed Modus:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

...

Output von OpenAI Dall-E 3:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Flux [schnell]:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Stable Diffusion XL via Fooocus im Speed Modus:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

...

Output von OpenAI Dall-E 3:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Flux [schnell]:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Stable Diffusion XL via Fooocus im Speed Modus:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

...

Output von OpenAI Dall-E 3:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Flux [schnell]:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Stable Diffusion XL via Fooocus im Speed Modus:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

...

Output von OpenAI Dall-E 3:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Flux [schnell]:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Output von Stable Diffusion XL via Fooocus im Speed Modus:

...

Bewertungsergebnisse: Allgemeine Bildqualität

Bewertungsergebnisse: Befolgung des Prompts

Vergleich der Metriken für KI-generierte Bilder

Inhalt 1: Unterrichtsreihe zum Licht

Inhalt 2: Salzsee

Inhalt 3: Einführung in negative Zahlen

Inhalt 4: Kostümbildner/in - Berufe am Theater

Inhalt 5: Bewegungstherapie für Erwachsene mit nicht-spezifischen Kreuzschmerzen

Auswertung

Auswertung der Metriken KI-generierter Bilder

Allgemeine Bildqualität

Die allgemeine Bildqualität wurde anhand der Metriken BRISQUE, NIQE, Entropie, Farbigkeit, Schärfe und Kontrast bewertet. Niedrige BRISQUE- und NIQE-Werte deuten auf eine hohe Bildqualität hin. OpenAI DALL·E 3 erzielte durchgehend niedrige NIQE-Werte, insbesondere bei den Inhalten Salzsee (NIQE 2,66) und Kostümbildner/in (NIQE 2,36), was auf eine natürliche und hochwertige Bildqualität hindeutet. Die hohen Entropie- und Farbigkeitswerte bei DALL·E 3 weisen auf detaillierte und lebendige Bilder hin, beispielsweise erreichte es bei Unterrichtsreihe zum Licht eine Farbigkeit von 50,01.

...

In Bezug auf Schärfe und Kontrast erzielte DALL·E 3 extrem hohe Schärfewerte, insbesondere bei Kostümbildner/in (1.397,38) und Salzsee (1.038,50), was sehr klare und detaillierte Bilder bedeutet. Flux [schnell] zeigte variable Schärfewerte, während Stable Diffusion XL im Vergleich niedrigere Schärfewerte hatte, was auf weniger scharfe Bilder hindeuten könnte.

Befolgung des Prompts

Die Befolgung des Prompts wurde durch die Metriken CLIP Score und BLIP Score bewertet. Höhere Werte deuten auf eine bessere semantische Übereinstimmung zwischen Bild und Prompt hin. OpenAI DALL·E 3 erzielte hohe BLIP Scores, nahe 0,96, was auf eine gute Übereinstimmung mit dem Prompt hindeutet. Allerdings waren die CLIP Scores teilweise niedriger als bei Flux.

...

Stable Diffusion XL zeigte konsistente, aber etwas niedrigere Werte in beiden Metriken, was auf eine solide, aber nicht herausragende Befolgung des Prompts hindeutet.

Einfluss des Inhalts

Der Inhalt hatte einen signifikanten Einfluss auf die Leistung der Modelle. Bei naturbezogenen Inhalten wie Salzsee lieferte DALL·E 3 hervorragende Ergebnisse in fast allen Metriken, was auf eine starke Fähigkeit hindeutet, natürliche Szenen realistisch und detailreich darzustellen. Flux zeigte bei diesem Inhalt eine Verbesserung in der Befolgung des Prompts (höherer CLIP Score).

...

Bei berufsspezifischen Inhalten wie Kostümbildner/in erzielten DALL·E 3 und Flux hohe Schärfe- und Kontrastwerte, was zeigt, dass sie komplexe Szenen mit vielen Details gut darstellen können. Stable Diffusion XL lieferte gute NIQE-Werte, was auf eine natürliche Bilddarstellung hindeutet.

Zusammenfassung der Metriken

Insgesamt ist OpenAI DALL·E 3 aufgrund seiner herausragenden Bildqualität und Fähigkeit, detaillierte und motivierende Bilder zu generieren, besonders geeignet für den Einsatz in Bildungsinhalten. Die klaren und lebendigen Bilder können das Lernen unterstützen und komplexe Themen greifbarer machen. Bei Inhalten, bei denen die genaue Befolgung des Prompts besonders wichtig ist, kann Flux [schnell] eine Alternative sein, obwohl mögliche Einschränkungen in der Bildqualität zu berücksichtigen sind. Für abstrakte Konzepte stellt Stable Diffusion XL eine solide Option dar, um hochwertige und verständliche Visualisierungen zu erzeugen.

Durch die gezielte Auswahl des Modells entsprechend den Anforderungen des Bildungsinhalts können qualitativ hochwertige Vorschaubilder erstellt werden, die den Lernprozess effektiv unterstützen und die Lernenden motivieren.

Auswertung der menschlichen Bewertung KI-generierter Bilder

…

Auswertung der menschlichen Bewertung von Open Graph Bildern

…

Fazit

….