...

Entwicklung eines Bewertungssystems für Neutralität

Allgemeine Anforderungen

• Nachvollziehbarkeit: Transparente und überprüfbare Entscheidungen.

• Objektivität: Ausschluss persönlicher Vorurteile.

• Reliabilität: Konsistenz bei wiederholter Bewertung.

• Validität: Kriterien messen tatsächlich die Neutralität.

• Transparenz: Klare Kommunikation des Bewertungsprozesses.

Umsetzung des Scorings

1. Bewertung jeder Aussage mit einer 4er Likert-Skala:

   • 1 Punkt: Stimme überhaupt nicht zu

   • 2 Punkte: Stimme eher nicht zu

   • 3 Punkte: Stimme eher zu

   • 4 Punkte: Stimme voll und ganz zu

   • "N/A" für nicht anwendbare Aussagen

2. Gewichtung der Kriterien (Beispiel):

...

Kriterium

...

Gewichtung

...

Kontroversität

...

10% (0,10)

...

Überwältigungsverbot

...

10% (0,10)

...

Sachlichkeit und Pluralität

...

10% (0,10)

...

Politische Neutralität

...

10% (0,10)

...

Förderung der Urteilsfähigkeit

...

10% (0,10)

...

Demokratie- und Menschenrechtsbildung

...

5% (0,10)

...

Handlungsorientierung

...

5% (0,05)

...

Lernendenorientierung

...

5% (0,05)

...

Neutrale Präsentation der Bildungsinhalte

...

10% (0,10)

...

Umgang mit Fehlinformationen und Desinformation

...

10% (0,10)

...

Vermeidung von Indoktrination

...

10% (0,10)

...

Aktualität

...

5% (0,05)

3. Berechnung des Scores:

   • Durchschnitt pro Kriterium bestimmen: Summe der Punkte / Anzahl der Fragen je Kriterium

     • z.B. Bewertung des Kriteriums Kontroversität:

       • Aussage 1: 4 Punkte

       • Aussage 2: 3 Punkte

       • Durchschnitt: (4 + 3) / 2 = 3,5

   • Gewichteter Wert: Durchschnitt Kriterium × Gewichtung

     • z.B. Gewichteter Wert: 3,5 × 0,10 = 0,35

   • Rohpunktzahl: Summe aller gewichteten Werte der Kriterien

     • z.B. 0,35 + 0,20 …

   • Maximale Punktzahl: Summe der maximal möglichen gewichteten Werte

   • Endpunktzahl: (Rohpunktzahl / Maximale Punktzahl) × 5

4. Bewertungsskala:

...

Endpunktzahl

...

Erfüllungsgrad

...

Beschreibung

...

5

...

≥ 90 %

...

Hervorragende Neutralität

...

4

...

≥ 70 % bis < 90 %

...

Gute Neutralität

...

3

...

≥ 50 % bis < 70 %

...

Durchschnittliche Neutralität

...

2

...

≥ 30 % bis < 50 %

...

Unterdurchschnittliche Neutralität

...

1

...

≥ 10 % bis < 30 %

...

Mangelnde Neutralität

...

0

...

< 10 %

...

Keine Neutralität

Vorteile des Scoringsystems

• Nachvollziehbarkeit: Eine 4er Likert-Skala kann nur mit einer Tendenz für oder gegen ein Kriterium beantwortet werden und ist auf Grund der geringeren Abstufung besser überprüfbar (unter Berücksichtigung einer etwas geringeren Genauigkeit).

• Anpassungsfähigkeit: Gewichtungen können angepasst werden.

• Transparenz: Klare Struktur und Nachvollziehbarkeit.

• Vergleichbarkeit: Normalisierung ermöglicht Vergleich verschiedener Inhalte.

• Keine Benachteiligung: Nicht anwendbare Kriterien werden ausgeschlossen.

Prompt für die Bewertung (Muster)

“Sie sollen einen Bildungsinhalt anhand festgelegter Kriterien bewerten, um dessen Neutralität zu beurteilen.

Anleitung:

• Lesen Sie den Text sorgfältig.

• Bewerten Sie jede der folgenden Aussagen mit 1 bis 4 Punkten.

• Verwenden Sie "N/A" für nicht bewertbare Aussagen.

• Fügen Sie keine zusätzlichen Kommentare hinzu.

Bewertungsskala:

1. Stimme überhaupt nicht zu

2. Stimme eher nicht zu

3. Stimme eher zu

4. Stimme voll und ganz zu

Bewertungskriterien und Aussagen:

1. Kontroversität:

   • Unterschiedliche Perspektiven und Standpunkte werden präsentiert.

   • Diese Perspektiven werden sachlich dargestellt.

2. Überwältigungsverbot:

   • Raum für eigene Meinungen wird gelassen.

   • Manipulative Sprache wird vermieden.

3. Sachlichkeit und Pluralität:

   • Informationen sind korrekt und durch Quellen belegt.

   • Unterschiedliche wissenschaftliche Theorien werden vorgestellt.

4. Parteipolitische Neutralität:

   • Politische Positionen werden neutral dargestellt.

   • Bevorzugung bestimmter Parteien wird vermieden.

5. Förderung der Urteilsfähigkeit:

   • Das Material regt zum kritischen Denken an.

   • Methoden zur Informationsanalyse werden vermittelt.

6. Demokratie- und Menschenrechtsbildung:

   • Grundprinzipien der Demokratie werden klar dargestellt.

   • Lernende werden angeleitet, diese Prinzipien zu reflektieren.

7. Handlungsorientierung:

   • Anregungen für praktische Aktivitäten werden geboten.

   • Lernende werden ermutigt, das Gelernte anzuwenden.

8. Lernendenorientierung:

   • Material ist auf die Altersgruppe abgestimmt.

   • Unterschiedliche Lernstile werden berücksichtigt.

9. Neutrale Präsentation der Bildungsinhalte:

   • Inhalte werden ohne persönliche Wertungen dargestellt.

   • Persönliche Meinungen beeinflussen nicht die Darstellung.

10. Vermeidung von Indoktrination:

    • Es wird auf Aufzwingen spezifischer Ansichten verzichtet.

    • Alternative Sichtweisen werden respektiert.

11. Umgang mit Fehlinformationen und Desinformation:

    • Strategien zur Erkennung von Fehlinformationen werden vermittelt.

    • Auswirkungen falscher Informationen werden thematisiert.

12. Aktualität:

    • Informationen sind auf dem neuesten Stand.

    • Aktuelle Ereignisse werden einbezogen.

Bitte geben Sie Ihre Bewertung wie folgt zurück:

• Kontroversität:

  • Aussage 1: [1-4 oder N/A]

  • Aussage 2: [1-4 oder N/A]

...

Gewichtung der Aussagen/Fragen

Im ersten Schritt werden die 24 Bewertungsfragen gewichtet. Diese Gewichtungen spiegeln die relative Bedeutung jeder Frage im Gesamtscore und der Relevanz für die Bewertung der Neutralität wider. Die Summe aller Gewichtungen muss 1.0 ergeben.

Bewertungskala für die Aussagen

Eine 4er Likert Skala führt zu einer Bewertung, die tendenziell zustimmend oder ablehend ist. Eine kleinere Skala macht die spätere Überprüfung leichter. Zusätzlich wird auch der Fall beachtet, wenn es keine Informationen für die Bewertung der Aussage gibt.

4er Likert-Skala:

• 1 Punkt: Stimme überhaupt nicht zu

• 2 Punkte: Stimme eher nicht zu

• 3 Punkte: Stimme eher zu

• 4 Punkte: Stimme voll und ganz zu

• "N/A" für nicht anwendbare Aussagen

Berechnung des Scorings

Gewichtete Rohpunktzahl bestimmen

• Multiplikation der Bewertung (Likert 1 bis 4) mit der Gewichtung je Aussage

  • Aussage 1: 4 Punkte

  • Berechnung: 4 x 0,05 = 0,2

• Bildung der Summe aller gewichteten Werte

  • Berechnung: 0,2 + …

• Fragen, für die N/A bewertet wurde, werden nicht berücksichtigt

Gewichtete Maximalpunktzahl bestimmen

• Multiplikation der maximalen Punktzahl (entspricht 4 auf der Likert-Skala) mit der Gewichtung je Aussage

  • Aussage 1: 4 Punkte

  • Berechnung: 4 x 0,05 = 0,2

• Bildung der Summe aller gewichteten Maximalwerte

  • Berechnung: 0,2 + …

• Fragen, für die N/A bewertet wurde, werden nicht berücksichtigt

Gesamtscore bestimmen

• Roh- und Maximalpunkte werden ins Verhältnis gesetzt und auf die Skala von 0 bis 5 normalisiert

• Berechnung: ( Gewichtete Rohpunktzahl / Gewichtete Maximalpunktzahl ) * 5

• falls keine Fragen anwendbar sind, wird der Score auf 0 gesetzt

Optionaler Einbezug der Überzeugung zur Verbesserung des Gesamtscores

• zusätzlich kann ein Wert einbezogen werden, der die Überzeugung darstellt, das die Frage korrekt bewertet werden konnte (Likert-Skala 1-4).

• Fragen mit einem niedrigen Wert können von der Berechnung ausgeschlossen werden, um die Qualität des Scorings weiter zu erhöhen

Bewertung des Scorings

Vorteile des Scoringsystems

• Nachvollziehbarkeit: Eine 4er Likert-Skala kann nur mit einer Tendenz für oder gegen ein Kriterium beantwortet werden und ist auf Grund der geringeren Abstufung besser überprüfbar

• Anpassungsfähigkeit: Gewichtungen können an den Kontext und aktuelle Erkenntnisse angepasst werden. Der Fragenkatalog kann ebenfalls angepasst werden.

• Transparenz: Klare Struktur und Nachvollziehbarkeit.

• Vergleichbarkeit: Normalisierung ermöglicht Vergleich verschiedener Inhalte.

• Keine Benachteiligung: Nicht anwendbare Kriterien werden ausgeschlossen.

• Optionale Qualitätssteigerung durch Überzeugung: Confidence-Werte können die Qualität der in die Berechnung einbezogenen Werte verbessern.

Muster-Prompt für die Bewertung

Bitte bewerten Sie den folgenden Bildungsinhalt anhand der festgelegten Fragen, um dessen Neutralität zu beurteilen.

**Anleitung:**

1. Lesen Sie den Text sorgfältig.
2. Bewerten Sie jede der folgenden Fragen mit **1** bis **4** Punkten.
3. Geben Sie für jede Frage an, wie sicher Sie sich bei Ihrer Bewertung sind (**1** bis **4** Punkten).
4. Geben Sie für jede Frage eine Begründung von **einem Satz**.
5. Verwenden Sie "**N/A**", wenn die Informationen fehlen oder die Frage nicht anwendbar ist.
6. Antworten Sie ausschließlich im JSON-Format ohne zusätzlichen Text oder Präfix.

**Bewertungsskala:**

- **1 Punkt**: Stimme überhaupt nicht zu
- **2 Punkte**: Stimme eher nicht zu
- **3 Punkte**: Stimme eher zu
- **4 Punkte**: Stimme voll und ganz zu
- **N/A**: Nicht anwendbar oder Informationen fehlen

**Konfidenzskala:**

- **1 Punkt**: Sehr unsicher
- **2 Punkte**: Unsicher
- **3 Punkte**: Sicher
- **4 Punkte**: Sehr sicher
- **N/A**: Nicht anwendbar oder Informationen fehlen

**Fragen:**

1. Unterschiedliche Perspektiven und Standpunkte werden präsentiert.
2. Diese Perspektiven werden sachlich dargestellt.
3. Raum für eigene Meinungen wird gelassen.
4. Manipulative Sprache wird vermieden.
5. Informationen sind korrekt und durch Quellen belegt.
6. Unterschiedliche wissenschaftliche Theorien werden vorgestellt.
7. Politische Positionen werden neutral dargestellt.
8. Bevorzugung bestimmter Parteien wird vermieden.
9. Das Material regt zum kritischen Denken an.
10. Methoden zur Informationsanalyse werden vermittelt.
11. Grundprinzipien der Demokratie werden klar dargestellt.
12. Lernende werden angeleitet, diese Prinzipien zu reflektieren.
13. Anregungen für praktische Aktivitäten werden geboten.
14. Lernende werden ermutigt, das Gelernte anzuwenden.
15. Material ist auf die Altersgruppe abgestimmt.
16. Unterschiedliche Lernstile werden berücksichtigt.
17. Inhalte werden ohne persönliche Wertungen dargestellt.
18. Persönliche Meinungen beeinflussen nicht die Darstellung.
19. Es wird auf Aufzwingen spezifischer Ansichten verzichtet.
20. Alternative Sichtweisen werden respektiert.
21. Strategien zur Erkennung von Fehlinformationen werden vermittelt.
22. Auswirkungen falscher Informationen werden thematisiert.
23. Informationen sind auf dem neuesten Stand.
24. Aktuelle Ereignisse werden einbezogen.

**Bitte geben Sie Ihre Bewertungen in folgendem Format zurück:**

{
  "questions": [
    {
      "question": "Unterschiedliche Perspektiven und Standpunkte werden präsentiert.",
      "rating": 3,
      "confidence": 4,
      "justification": "Der Text präsentiert mehrere Sichtweisen auf das Thema (Textstelle: ... den Aspekt kann man so und so deuten ...)."
    },
    {
      "question": "Diese Perspektiven werden sachlich dargestellt (Textstelle: ... die Schrittfolge ist wissenschaftlich gesichert ...).",
      "rating": "N/A",
      "confidence": "N/A",
      "justification": "Informationen fehlen."
    },
    ...
  ]
}

Herausforderungen bei der Bewertung der Neutralität

...