Bellamundo Deutschprüfungen sind von der DeuZert Deutsche Zertifizierung in Bildung und Wirtschaft GmbH nach ISO 29992 (Bewertung der Ergebnisse von Lerndienstleistungen) zertifiziert.
Sichere Sprachprüfungen und zuverlässige Sprachnachweise im Digitalzeitalter
Das Projekt Bellamundo wurde von mehreren BAMF zugelassenen Bildungsträgern und einer Vermittlungsagentur für Prüfer ins Leben gerufen mit dem Ziel, die Problematik der zunehmen Betrugsversuche bei Präsenzprüfungen und der großen Anzahl gefälschter Sprachzertifikate digital zu lösen und hierdurch Prüfungen sicherer und Prüfungsergebnisser zuverlässiger zu machen. Als weiteres Ziel wurde festgelegt, Qualitätsnachweise ausschließlich in Zusammenarbeit mit deutschen Zertifizierungsstellen zu erbringen. Zudem war die Idee, Menschen mit Behinderung den Zugang zu Prüfungen zu erleichtern.
Zertifizierung nach ISO 29992 – die neuen Normen für Bildungsanbieter
Bellamundo verfügt über eine Zertifizierung für die Entwicklung, Durchführung und Bewertung von Sprachprüfungen für den Standard DIN ISO 29992:2021-04. Dies ist ein neuer, moderner Standard, der explizit für alle Arten der Bewertung von Lernergebnissen anwendbar ist, einschließlich der Bewertung von erworbenen Sprachkenntnissen. Wegen des jungen Alters ist dieser Standard noch relativ unbekannt. Bellamundo ist der einzige Prüfungsanbieter weltweit, der die Konformität mit den Standards der ISO 29992 nachgewiesen hat.
Dakks akkreditierte Zertifizierungsstelle
Die verantwortliche Zertifizierungsstelle ist die DeuZert Deutsche Zertifizierung in Bildung und Wirtschaft GmbH, welche die Konformität einer Bewertung von Lernergebnissen mit der DIN ISO 29992:2021-04 prüft und bestätigt (zertifiziert).
Was beinhaltet die ISO29992?
Prüfungen werden für zwei grundlegende Zwecke bei Lerndienstleistungen verwendet: (i) eine Entscheidung über das von Lernenden erreichte Kompetenzniveau zu treffen und (ii) Verbesserungspotentiale für Lernende zu identifizieren. Ziel der ISO29992 ist es, einen Rahmen für die Entwicklung, Umsetzung und Nutzung von Ergebnissen aus Bewertungen von Lernergebnisse in unterschiedlichen Zusammenhang für verschiedenartige Verwendungszwecke zu schaffen und die Bedürfnisse der unterschiedlichen interessierten Parteien zu berücksichtigen. Durch regelmäßige Audits überprüft die DeuZert die Einhaltung der ISO29992.
Das Hauptanliegen der ISO29992 ist somit die Qualitätssicherung von Prüfungen. Zu diesem Zweck hat die ISO29992 ein differenziertes System von Qualitätskriterien für Prüfungsanbieter entwickelt. Nach ISO29992-Maßstäben ist dabei jede Phase des Prüfungsgeschehens von gleicher Relevanz: Prüfungsentwicklung, Durchführung von Prüfungen und Logistik, Bewertung und Benotung, Analyse der Ergebnisse, Kommunikation mit den Beteiligten
Was ist ISO?
ISO (die Internationale Organisation für Normung) ist eine weltweite Vereinigung nationaler Normungsinstitute (ISO-Mitgliedsorganisationen). Die Erstellung von internationalen Normen wird üblicherweise von Technischen Komitees von ISO durchgeführt. Jede Mitgliedsorganisation, die Interesse an einem Thema hat, für welches ein Technisches Komitee gegründet wurde, hat das Recht, in diesem Komitee vertreten zu sein. Internationale staatliche und nichtstaatliche Organisationen, die in engem Kontakt mit ISO stehen, nehmen ebenfalls an der Arbeit teil. ISO arbeitet bei allen elektrotechnischen Normungsthemen eng mit der Internationalen Elektrotechnischen Kommission (IEC) zusammen.
ISO 29992 – ein neuer Standard
In dieser Norm werden die Komponenten eines Qualitätsprogramms für die Bewertung von Bildungsergebnissen außerhalb des formalen Bereichs festgelegt und Kriterien für jede Komponente definiert. Diese Kriterien definieren den Mindestqualitätsstandard für die Entwicklung, Validierung und Anwendung einer Reihe von Verfahren, Methoden und Instrumenten, die zur Messung und Bewertung des individuellen Lernens und Könnens eingesetzt werden, einschließlich der Messung von Fähigkeiten, Leistungen und Erfolgen, der Bedarfsdiagnose, der Messung der Erreichung der Lernziele eines bestimmten Unterrichtsprogramms und der Messung berufsbezogener Leistungen. Es gilt für die Bewertung des Lernens im Rahmen von Plattform-, Misch-, Praxis- und Fernunterrichtsformaten. Sie bietet den Anwendern eine Anleitung zur Erfüllung der technischen Anforderungen, die in der Norm festgelegt sind.
Die Norm umfasst die Entwicklung und Verwendung von Beurteilungen für die Einstufung, die Bedarfsanalyse, die Messung der Ergebnisse einzelner Lernender aus ihrer Teilnahme an Bildungsprogrammen und die Verwendung von Beurteilungen für die Zwischenbestimmung des Fortschritts der Lernenden im Bildungsprogramm.
Die Norm schließt die Bewertung von Unterrichtsprogrammen sowie die Bewertung von Lerndienstleistern aus. Sie schließt Portfolio-Bewertungen und Selbsteinschätzungen sowie die technologischen Anforderungen für die Bereitstellung von webbasierten Bewertungen aus.
Ziel dieser Norm ist es, die Anforderungen an ein Qualitätsprogramm für die Bewertung von Lernergebnissen zu spezifizieren und dabei
1) einen Anbieter von Lerndienstleistungen oder Prüfungen in die Lage zu versetzen, zu wissen, inwieweit er diese Anforderungen erfüllt, und seine Fähigkeit, dies zu tun, nachzuweisen, und
2) einen Verbraucher in die Lage zu versetzen, die Qualität der von einem solchen Anbieter erbrachten Prüfungsleistungen zu bewerten.
Die Begründung für diese Norm beruht auf der Tatsache, dass die Entwicklung, Durchführung und Verwendung von gültigen und zuverlässigen Beurteilungen ein sehr technisches Gebiet ist, das oft nicht gut verstanden wird, weder von Anbietern noch von Verbrauchern, insbesondere außerhalb des formalen Sektors. Die Bewertungspraktiken und die Qualität der Bewertungsprogramme sind in der Bildungsbranche sehr unterschiedlich. Darüber hinaus expandiert der Bewertungs- und Testsektor weltweit, da die nationale und internationale Politik die formale Bewertung von Lernen und individuellen Fähigkeiten in zahlreichen Bildungsbereichen fördert. So hat beispielsweise die Europäische Kommission die EU-Mitgliedstaaten aufgefordert, bis 2018 nationale Strategien für die Validierung nicht-formaler und informeller Kompetenzen einzuführen.
Japan hat einen großen Markt für lebenslanges Lernen, und mehrere Unternehmen sind in der Entwicklung und Bereitstellung von Lernbewertungen für diesen Markt tätig.
Eine internationale Norm, die die Anforderungen für die Entwicklung und Aufrechterhaltung eines Qualitätsbewertungsprogramms festlegt, wird es allen Beteiligten ermöglichen, die Qualität von Bewertungsdienstleistungen zu bewerten und die Einhaltung bewährter Verfahren zu gewährleisten.
Die vorgeschlagene internationale Norm unterstützt die Anwender von ISO 29990-10 und ISO 29991-14, da die Anforderungen in diesen beiden bestehenden internationalen Normen die Bewertung des Lernfortschritts und der Lernergebnisse einschließen. Diese Norm wird weltweit relevante Best Practices für die Bewertung von Lernergebnissen außerhalb des formalen Sektors kodifizieren.
ASTM F2889-11; ISO/IEC 23988:2007
Lerndienstleistungen außerhalb des formalen Sektors, zu denen typischerweise kleine Unternehmen, aber auch große globale Unternehmen gehören, werden von der Verfügbarkeit einer internationalen Norm zur Bewertung profitieren, da es für diesen Bereich der Lerndienstleistungen derzeit keine internationalen Normen gibt.
Kunden von Lerndienstleistungen, Regulierungsbehörden und die Öffentlichkeit werden davon profitieren, da die Vergleichbarkeit der Ergebnisse und das Niveau der Qualitätssicherung auf dem Testmarkt durch die Anwendung dieser Norm verbessert werden.
Florian Mai, Chairperson ISO/TC 232
1 Anwendungsbereich
2 Normative Verweisungen
3 Begriffe
4 Planung einer Bewertung
4.1 Allgemeines
4.2 Bedarfsanalyse
4.3 Ressourcenplanung
4.4 Bewertungsrahmen
5 Bewertungsentwicklung
5.1 Allgemeines
5.2 Zeitpunkt der Bewertung
5.3 Qualifikationen der Entwickler von Bewertungen
5.4 Bewertungsmethoden
5.5 Bewertungsspezifikationen
5.6 Objektivität, Reliabilität und Validität
5.6.1 Allgemeines
5.6.2 Objektivität
5.6.3 Reliabilität
5.6.4 Validität
5.7 Item-Entwicklung
5.8 Auswertungsverfahren
5.8.1 Manuelle Auswertung
5.8.2 Live-Auswertung
5.8.3 Maschinelle Auswertung
5.8.4 Auswertungsmaterialien — Verfahren
5.9 Berichterstattung der Bewertungsergebnisse
5.9.1 Zeitrahmen
5.9.2 Informationen
5.9.3 Geltungsdauer der Bewertungsergebnisse
5.10 Schiedsverfahren, Beschwerden und Einspruch
5.11 Technische Unterlagen
6 Durchführung der Bewertungen
6.1 Leitlinien
6.2 Sicherheitsplan für die Bewertung
6.3 Aufsichtführende
6.3.1 Qualifikationen der Aufsichtführenden
6.3.2 Verantwortlichkeiten der Aufsichtführenden
6.4 Qualifikationen der Bewerter/Prüfer
7 Aufrechterhaltung und Überarbeitung
7.1 Plan für die Aufrechterhaltung der Bewertung
7.2 Überarbeitungsplan für die Bewertung
8 Fairness
8.1 Förmliche Vereinbarung
8.2 Diskriminierungsverbot
8.3 Rechte der Prüflinge
8.4 Neutralität
8.5 Verhaltensregeln
8.6 Informationen, die den Prüflingen zur Verfügung gestellt werden
9 Ethik
9.1 Verantwortlichkeiten
9.2 Informationen zur Bewertung
9.3 Informationssicherheit
Anhang A (informativ) Technische Dokumentation
A.1 Dokumentation
A.1.1 Technische Dokumentation
A.1.2 Dokumentation zur Anwenderunterstützung
A.1.3 Aufbewahrung von Aufzeichnungen/Bewertungspunktzahlen (Aufzeichnungsmanagement)
A.1 Dokumentationspflichten gemäß ISO29992
A.1.1 Technische Dokumentation
Alle Bewertungen sollten eine technische Dokumentation beinhalten, die sich mit dem gesamten Lebenszyklus einer Prüfung von der ursprünglichen Planung und Entwicklung bis zur Anwendung befasst. Die technische Dokumentation sollte ausreichende Informationen und Nachweise zur Beurteilung der Angemessenheit und Stringenz des Ansatzes, des Prozesses, der Methodik, der Erkenntnisse, der Entscheidungen und der angestrebten Ergebnisse in jeder Phase des Lebenszyklus einer Bewertung beinhalten.
Zur Planungs- und Entwicklungsdokumentation gehören unter anderem:
– Dokumente der ursprünglichen Bedarfsanalyse;
– das Dokument zu allgemeinen/grundsätzlichen Bewertungsbedingungen;
– das Dokument mit den Bewertungsspezifikationen;
– vom Entwickler bereitgestellte Materialien: Handbuch zur Bewertungsdurchführung, Überblick zum Schulungsprozess, Rubriken und Formular für Bewerter.
Die Dokumentation zur Anwendung und Leistung einer Bewertung umfasst, soweit anwendbar:
– Dokumentation, aus denen die Mindestqualifikationen und Schulungskriterien für alle Prüfer, Bewerter, Aufsichtführende usw. hervorgehen; Verfahren zur Entwicklung, Überprüfung und Durchführung von Bewertungen; Scoring-Verfahren; unterzeichnete Vereinbarungen und Geheimhaltungsverträge;
– dokumentierte Test-Audits/Überprüfungen und Validierung seit der letzten Beurteilung desselben Typs;
– Dokumentation mit den Aufzeichnungen der regelmäßigen Qualitätssicherung;
– Dokumentation, aus der hervorgeht, dass die vorbereiteten Test-Items für dynamische Tests regelmäßig von den ausführenden Bewertern überprüft werden, und zwar individuell hinsichtlich ihrer Effektivität und insgesamt hinsichtlich ihrer Normung;
– Dokumentation, aus der hervorgeht, dass statische Test-Items fortlaufend statistisch analysiert werden, um Items zu identifizieren, die nicht den anwendbaren Spezifikationen entsprechen;
– Dokumentation, aus der hervorgeht, dass statische konstruierte Freitext-Elemente von den Autoren der Betrachtungseinheiten und Experten der verwendeten Sprachen überprüft werden;
– Dokumentation zur regelmäßigen Nachschulung der menschlichen Bewerter, um deren Zuverlässigkeit sicherzustellen;
– die für die manuelle Auswertung verwendeten Protokolle;
– die Verfahren für die Live-Auswertung und Dokumentation zu den regelmäßigen Überprüfungen, aus der hervorgeht, dass die Live-Auswertung den vorgeschriebenen Protokollen entspricht;
– Dokumentation, die die Genauigkeit der maschinellen Auswertung bestätigt;
– Dokumentation zu den Schiedsverfahrens-, Beschwerde- und Einspruchsrichtlinien;
– Dokumentation bezüglich der Richtlinie zu Bedingungen für Wiederholungsbewertungen.
A.1.2 Dokumentation zur Anwenderunterstützung
Die Dokumentation zur Anwenderunterstützung sollte unterstützende Dokumente für verschiedene interessierte Parteien einer Bewertung wie z. B. Endanwender, Entwickler von Bewertungen, Bewerter und Aufsichtführende beinhalten.
Die Dokumentation mit Bewertungsprotokollen und -verfahren wie z. B. Bewertungsstichproben, Bewertungshandbücher für verschiedene interessierte Parteien oder die Anweisungen zur Gewährleistung der Bewertungssicherheit sollte der beabsichtigten Zielgruppe zur Verfügung gestellt werden und für diese ausreichende Informationen zur Wahrnehmung ihrer Funktionen und Verantwortlichkeiten enthalten.
Die Dokumentation sollte professionellen Standards für die Darstellung von Informationen und Nachweisen entsprechend der jeweiligen Phase des Bewertungslebenszyklus genügen. Die Dokumentation kann als Reihe von Einzelberichten für jede Phase oder als einzelner Bericht für den gesamten Lebenszyklus vorgelegt werden.
A.1.3 Aufbewahrung von Aufzeichnungen/Bewertungspunktzahlen
Alle technischen Dokumente einschließlich der Ergebnisse von Bewertungsüberpüfungen oder Auditergebnissen sollten aufbewahrt werden und für die jeweiligen interessierten Parteien zugänglich sein. Die Dokumentation sollte regelmäßig aktualisiert und ergänzt werden, wenn die Bewertung verändert oder für zusätzliche Anwendungszwecke, Populationen oder Kontexte erweitert wird. Diese Aktualisierungen können den ursprünglichen Berichten als Zusatzberichte oder Aktualisierungen beigefügt werden.
Interne Qualitätssicherung
Qualitätssicherung ist in jeder Phase einer Prüfung wichtig. Dazu zählen Phasen der Prüfungsentwicklung und -umsetzung sowie der Verwendung der Ergebnisse. Es gibt dabei Leitlinien für die Auswahl, Entwicklung, Validierung, Planung, Verwaltung und Anwendung von Prüfungen.
Validität und Reliabilität
Unsere Entwicklungsabteilung sorgt dafür, dass Bellamundo Prüfungen gültig und zuverlässig sind.
Eine Prüfung ist dann gültig (valide), wenn diese genau das abprüft, was sie abprüfen soll. Bei Sprachprüfungen ist dies die kommunikative Kompetenz des Prüfungsteilnehmers in verschiedenen praktischen Einsatzbereichen (z. B. im Privaten, in der Öffentlichkeit, am Arbeitsplatz oder in der Schule).
Eine Prüfung ist zuverlässig (reliabel), wenn Prüfungsteilnehmende mit ähnlicher Sprachkompetenz auch ein ähnliches Prüfungsergebnis erzielen. Allen Prüfungsteilnehmern im Rahmen dieser Prüfung sollte ungeachtet ihres Alters, ihres Geschlechts, ihrer Nationalität, ihrer Religion und eventueller Seh- oder Hörbehinderungen oder sonstiger körperlicher Beeinträchtigungen eine faire Chance zur Teilnahme an der Bewertung geboten werden. Außerdem wird es für wünschenswert erachtet, den Zugang von den Bereichen aus zu berücksichtigen, in denen sie leben.
Objektivität
Bellamundo Prüfungen sind anhand vereinbarter Kriterien objektiv, so dass verschiedene Prüfer bei denselben Antworten auf dasselbe Ergebnis kommen.
Bellamundo Prüfer werden regelmäßig geschult. Das stellt sicher, dass sie die mündlichen und schriftlichen Leistungen der Prüfungsteilnehmenden so objektiv wie möglich anhand der festgelegten Bewertungskriterien beurteilen.
Die Bewertungskriterien und ihre konsistente Anwendung werden in regelmäßigen Abständen überprüft.
Externe Qualitätssicherung
Prüfungen der Bellamundo UG sind nach ISO29992 (Bewertung der Ergebnisse von Lerndienstleistungen) von der DeuZert zertifiziert. Alle Prüfungen orientieren sich in jeder Entwicklungsphase an den Qualitätskriterien der ISO29992 und werden ständig überprüft.
Was ist die DeuZert?
Die DeuZert (Deutsche Zertifizierung in Bildung und Wirtschaft GmbH) ist eine dakks akkreditierte Zertifizierungsstelle in Deutschland.
Prüfungssicherheit steht an erster Stelle
Die Durchführung der Bewertung (Prüfung) erfordert gemäß ISO 29992 die Erfüllung folgender Sicherheitskriterien und umfasst alle Bereiche von Entwicklung, Umsetzung, Administration, Bewertung und der Berichterstattung. Unter anderem:
– Schutz personenbezogener Daten;
– eine Beschreibung der Rollen und Verantwortlichkeiten des Sicherheitspersonals;
– eine Liste von zu erstellenden oder anzuwendenden sicherheitsbezogenen Dokumenten für die Bewertung, einschließlich Anweisungen für das Entwicklungspersonal, Formulare für die Geheimhaltung der Bewertung sowie Anweisungen für Aufsichtführende, Prüflinge, Prüfer und
Grundsatzerklärungen;
– eine Beschreibung der Schulungsmethoden für Personal, das für die Prüfungssicherheit
verantwortlich ist;
– eine Liste der physischen und elektronischen Sicherheitsanforderungen;
– eine Beschreibung der angewendeten Methoden zur Überwachung der Einhaltung derSicherheitsrichtlinien;
– einen Notfallplan bei Verletzung der Sicherheitsbestimmungen;
– Gegenmaßnahmen gegen unzulässige Aktivitäten von Prüflingen, Entwicklung eines Handbuchs zum Umgang mit solchen Aktivitäten und Maßnahmen zur Erleichterung des gegenseitigen Verständnisses zwischen Mitarbeitern und Aufsichtführenden.
