Messung der Übersetzungsqualität entwickeln
So wird aus einer sprachlichen Anforderung ein testbares Kriterium: Antworten kalibrieren und Häufigkeit sowie Umfang der gefundenen Probleme nachvollziehbar dokumentieren.
Ein Qualitätsscore ist dann nützlich, wenn sich erklären lässt, was ihn verändern würde. Fehlt in einer Übersetzung eine wichtige Bedingung, sollte die Messung diesen Verlust erkennen. Drückt die Übersetzung denselben Gedanken natürlicher aus, sollte sie darin einen zulässigen Unterschied sehen. Eine Messung zu entwickeln heißt, diese Unterscheidungen so klar zu fassen, dass sie sich testen lassen.
Dieser Leitfaden begleitet eine Anforderung von der Definition über die Kalibrierung bis zum Bericht. Er gilt unabhängig davon, ob die Übersetzungen von einem Dienstleister, aus einer internen Pipeline oder von Lingo.dev stammen. Am Ende steht eine Messung, die auch andere unter denselben Bedingungen durchführen und interpretieren können – statt einer Zahl, die nur verständlich ist, solange ihr Urheber danebensteht.
Festlegen, welche Bedeutungsänderung zählt #
Beginnen Sie mit der beabsichtigten Wirkung des Inhalts. Eine Anweisung muss zur richtigen Handlung führen. Eine Aussage muss ihre Stärke und ihre Einschränkungen behalten. Ein Produktbegriff muss in einer anderen Sprache dasselbe Konzept bezeichnen. „Genaue Übersetzung“ benennt zwar das Ziel, lässt diese Unterscheidungen aber im Unklaren.
Achten Sie auf Gewissheit und Bedingungen. In kann nach Genehmigung verfügbar werden tragen die Möglichkeit, die nötige Genehmigung und deren Zusammenhang jeweils eigene Bedeutung. Wird daraus ein bedingungsloses Versprechen, ändert sich die Aussage – selbst wenn die Wörter für Verfügbarkeit und Genehmigung erhalten bleiben.
Ein Kriterium für diese Unterscheidung könnte so lauten:
Beispielkriterium: Aussagen und Bedingungen bewahren
Vergleichen Sie die Aussage im Ausgangstext mit der Aussage im Zieltext. Kontrollieren Sie, ob der Zieltext Folgendes bewahrt:
- Den Grad an Gewissheit oder Verpflichtung.
- Jede Bedingung, die einschränkt, wann die Aussage gilt.
- Den Zusammenhang zwischen Bedingung und Aussage.
Lassen Sie abweichende Formulierungen und Satzstrukturen zu, solange diese Bedeutungen erhalten bleiben. Benennen Sie bei einem vermuteten Fehler die betreffenden Stellen in Ausgangs- und Zieltext und erklären Sie, welche Zusage oder Bedingung sich verändert hat. Reicht der verfügbare Text für den Vergleich nicht aus, erläutern Sie, was fehlt.
Das Kriterium gibt dem Bewertungssystem etwas Beobachtbares an die Hand. Zugleich erhalten Prüfer eine Grundlage, um zu widersprechen. Eine vage Vorgabe wie „Genauigkeit kontrollieren“ zwingt dagegen Bewertungssystem und Prüfer gleichermaßen, ihren eigenen Maßstab anzulegen.
Wählen Sie einen Umfang, der zur nächsten Entscheidung passt. Wer Aussagen finden will, die eine eingehendere Prüfung brauchen, benötigt eine zuverlässige Erkennung und verständliche Befunde. Für einen Anbietervergleich braucht es zusätzlich eine gemeinsame Stichprobe und eine Möglichkeit, die Befunde zusammenzufassen. Eine Entscheidung über die Veröffentlichung eines bestimmten Inhalts setzt die Anforderungen voraus, die für genau diesen Inhalt gelten. Dieselbe Kontrolle kann zu jeder dieser Entscheidungen beitragen, ohne alle drei selbst zu treffen.
Den Text auswählen, auf den die Fragestellung passt #
Legen Sie fest, welche Einheit gemessen wird. Für das obige Kriterium ist das eine Aussage im Ausgangstext samt der zugehörigen übersetzten Aussage – mit so viel umgebendem Text, dass sich die Bedingung interpretieren lässt. Halten Sie Inhalts-ID, Version des Ausgangstexts, Version des Zieltexts und Sprache zusammen. Eine korrekte Übersetzung eines älteren Ausgangstexts kann im Vergleich mit dem neuen Ausgangstext fehlerhaft wirken.
Wählen Sie Inhalte, in denen die untersuchte Unterscheidung tatsächlich vorkommt. Eine Navigationsbeschriftung ohne Aussage fällt nicht unter dieses Kriterium. Sie als bestanden zu zählen, würde die Quote schönen, ohne etwas darüber zu verraten, ob Gewissheit und Bedingungen erhalten geblieben sind.
Fehlende Belege sind ein anderes Problem. Gibt es zu einer ausgewählten Aussage keinen zugehörigen Ausgangstext, gehört sie dennoch zur untersuchten Arbeit – der Vergleich ist nur noch nicht möglich. Machen Sie diese Lücke sichtbar. Ist unklar, ob das Kriterium greift, dokumentieren Sie die Unsicherheit, statt den Inhalt stillschweigend auszusortieren.
Stellen Sie den Kontext bereit, der die Antwort beeinflussen kann. Eine Begriffsdefinition oder Produktregel kann eine Mehrdeutigkeit auflösen; themenfremde Inhalte lenken womöglich nur ab. Eine reine Rechtschreibkontrolle im Zieltext braucht weniger Belege als ein Bedeutungsvergleich zwischen Ausgangs- und Zieltext. Die Fragestellung bestimmt, was Sie zusammentragen.
Jeder Antwort eine klare Bedeutung geben #
Für das Beispiel zur Bewahrung von Aussagen genügen drei Antworten:
| Antwort | Bedeutung |
|---|---|
| Bewahrt | Der Zieltext bewahrt Gewissheit, Verpflichtungen und relevante Bedingungen des Ausgangstexts; gleichwertige Formulierungen sind zulässig. |
| Verändert | Ein erkennbarer Teil dieser Bedeutung hat sich verändert oder ist verloren gegangen. Der Befund benennt die betroffenen Textstellen. |
| Nicht bestimmbar | Das Bewertungssystem hat den Vergleich abgeschlossen, konnte aber anhand der Belege keine der beiden Schlussfolgerungen stützen. Seine Erklärung benennt die Unsicherheit. |
Dies sind methodische Bezeichnungen, kein API-Schema. Ordnen Sie sie dem tatsächlichen Antwortformat des eingesetzten Werkzeugs zu. Eine benutzerdefinierte boolesche Messung in Radar kann beispielsweise true, false oder eine null-Antwort mit Begründung zurückgeben. Sehen Sie sich diese Begründung genau an, denn null kann mehr als eine Ursache haben.
Setzen Sie eine numerische Skala ein, wenn Zwischenstufen einen sinnvollen Unterschied abbilden. Definieren Sie diese Stufen so, dass Prüfer sie wiedererkennen. Ein Wert von 80 muss mehr aussagen als „ziemlich gut“. Spielt der Schweregrad eine Rolle, definieren Sie ihn über die Folgen des Fehlers und halten Sie schwerwiegende Befunde auch beim Zusammenfassen der Ergebnisse sichtbar. Ein hoher Durchschnitt kann durchaus mit einer inakzeptablen Änderung an einer kritischen Stelle einhergehen.
Eine fehlgeschlagene Anfrage liefert keine abgeschlossene sprachliche Antwort. Trennen Sie sie klar von einem Bewertungssystem, das die Auswertung abgeschlossen und eine nicht bestimmbare Antwort zurückgegeben hat. Von dieser Unterscheidung hängt ab, ob als Nächstes die Ausführung wiederhergestellt oder die Mehrdeutigkeit in den Belegen aufgelöst werden muss.
Die Messung an bekannten Fällen testen #
Stellen Sie einen Kalibrierungsdatensatz aus Inhalten zusammen, die das Team auswerten darf. Nehmen Sie eindeutige Fehler, gute Übersetzungen, natürliche Umschreibungen und Fälle auf, deren Antwort vom Kontext abhängt. Ergänzen Sie Inhalte außerhalb des Geltungsbereichs des Kriteriums, um nicht nur die Beurteilung, sondern auch die Auswahl zu testen.
Lassen Sie qualifizierte Prüfer die erwarteten Antworten samt Begründung festlegen. Meinungsverschiedenheiten sind dabei aufschlussreich. Lässt der Ausgangstext zwei Interpretationen zu, klären Sie die beabsichtigte Bedeutung oder halten Sie die Unsicherheit fest. Ist der Maßstab klar, lehnt das Bewertungssystem aber eine zulässige Umschreibung ab, muss die Messung nachgebessert werden.
Betrachten Sie zwei Arten von Fehlern getrennt:
- Fehlalarme sind zulässige Übersetzungen, die als Fehler markiert werden. Sie binden Aufmerksamkeit bei der Prüfung und können unnötige Änderungen nach sich ziehen.
- Übersehene Fehler sind echte Probleme, die die Messung nicht erkennt. Wie schwer sie wiegen, hängt davon ab, welche Art von Bedeutung verloren geht – nicht nur davon, wie oft sie auftreten.
Testen Sie die überarbeitete Messung an Beispielen, die nicht zum Formulieren ihrer Anweisungen verwendet wurden. Liefert ein LLM die Einschätzung, dokumentieren Sie Modell, Prompt, Konfiguration und die beobachteten Abweichungen über wiederholte Durchläufe hinweg. Dass das Modell mit seinen eigenen früheren Antworten übereinstimmt, belegt noch keine Übereinstimmung mit dem Maßstab des Teams.
Nach der Kalibrierung sollte konkret feststehen, wo die Kontrolle funktioniert und wo sie mehr Belege braucht. Eine Methode, die an einem Inhaltstyp und einem Sprachpaar getestet wurde, ist ein guter Anfang – aber keine Aussage über jede Übersetzung, die das Unternehmen erstellt.
Das Problem und die untersuchte Arbeit dokumentieren #
Sobald sich die Kontrolle an bekannten Fällen bewährt hat, wenden Sie sie auf eine definierte Sammlung oder Stichprobe an. Halten Sie fest, wie diese Stichprobe ausgewählt wurde. Eine Zufallsstichprobe erlaubt andere Schlussfolgerungen als eine Stichprobe, die ausgewählt wurde, weil eine andere Kontrolle die Übersetzungen bereits als riskant eingestuft hat. Letztere hilft zwar, Probleme aufzuspüren, lässt aber keine Schätzung ihrer Häufigkeit über alle Inhalte hinweg zu.
Ein Beispiel: das Ergebnis für 100 ausgewählte Übersetzungspaare, die die Auswahlkriterien erfüllen.
| Ergebnis | Paare |
|---|---|
| Bedeutung bewahrt | 72 |
| Bedeutung verändert | 8 |
| Abgeschlossen, aber nicht bestimmbar | 10 |
| Keine abgeschlossene Auswertung | 10 |
Für 90 % der ausgewählten Paare wurde die Auswertung abgeschlossen. Für 80 % lieferte sie eindeutige Antworten. Von diesen 80 Antworten zeigten 8 eine Änderung an – das ergibt eine Quote erkannter Probleme von 10 % unter den eindeutigen Antworten. Die übrigen 20 Paare belegen weder eine bewahrte noch eine veränderte Bedeutung.
Alle drei Größen zählen. Die 72 bewahrten Bedeutungen bei 80 eindeutigen Antworten ergeben eine Bestehensquote von 90 % unter den eindeutigen Antworten. Wer nur „90 % bestanden“ meldet, verschweigt die 10 abgeschlossenen, aber nicht bestimmbaren Antworten und die 10 Paare ohne abgeschlossene Auswertung. Auch die Quote erkannter Probleme von 10 % gilt nur für diese Messung und diese Auswahl. Um sie als allgemeinere Fehlerquote zu deuten, braucht es eine geeignete Stichprobe sowie Belege zu Fehlalarmen und übersehenen Fehlern.
Schlüsseln Sie die Ergebnisse nach den Sprachen und Inhaltstypen auf, die die Entscheidung beeinflussen könnten. Zeigen Sie absolute Zahlen ebenso wie Quoten. Eine Sprache mit wenigen eindeutigen Ergebnissen gehört genauer untersucht, bevor sie in einer beruhigenden Gesamtzahl untergeht. Heben Sie Beispiele für wiederkehrende Probleme auf, damit der Bericht zeigt, was das Team konkret verbessern würde.
Vergleiche auch nach Änderungen aussagekräftig halten #
Speichern Sie das Kriterium und seine Konfiguration zusammen mit den Belegen, die für den Vergleich herangezogen wurden. Ändern sich Prompt, Modell, Auswahlregel oder die Anforderung an den Ausgangstext, testen Sie die neue Definition, bevor Sie ihre Ergebnisse als nahtlose Fortsetzung der bisherigen behandeln.
Um zwei Messungen zu vergleichen, werten Sie denselben gespeicherten Text mit beiden Definitionen aus. Um zwei Übersetzungsansätze zu vergleichen, halten Sie Kriterien und relevante Bedingungen konstant. Andernfalls spiegelt eine Veränderung des Scores womöglich eine neue Fragestellung oder einfachere Inhalte wider – und keine besseren Übersetzungen.
Vergleichsgrundlage sichern, bevor Sie frühere Daten neu auswerten
Die historische Auswertung in Radar ersetzt frühere Antworten für die ausgewählte Messung und den ausgewählten Zeitraum. Sichern Sie deshalb vorher die früheren Definitionen und Ergebnisse, die Sie für einen Vergleich brauchen. Ein erneuter Durchlauf bewahrt nicht beide Seiten des Experiments.
Die Messung ist einsatzbereit, wenn eine andere Person den vorgesehenen Text auswählen, die zugehörigen Belege bereitstellen, jede Antwort erklären und die berichtete Berechnung nachvollziehen kann. Setzen Sie die Kontrolle mit Ereignismessungen oder einem lokalen Scoring mit der CLI um. Für einen fortlaufenden externen Workflow erläutert Übersetzungen aus Ihrer Pipeline messen die Erfassung und Wiederherstellung; Qualitätsbefunde validieren widmet sich dem nächsten Schritt: zu entscheiden, ob ein gemeldetes Problem tatsächlich besteht.