KI-Bewerter
KI-Bewertungen sind automatisierte Kontrollen der Übersetzungen, die deine Lokalisierungs-Engines erstellen. Im Dashboard heißen sie Messungen und sind unter Radar → Messungen zu finden. Beide Begriffe meinen dasselbe. Eine Messung beantwortet eine einzelne Frage zu einer Übersetzung: mit „Bestanden“, „Nicht bestanden“ oder einem Score von 0 bis 100 – und begründet ihre Antwort. Prüfungen laufen asynchron, nachdem die Übersetzung abgeschlossen ist: Sie blockieren oder verändern die Übersetzung niemals und entscheiden auch nicht darüber, ob sie veröffentlicht wird.
So funktioniert's#
Jede abgeschlossene Lokalisierung wird in Radar als localization.completed-Ereignis erfasst, zusammen mit dem Ausgangs- und Zieltext, beiden Sprachen, der Engine und dem Kontext der Anfrage. Jede Messung, die für diesen Ereignistyp ausgeführt wird und deren Bedingungen auf das Ereignis zutreffen, stellt eine Auswertung in die Warteschlange. Die Antwort wird zusammen mit dem untersuchten Ereignis gespeichert.
Für Engine-Übersetzungen gibt es keine separate Prüfer-Ressource. Dieselben Messungen können auch Übersetzungsänderungen untersuchen, die aus verbundenen Quellen erfasst werden, etwa einem GitHub-Repository oder einem Zendesk Help Center. Daraus beziehen die unten beschriebenen Bearbeitungsmessungen ihre Daten.
Radar → Messungen öffnet sich im Tab Integriert. Unter Ihre Messungen finden Sie die Messungen, die Ihre Organisation erstellt hat. Für jede Messung sehen Sie, auf welche Ereignistypen sie angewendet wird, welchen Wertetyp sie liefert, welche Sprachen sie abdeckt, wie viele Ereignisse sie bereits gemessen hat und ob sie aktiviert ist.
Integrierte Messungen#
Lingo.dev legt fest, was jede integrierte Messung berechnet und für welche Ereignistypen sie ausgeführt werden kann. Deine Organisation entscheidet, ob sie ausgeführt wird und welche Ereignisse sie auswählt.
| Messung | Was sie beantwortet | Wird ausgeführt für |
|---|---|---|
| Glossareinhaltung | Anteil der relevanten Glossarbegriffe, die in der Übersetzung verwendet wurden | Abgeschlossene Lokalisierungen |
| Regeleinhaltung | Anteil der anwendbaren Regeln, die in der Übersetzung eingehalten wurden | Abgeschlossene Lokalisierungen |
| MQM | Ein Score von 0 bis 100, berechnet aus den Fehlern, die ein Modell auflistet | Abgeschlossene Lokalisierungen |
| Bearbeitungsrate | Ob eine Person die Übersetzung geändert hat | Erstellung und Aktualisierung von Übersetzungen |
| Bearbeitungsdistanz | Wie viel vom Text geändert wurde, in Prozent | Erstellung und Aktualisierung von Übersetzungen |
| Bearbeitungsmuster | Welche Arten von Bearbeitungen eine Änderung umfasst | Erstellung und Aktualisierung von Übersetzungen |
Um eine Messung zu aktivieren, öffne sie unter Radar → Messungen und wähle die Sprachen, Ausgangssprachen, Engines und die zu untersuchende Stichprobe aus. Schalte Aktiviert ein und wähle Änderungen speichern. Integrierte Messungen lassen sich nicht bearbeiten oder löschen. Glossareinhaltung und Regeleinhaltung lassen sich auch pro Engine aktivieren – siehe Prüfungen für eine Engine aktivieren.
Glossareinhaltung #
Kontrolliert, ob die Übersetzung die Glossarbegriffe verwendet hat, die die Engine anwendet. Ausgewählt werden Begriffe, deren Zielsprache übereinstimmt und deren Ausgangstext im Quelltext vorkommt. Der Beurteiler liefert für jeden Begriff ein Ergebnis. Benutzerdefinierte Übersetzungen (z. B. „Deploy“ → „Bereitstellen“) dürfen sprachüblich flektiert werden, nicht übersetzbare Begriffe (z. B. „OAuth“) müssen unverändert bleiben. Widersprechen sich Einträge für denselben Begriff, genügt es, einen davon einzuhalten.
Der Score entspricht dem Anteil der zurückgegebenen Ergebnisse, die als angewendet markiert sind. Trifft kein Glossarbegriff auf den Quelltext zu, lautet die Antwort N/A.
Regeleinhaltung #
Wertet jede Regel, die die Engine für die Zielsprache anwendet, einzeln aus: eingehalten, nicht eingehalten oder nicht anwendbar. Wendet die Engine drei Regeln an, liefert der Beurteiler drei Ergebnisse, jeweils mit einer eigenen Begründung.
Regeln hießen früher Anweisungen
Im Dashboard, am Schalter auf dem Tab Prüfer und in Radar heißen sie durchgehend Regeln. Die REST API stellt eine einzelne Regel weiterhin unter /instructions bereit.
Der Score entspricht dem Anteil der eingehaltenen Regeln an allen anwendbaren Regeln. Eine Regel, die nicht auf den Inhalt zutrifft – etwa eine Regel zur förmlichen Anrede bei einer Übersetzung, die nur einen Produktnamen enthält –, wird nicht berücksichtigt. Ist keine Regel anwendbar, gibt es keinen Score.
Beide Kontrollen lesen die Glossarbegriffe und Regeln der Engine in ihrem aktuellen Stand zum Zeitpunkt der Ausführung – nicht als Momentaufnahme der Vorgaben, die die Engine beim Erstellen der Übersetzung verwendet hat.
MQM#
MQM fordert ein Modell auf, die Fehler der Übersetzung aufzulisten, aber niemals, einen Score zu vergeben. Jeder Fehler nennt die genauen fehlerhaften Wörter, eine der sieben MQM-Kerndimensionen – Genauigkeit, Terminologie, sprachliche Konventionen, Stil, Konventionen der Sprache, Zielgruppeneignung, Design und Markup –, einen Schweregrad und eine einzeilige Beschreibung des Problems. Nennt das Ereignis eine Engine, sieht das Modell außerdem deren Markenstimme für die Sprache, ihre Regeln und die im Quelltext verwendeten Glossarbegriffe.
Der Score wird rechnerisch aus dieser Liste ermittelt. Fehler, deren Wörter nicht in der Übersetzung vorkommen, werden verworfen. Jeder verbleibende Fehler erhält ein Gewicht: neutral 0, geringfügig 1, schwerwiegend 5 oder kritisch 25. Die Summe wird auf 100 Wörter des Quelltexts normiert:
max(0, 100 − 100 × summed error weights / source word count)100 bedeutet, dass keine Fehler vorliegen. Dieselbe Formel liefert auch einen Score pro Dimension. Bei Schriftsystemen ohne Leerzeichen, etwa Chinesisch, Japanisch, Koreanisch und Thai, zählt jedes Zeichen als ein Wort. Bei einem Quelltext ohne Wörter lautet die Antwort N/A.
Bearbeitungsrate, Bearbeitungsdistanz und Bearbeitungsmuster#
Diese drei Messungen vergleichen eine Übersetzungsänderung mit der vorherigen Version der Zeichenfolge. Wenn Lingo.dev die Übersetzungen selbst schreibt – bei einer Synchronisierung mit einem Zendesk Help Center oder in einem Repository, in dem die GitHub App Übersetzungen per Commit oder die CLI per Push überträgt –, liefern sie je eine Antwort für jede von Lingo.dev geschriebene Version und für die Änderung, die eine Person daran vornimmt:
- Eine von Lingo.dev geschriebene Version liefert das Ergebnis „unverändert“: Bearbeitungsrate
falseund Bearbeitungsdistanz 0. - Eine von einer Person bearbeitete Version, die direkt auf eine von Lingo.dev geschriebene Version folgt, wird mit dieser verglichen: Bearbeitungsrate
true, die Distanz der Änderung und ihre Bearbeitungsmuster. - Weitere Bearbeitungen durch eine Person, eine Rückkehr zum Text von Lingo.dev und eine Änderung, die den Text von Lingo.dev bis auf Leerraum beibehält, liefern N/A.
Jedes false steht daher für eine von Lingo.dev geschriebene Übersetzung und jedes true für eine, die eine Person geändert hat. Werden 5 von 100 Übersetzungen geändert, die Lingo.dev geschrieben hat, beträgt die Bearbeitungsrate 5 %.
In Erkunden liefert Boolescher Wert mit Durchschnitt diese Quote direkt: Jede von Lingo.dev erstellte Übersetzung zählt genau einmal – als bestanden, wenn jemand sie geändert hat, und als nicht bestanden, wenn niemand sie geändert hat. Die Änderung wird dabei nicht noch einmal gezählt. Sie zählt für den Zeitraum der Übersetzung, die sie geändert hat. Deshalb kann die Quote einer kürzlich vergangenen Woche noch steigen, wenn jemand die Übersetzungen aus dieser Woche bearbeitet.
Bearbeitungsrate entfernt vor dem Vergleich führenden und abschließenden Leerraum und fasst aufeinanderfolgende Leerraumzeichen innerhalb des Textes zusammen. Daher gelten Save changes und Save changes als unverändert. Bearbeitungsdistanz ist die Levenshtein-Distanz zwischen den ursprünglichen Texten – Einfügungen, Löschungen und Ersetzungen –, geteilt durch die Länge des längeren Textes und multipliziert mit 100. Texte, die für einen Vergleich zu lang sind, liefern N/A. Betrachte beide Messungen zusammen, um häufige kleine Korrekturen von gelegentlichen Neufassungen zu unterscheiden. Bearbeitungsmuster ordnet eine Änderung Kategorien zu, etwa Sprachregister, Wortwahl, Terminologie, Umstellung, Grammatik, Zeichensetzung, Ergänzung, Auslassung, Fehlübersetzung und Formatierung.
Keiner der drei Beurteiler untersucht, welche Formulierung besser ist, oder misst den Zeitaufwand.
Prüfungen für eine Engine aktivieren #
Der Tab Reviewers der Engine hat zwei Abschnitte:
Automatische Prüfung enthält je einen Schalter für Glossareinhaltung und Regeleinhaltung. Wenn du einen Schalter einschaltest, wird die Engine zur jeweiligen integrierten Messung hinzugefügt und die Messung aktiviert. Wenn du ihn ausschaltest, wird die Engine entfernt. Die Sprach- und Stichprobeneinstellungen der Messung bleiben unverändert. Wird eine integrierte Messung für alle Engines ausgeführt, ist der Schalter bei jeder Engine eingeschaltet. Schaltest du ihn für eine Engine aus, wird die Liste der übrigen aktuell vorhandenen Engines gespeichert. Für eine später erstellte Engine wird daher erst nach dem Hinzufügen eine Prüfung durchgeführt. Werden Prüfungen in deinem Tarif nutzungsabhängig abgerechnet, zeigt der Abschnitt Abrechnung pro Ausführung mit dem jeweiligen Preis an.
Vorschläge enthält die Schalter für Engine-Vorschläge. Diese reagieren auf niedrige Ergebnisse benutzerdefinierter Messungen, statt selbst solche Ergebnisse zu erzeugen.
MQM und benutzerdefinierte Messungen findest du nicht auf diesem Tab. Aktiviere MQM in Radar und wähle die Engines für eine benutzerdefinierte Messung in deren Bedingung aus.
Benutzerdefinierte Messungen #
Eine benutzerdefinierte Messung formuliert eine deiner eigenen Qualitätsanforderungen so konkret, dass sie sich kontrollieren lässt: etwa einen einschränkenden Zusatz beizubehalten, eine Vorgabe zur Markenstimme einzuhalten oder zwei Produktkonzepte klar voneinander zu unterscheiden. Sie gehört zur Organisation.
Prompt schreiben
Wähle unter Radar → Messungen die Option Neue Messung und gib den Prompt ein – das Kriterium, das der Beurteiler anwendet. Siehe Anweisungen schreiben.
Namen vergeben und Antwort wählen
Gib der Messung einen Namen, an dem du sie leicht erkennst. Wähle unter Wert die Option Bestanden oder nicht bestanden für ein binäres Urteil oder 0 bis 100 für eine Skala, deren Zwischenwerte du definieren kannst. Lass Nicht anwendbar zulassen eingeschaltet, wenn der Beurteiler mit N/A antworten können soll.
Auslöser und Sprachen wählen
Im Formular sind zunächst abgeschlossene Lokalisierungen als Auslöser eingestellt. Damit werden Prüfungen der Übersetzungen durchgeführt, die deine Engines erstellen. Sind keine Sprachen ausgewählt, werden alle Zielsprachen einbezogen.
Erstellen, dann eingrenzen
Wähle Messung erstellen. Die Messung wird gespeichert und die Bedingung ist dabei aktiviert. Auf dem Tab Allgemein kannst du die Bedingung nach Ausgangssprache, Engine oder Stichprobe eingrenzen. Weitere Ereignistypen fügst du unter Wird ausgeführt bei mit Ereignis auswählen hinzu. Wenn keine verbundene Integration die Ereignistypen sendet, auf die die Messung reagiert, erscheint unter Wird ausgeführt bei ein entsprechender Hinweis mit einem Link zu Einstellungen → Integrationen.
Antworten vom Typ Bestanden oder nicht bestanden werden zu Erfolgsquoten zusammengefasst – 75 % bedeutet, dass 3 von 4 Übersetzungen, für die eine Antwort vorliegt, bestanden haben. Antworten vom Typ 0 bis 100 werden als Durchschnittswerte zusammengefasst. Ein Prozentwert ist ein Wert auf der Skala, die dein Prompt definiert, keine Wahrscheinlichkeit dafür, dass die Übersetzung korrekt ist.
Übersetzungen für die Prüfung auswählen#
Jede Bedingung – und die Einstellungen jeder integrierten Messung – grenzt die Ereignisse ihres Typs ein:
| Auswahlfilter | Wählt aus |
|---|---|
| Sprachen | Zielsprachen. Beliebige Sprache wählt alle aus |
| Ausgangssprachen | Ausgangssprachen. Beliebige Ausgangssprache wählt alle aus |
| Engines | Engines, für deren Übersetzungen eine Prüfung durchgeführt wird. Beliebige Engine umfasst auch später erstellte Engines |
| Stichprobe | Jedes Ereignis oder 50, 25, 20, 10, 5 oder 1 % der Ereignisse, die die übrigen Auswahlfilter erfüllen |
Wähle Änderungen speichern, um die Einstellungen anzuwenden. Die Sprachauswahl folgt der Sprachhierarchie statt einem exakten Textabgleich: fr wählt auch fr-CA aus, und fr-CA wählt fr-FR nicht aus. Eine ohne Engine erfasste Anfrage erfüllt keine auf Engines beschränkte Bedingung.
Ob ein Ereignis zur Stichprobe gehört, wird für jedes Ereignis und jede Messung festgelegt. Bei einer erneuten Auswertung bleibt daher für dieselbe Messung unverändert, ob das Ereignis zur Stichprobe gehört oder nicht. Bei einer kleinen Gruppe von Ereignissen kann der ausgewählte Anteil vom eingestellten Anteil abweichen.
Ein Ereignis eines ausgewählten Typs, das einen Selektor nicht erfüllt, erhält trotzdem eine Antwort: N/A. Die Begründung beginnt mit „Bedingung nicht erfüllt“ und nennt den Selektor. Dafür fallen keine Kosten an. Schließe diese Antworten aus dem Nenner deiner Qualitätsberechnung aus. Berücksichtige sie aber, wenn du erläuterst, welcher Anteil deines Übersetzungsvolumens eine Prüfung durchlaufen hat.
Aktiviert schaltet alle Bedingungen einer Messung gemeinsam ein oder aus. Wenn du die Messung ausschaltest, werden keine weiteren Prüfungen gestartet; bereits eingereihte Aufgaben können noch abgeschlossen werden.
Anweisungen formulieren #
Der Prompt ist das Herzstück einer benutzerdefinierten Messung. Er legt genau fest, was das Beurteilungsmodell kontrollieren soll. Formuliere ihn als konkretes, testbares Kriterium.
Gute Anweisungen#
Bestanden oder nicht bestanden:
Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.0 bis 100:
Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.Was eine gute Anweisung ausmacht#
- Konkrete Kriterien – definiere genau, was „bestanden“ und „nicht bestanden“ bedeuten oder wofür 0 und 100 stehen
- Beobachtbare Ergebnisse – das Beurteilungsmodell sollte anhand des Textes entscheiden können, ohne die dahinterstehende Absicht erraten zu müssen
- Ein Aspekt pro Messung – teile Qualitätskontrollen mit mehreren Dimensionen in separate Messungen auf
- Wann keine Beurteilung erfolgen soll – gib bei aktiviertem Nicht zutreffend zulassen an, wann das Kriterium nicht gilt, damit eine für das Kriterium irrelevante Übersetzung nicht mit einer Übersetzung verwechselt wird, für die Belege fehlen
Teste eine neue Messung an Übersetzungen, die du selbst ansehen kannst – sowohl an solchen mit bekannten Fehlern als auch an akzeptablen Umformulierungen –, bevor du dich bei einer größeren Zahl von Übersetzungen auf ihre Antworten verlässt.
N/A-Antworten#
Wenn Nicht zutreffend zulassen aktiviert ist, kann das Beurteilungsmodell statt eines Urteils oder eines Scores mit N/A antworten – etwa bei einer Kontrolle der förmlichen Anrede in einer Sprache, die nicht zwischen förmlicher und informeller Anrede unterscheidet. N/A-Antworten fließen nicht in Durchschnittswerte und Bestehensquoten ein; sie senken die Scores nicht und erhöhen sie auch nicht künstlich. Ist die Option deaktiviert, muss das Beurteilungsmodell „bestanden“, „nicht bestanden“ oder einen Score angeben. Ein Ereignis, das eine Bedingung nicht erfüllt, erhält unabhängig von dieser Einstellung die Antwort N/A, ohne dass das Beurteilungsmodell angefragt wird.
Antworten lesen#
Jede Antwort enthält eine Begründung und, wenn die Belege dafür ausreichen, einen Korrekturvorschlag.
- Unter Radar → Protokolle → Messungen findest du alle Antworten. Filtere nach Messung und Wert und öffne eine Antwort, um den Wert, die Begründung, den Vorschlag und die Beurteilungsanfrage anzusehen.
- Der Tab Protokolle der Engine enthält für jede Übersetzungsanfrage eine Spalte Prüfung. Sie zeigt den Durchschnitt der jeweils neuesten Antworten aller benutzerdefinierten Messungen. Dabei zählt „bestanden“ als 100 und „nicht bestanden“ als 0; N/A bleibt unberücksichtigt. Die Spalte zeigt N/A, wenn alle Antworten N/A waren, und Keine Prüfung, wenn keine Antwort vorliegt. Glossareinhaltung, Regeleinhaltung und MQM fließen nicht in diese Spalte ein.
- Berichte stellen die Antworten im Zeitverlauf auf dem Radar-Überblick und unter Erkunden grafisch dar.
Ergibt eine benutzerdefinierte Messung für eine Übersetzung der Engine „nicht bestanden“ oder einen niedrigen Score, kann das auch Engine-Vorschläge auslösen. Die Antwort selbst verändert die Übersetzung nicht.
Prüfung vorhandener Übersetzungen#
Eine Messung, die du heute aktivierst, untersucht neue Ereignisse. Um sie auf bereits erfasste Ereignisse anzuwenden, öffne ihren Tab Nachträgliche Auswertung und wähle einen Zeitraum. Gemessen zeigt oben, für wie viele Ereignisse die Messung über die gesamte erfasste Zeit hinweg eine Antwort geliefert hat – insgesamt und je Quelle, beispielsweise „1.180 von 7.600“ für ein Repository. Diese Angaben bleiben unverändert, wenn du den Zeitraum änderst. Unter den Datumsangaben zeigt der Tab die Anzahl der Ereignisse im gewählten Zeitraum nach Quelle – jedes GitHub-Repository, jeder Zendesk Help Center, jedes Crowdin-Projekt und Lingo.dev – sowie nach den Ereignistypen, die die aktivierten Bedingungen der Messung abdecken. So siehst du, welche Ereignisse die nachträgliche Auswertung einliest. Du kannst entweder nur die Ereignisse messen lassen, für die noch keine Antwort vorliegt, oder den Zeitraum erneut auswerten lassen. Eine erneute Auswertung ersetzt die bisherigen Antworten der Messung für diesen Zeitraum. Speichere die Definitionen und Ergebnisse, die du für einen Vergleich brauchst, bevor du die Messung erneut ausführst.
Bewertungsmodell#
Du wählst das Beurteilungsmodell nicht selbst aus. Glossareinhaltung, Regeleinhaltung, MQM, Bearbeitungsmuster und benutzerdefinierte Messungen werden von einem Modell beurteilt, das die Plattform festlegt. Es wird unabhängig von den Modellen konfiguriert, mit denen die Engine übersetzt. Bearbeitungsrate und Bearbeitungsdistanz werden ohne Modell berechnet.
Eine Messung ändern oder entfernen#
Bearbeite auf dem Tab Allgemein einer benutzerdefinierten Messung den Prompt, den Namen, den Werttyp oder die Option Nicht zutreffend zulassen sowie die Bedingungen und wähle Änderungen speichern. Wenn du das Kriterium änderst, verändert sich auch die Bedeutung späterer Antworten. Bewahre deshalb die bisherige Definition zusammen mit allen Ergebnissen auf, die du zum Vergleich heranziehen möchtest.
Wenn du eine benutzerdefinierte Messung löschst, werden ihre Definition und ihre Bedingungen entfernt. Die erfassten Antworten bleiben erhalten, werden als Unbekannte Messung angezeigt und zählen nicht mehr in der Spalte Prüfung der Engine. Um künftige Prüfungen zu stoppen, ohne die Definition zu verlieren, schalte die Messung stattdessen aus.
Messungen über MCP verwalten#
Wenn du den Lingo.dev MCP server verwendest, kann dein KI-Programmierassistent Messungen auflisten, erstellen und aktualisieren, ihre Bedingungen festlegen, sie ein- oder ausschalten und ihre Antworten lesen:
"Create a pass-or-fail measurement on completed localizations
that checks whether HTML tags are preserved in translations.""Add a 0 to 100 fluency measurement for English to German
translations from the docs engine, sampling 50% of them."