Integrierte Messungen
Erfahren Sie, wie integrierte Qualitäts- und Änderungsprüfungen funktionieren: welche Eingaben und Algorithmen sie verwenden, wie ihre Antwortskalen aufgebaut sind und was bei fehlenden Nachweisen passiert.
Integrierte Messungen beantworten konkrete Fragen zu einer Übersetzung oder Änderung. Die Änderungsrate zeigt, ob sich zwei Texte unterscheiden. Die Glossartreue zeigt, ob relevante Begriffe verwendet wurden. Zusammen sind diese Werte aussagekräftig, solange jeder seine eigene Bedeutung behält. Eine universelle Qualitätsskala bilden sie nicht.
Aktivieren Sie diese Prüfungen unter Messungen. Glossartreue und Regeltreue lassen sich auch für einzelne Engines auf dem Tab Bewerter aktivieren, wie unter Prüfung von Lingo.dev-Übersetzungen beschrieben. Diese Referenz erläutert, was jede Messung berechnet und welche Nachweise ihre Antwort stützen können.
MQM #
MQM fordert ein Modell auf, ausschließlich die Fehler der Übersetzung aufzulisten – niemals einen Score. Für jeden Fehler liefert es die genauen fehlerhaften Wörter, eine der sieben MQM-Core-Dimensionen (Genauigkeit, Terminologie, sprachliche Konventionen, Stil, sprach- und regionsspezifische Konventionen, Zielgruppeneignung, Design und Markup), einen Schweregrad (neutral, geringfügig, schwerwiegend oder kritisch) und eine einzeilige Fehlerbeschreibung. Wenn das Ereignis eine Lokalisierungs-Engine nennt, erhält das Modell außerdem die aktuellen Vorgaben dieser Engine: ihre Markenstimme für die Sprache, ihre Regeln und die im Ausgangstext verwendeten Glossarbegriffe sowie den Kontext der Anfrage.
MQM beurteilt auch Übersetzungsänderungen: jede Erstellung und Aktualisierung eines Zieltexts, unabhängig davon, wer sie vorgenommen hat. In Zendesk und GitHub wird eine von Lingo.dev geschriebene Version – gemäß der Definition im Abschnitt zur Änderungsrate weiter unten – anhand der Markenstimme, Regeln und Glossarbegriffe beurteilt, mit denen die Übersetzung erstellt wurde. Die Antwort nennt den Auftrag, der sie erstellt hat. Jede andere Version, etwa eine Bearbeitung durch eine Person, eine Rücksetzung, die Übersetzung eines anderen Tools oder eine Änderung in Crowdin, wird ohne die Vorgaben einer Engine beurteilt. Das Feld isLingoRecord der Antwort unterscheidet diese Fälle: false für die anderen Versionen und true für alle übrigen Antworten, einschließlich abgeschlossener Lokalisierungen. So kann Explore die Übersetzungen von Lingo.dev mit den übrigen vergleichen. Übersetzungsänderungen nennen keine Engine. Eine auf Engines beschränkte MQM-Bedingung gibt für sie daher N/A zurück.
Der Score wird aus dieser Liste berechnet. Fehler, deren Wörter nicht in der Übersetzung vorkommen, werden verworfen. Jeder verbleibende Fehler wird nach seinem Schweregrad gewichtet: neutral mit 0, geringfügig mit 1, schwerwiegend mit 5 und kritisch mit 25. Die Summe wird auf 100 Wörter im Ausgangstext normiert:
max(0, 100 − 100 × summed error weights / source word count)100 bedeutet, dass keine Fehler vorliegen. Dieselbe Formel ergibt einen Score pro Dimension. Die Wörter des Ausgangstexts werden in den Textwerten gezählt, nicht in deren Schlüsseln. Bei Schriften ohne Leerzeichen, etwa Chinesisch, Japanisch, Koreanisch und Thailändisch, zählt jedes Zeichen als ein Wort. Enthält der Ausgangstext keine Wörter, lautet die Antwort N/A, ohne dass das Modell befragt wird.
MQM wird bei abgeschlossenen Lokalisierungsereignissen sowie bei der Erstellung und Aktualisierung von Zieltexten ausgeführt. Glossartreue und Regeltreue sind für abgeschlossene Lokalisierungsereignisse konfiguriert. Änderungsrate, Änderungsdistanz und Änderungsmuster werden bei der Erstellung und Aktualisierung von Zieltexten ausgeführt. Die zulässigen Ereignistypen integrierter Messungen sind von der Plattform vorgegeben. Sehen Sie sich beim Aktivieren die aktuellen Einstellungen der Messung an.
Änderungsrate #
Die Änderungsrate vergleicht eine Zieltextänderung mit der vorherigen Version der Zeichenfolge: der zuletzt erfassten früheren Erstellung oder Aktualisierung eines Zieltexts für dieselbe Zeichenfolge und Sprache. Ist keine solche Version erfasst, verwendet sie den Text vor der Änderung, den das Ereignis mitliefert. Vor dem Vergleich werden Leerraumzeichen am Anfang und Ende entfernt und jede Folge von Leerraumzeichen innerhalb des Texts durch ein einzelnes Leerzeichen ersetzt. Eine Zeichenfolge ohne frühere Version gilt beim Vergleich als unverändert.
Wo Lingo.dev die Übersetzungen selbst schreibt, liefern die drei Änderungsmaße Antworten für jede von Lingo.dev geschriebene Version und für die Änderung, die eine Person daran vornimmt. Lingo.dev erfasst jede Übersetzung, die es übergibt: sowohl die Texte, die seine Synchronisierung in Zendesk schreibt oder per Commit in GitHub ablegt, als auch die Texte, die API, CLI und CI zurückgeben. Eine Version gilt als von Lingo.dev geschrieben, wenn Lingo.dev sie selbst geschrieben hat – erkennbar am Commit oder am von Zendesk vergebenen Zeitstempel. Das gilt auch, wenn sie die letzte Übersetzung enthält, die Lingo.dev vor dieser Version für die Zeichenfolge übergeben hat, etwa eine mit der CLI erstellte Übersetzung. Jede Übersetzung zählt einmal, bei der ersten Version, die sie enthält. Eine Version, die sie nach der Änderung durch eine Person wiederherstellt, gilt als Rücksetzung durch diese Person.
In diesen Fällen lautet die Antwort für eine von Lingo.dev geschriebene Version immer unverändert: Änderungsrate false und Änderungsdistanz 0; bei Änderungsmustern lautet die Antwort nicht anwendbar. Eine von einer Person erstellte Version, die direkt auf eine von Lingo.dev geschriebene Version folgt, wird mit dieser verglichen. Die Antworten sind dann Änderungsrate true, die Distanz der Änderung und ihre Änderungsmuster. Hat die Person den Text von Lingo.dev bis auf Leerraumzeichen beibehalten, lautet die Antwort für die Änderung nicht anwendbar („Die Person hat den Text von Lingo.dev beibehalten“). Dasselbe gilt für eine Änderung an einer Version, die Lingo.dev nicht geschrieben hat, oder wenn keine vorherige Version erfasst ist („Lingo.dev hat die vorherige Version nicht geschrieben“). Dazu zählen auch weitere Bearbeitungen durch eine Person und ihre Rücksetzung auf den Text von Lingo.dev. Jedes false steht somit für eine von Lingo.dev geschriebene Übersetzung und jedes true für eine Übersetzung, die eine Person geändert hat. Die Änderungsrate ergibt sich aus der Anzahl der true-Antworten geteilt durch die Anzahl der false-Antworten: Werden 5 von 100 durch Lingo.dev geschriebenen Übersetzungen geändert, ergibt das 5 %. Die durchschnittliche Änderungsdistanz pro von Lingo.dev geschriebener Übersetzung ist entsprechend die Summe der Änderungsdistanzen geteilt durch die Anzahl der Versionen von Lingo.dev.
In anderen Quellen, etwa Crowdin, schreibt Lingo.dev keine Übersetzungen. Eine Änderung wird daher mit der vorherigen Version verglichen, unabhängig davon, wer die beiden Versionen erstellt hat.
| Antwort | Bedeutung |
|---|---|
true | Die normalisierten Texte unterscheiden sich; in Zendesk und GitHub hat eine Person die Version von Lingo.dev geändert. |
false | Die normalisierten Texte stimmen überein oder die Zeichenfolge hat außerhalb von Zendesk und GitHub keine frühere Version; in Zendesk und GitHub hat Lingo.dev diese Version geschrieben. |
| N/A | In Zendesk und GitHub hat die Person den Text von Lingo.dev beibehalten oder Lingo.dev hat die vorherige Version nicht geschrieben. |
Zum Beispiel gelten Save changes und Save changes beim Vergleich als unverändert, Save changes und Apply changes dagegen als bearbeitet. Keines dieser Ergebnisse sagt aus, welche Formulierung besser ist.
Ist der Entwurf vorhanden, das Zielfeld aber nicht, vergleicht die Implementierung den Entwurf mit einem leeren Zieltext. Vergewissern Sie sich anhand der Nachweise des Ereignisses, bevor Sie dies als abgeschlossene menschliche Bearbeitung werten. Geben Sie für eine Sammlung den Anteil der Vergleiche mit Änderungen an allen verwertbaren Entwurf-Zieltext-Vergleichen an und weisen Sie fehlende Vergleiche weiterhin aus.
Änderungsdistanz #
Die Änderungsdistanz berechnet die Levenshtein-Distanz anhand der ursprünglichen, nicht normalisierten Texte: die Anzahl der Einfügungen, Löschungen und Ersetzungen, die nötig sind, um einen Text in den anderen umzuwandeln. Sie teilt diese Distanz durch die Länge des längeren Texts und multipliziert das Ergebnis mit 100.
Null bedeutet, dass die Texte identisch sind. Ein höherer Wert bedeutet mehr Änderungen am Text. Zwei leere Zeichenfolgen ergeben null, ebenso eine Zeichenfolge ohne frühere Version. Ein fehlender Zieltext wird wie bei der Änderungsrate als leer behandelt.
Die Implementierung vergleicht UTF-16-Codeeinheiten, nicht Wörter oder Zeichen, wie sie von Nutzenden wahrgenommen werden. Sie überspringt den übereinstimmenden Anfang und das übereinstimmende Ende der beiden Texte. Ergeben die abweichenden Teile dennoch mehr als etwa 3,2 Milliarden Zeichenpaare, beispielsweise bei zwei voneinander unabhängigen Texten mit jeweils 57.000 Zeichen, lautet die Antwort nicht anwendbar mit der Begründung „Die Texte sind zu lang für einen Vergleich“. Leerraumzeichen können zur Änderungsdistanz beitragen, auch wenn die Änderungsrate das Textpaar als unverändert einstuft. Eine Änderung um eine Einheit wirkt sich bei einer kurzen Zeichenfolge außerdem stärker auf den Prozentwert aus als bei einer langen.
Verwenden Sie die beiden Änderungsmaße gemeinsam, um häufige kleine Änderungen von gelegentlichen umfangreichen Neufassungen zu unterscheiden. Stellen Sie außerhalb von Zendesk und GitHub zuerst sicher, dass die richtigen Versionen verglichen werden: Die vorherige Version kann eine frühere Bearbeitung statt der ausgelieferten Übersetzung sein. Keines der Maße belegt, welche Fehler behoben wurden, wie viel Zeit aufgewendet wurde oder ob sich die Qualität verbessert hat.
Geben Sie beim Aggregieren der Distanz die Berechnungsmethode an. Der Durchschnitt der Prozentwerte pro Paar gewichtet jedes Paar gleich. Die Division der gesamten Rohdistanz durch die gesamte Vergleichslänge gewichtet längere Texte stärker. Die Antwort eines einzelnen Ereignisses legt nicht fest, welche dieser Formeln verwendet wird.
Glossartreue #
Die Glossartreue gleicht Ausgangs- und Zieltext mit den Begriffen ab, die zum Zeitpunkt der Auswertung mit der Lokalisierungs-Engine verknüpft sind. Sie benötigt den Ausgangstext, den Zieltext und die Identität einer Lokalisierungs-Engine. Ausgewählt werden verknüpfte Begriffe, deren Zielsprache übereinstimmt und deren Ausgangsform im Ausgangstext vorkommt. Dazu wird nach Teilzeichenfolgen gesucht, ohne die Groß- und Kleinschreibung zu berücksichtigen.
Das Beurteilungsmodell wertet jeden bereitgestellten Begriff aus. Seine Anweisungen erlauben die natürliche grammatische Flexion benutzerdefinierter Übersetzungen und verlangen, dass nicht übersetzbare Begriffe unverändert bleiben. Sie erlauben eine übliche Übersetzung, wenn ein Kontexthinweis eindeutig nicht zutrifft, und akzeptieren einen von mehreren widersprüchlichen Einträgen für denselben Begriff. Ein hoher Score belegt daher nicht, dass widersprüchliche Glossardefinitionen sinnvolle Vorgaben sind.
Der Score berechnet sich wie folgt:
returned findings marked applied / all returned term findings × 100Gezählt werden die zurückgegebenen Ergebnisse, nicht jedes Vorkommen eines Begriffs oder jeder Eintrag im Glossar der Organisation. Nicht verwendete Begriffe fließen in die Erläuterung ein. Gibt das Beurteilungsmodell keine Ergebnisse zurück, enthält die abgeschlossene Antwort keinen bestimmbaren Score.
Fehlende Pflichtfelder, eine fehlende passende Lokalisierungs-Engine, fehlende verknüpfte Begriffe oder das Fehlen ausgewählter Begriffe aus dem Ausgangstext können zu N/A führen, bevor ein Beurteilungsmodell ausgeführt wird. Lesen Sie die Begründung. Ein tatsächlich irrelevanter Begriff benötigt keine Beurteilung. Bei einer Nachricht, für die Terminologienachweise hätten vorliegen sollen, bleibt dagegen eine Nachweislücke.
Diese Messung verwendet die aktuellen Vorgaben – sowohl bei Live-Ereignissen als auch bei der nachträglichen Verarbeitung. Sie rekonstruiert nicht das Glossar, das bei der Generierung verwendet wurde. Anfragen zeigt den Ausgangstext-Batch und die Modellversuche, aber keine vollständige Momentaufnahme des Prompts oder Glossars. Speichern Sie den übermittelten Kontext und die relevanten Begriffsdefinitionen, bevor Sie Auswertungen historischer Ereignisse vergleichen. Verwenden Sie anschließend Glossare für akzeptierte Terminologieänderungen.
Regeltreue #
Die Regeltreue verwendet den Ausgangstext, den Zieltext, die Identität einer Lokalisierungs-Engine und die aktuell verknüpften Regeln, die für die Zielsprache gelten. Das Beurteilungsmodell gibt für jede bereitgestellte Regel ein Ergebnis zurück: befolgt, nicht befolgt oder null, wenn die Regel nicht anwendbar ist.
Der Score berechnet sich wie folgt:
returned findings marked followed / returned non-null rule findings × 100Regelergebnisse mit dem Wert null werden ausgeschlossen. Sind alle zurückgegebenen Ergebnisse null, kann das Beurteilungsmodell die Auswertung ohne Gesamtscore abschließen. Fehlende Nachweise für Ausgangstext, Zieltext oder Lokalisierungs-Engine können dagegen verhindern, dass das Beurteilungsmodell überhaupt ausgeführt wird. Beide Fälle können als N/A erscheinen. Sehen Sie sich daher die Begründung und die verfügbaren Ausführungsnachweise an.
Lesen Sie die nicht befolgte Regel und die Wörter, auf die sie sich bezieht, bevor Sie die Übersetzung ändern. Eine mehrdeutige oder widersprüchliche Regel muss möglicherweise unter Regeln präzisiert werden. Wie bei der Glossartreue verwendet die Auswertung historischer Ereignisse die aktuell verknüpften Vorgaben statt einer Momentaufnahme vom Zeitpunkt der Generierung.
Änderungsmuster #
Die Analyse von Änderungsmustern fordert ein Modell auf, Änderungen zwischen Entwurf und Zieltext zu klassifizieren. Sie kann einem Vergleich mehrere Kategorien zuweisen:
| Bezeichnung | Beschriebene Änderung |
|---|---|
register | Formalität oder Höflichkeit. |
word_choice | Andere Formulierung mit derselben Bedeutung. |
terminology | Ein Produkt- oder Fachbegriff. |
reordering | Reihenfolge von Wörtern oder Teilsätzen. |
grammar | Kongruenz, Kasus, Tempus oder andere grammatische Aspekte. |
punctuation | Zeichensetzung oder Abstände. |
addition | Ergänzte Bedeutung, die im Entwurf fehlte. |
omission | Entfernte Bedeutung, die der Entwurf hinzugefügt hatte. |
mistranslation | Eine veränderte Interpretation der Bedeutung. |
formatting | Platzhalter, Markup, Groß- und Kleinschreibung oder Zahlen. |
Der Klassifikator überspringt Zeichenfolgen ohne frühere Version sowie Texte, die nach der Normalisierung von Leerraumzeichen übereinstimmen. Seine Bezeichnungen beschreiben vermutete Änderungsarten, keine unabhängig bestätigten Mängel oder Zeitersparnisse.
Die aktuellen Abrufwege für Ergebnislisten und Details beschränken sich auf boolesche und numerische Antworten. Obwohl das Detailschema ein Feld answer für strukturierte Daten enthält, geben diese Abrufwege derzeit keine gespeicherten JSON-Zeilen zu Änderungsmustern zurück. Nutzen Sie die zugänglichen Änderungsvergleiche und die eingesehenen Texte, statt von diesen Vorgängen einen kategorisierten Export zu erwarten.
Nutzung und Interpretation #
Änderungsrate und Änderungsdistanz berechnen Antworten ohne LLM-Kosten. Erfolgreiche Messaktivität wird separat als Nutzung erfasst. Modellkosten von null bedeuten daher nicht, dass die Messungen kostenlos sind. Kosten erläutert die Abgrenzung der Abrechnung; Ergebnisse erläutert Antworten mit dem Wert null und die Abdeckung.