Übersetzungen in deiner Pipeline messen
Ergänze deinen bestehenden Übersetzungsworkflow um wiederholbare Messungen und halte Revisionen, Antworten und noch offene Vorgänge eindeutig zuordenbar.
In einem bestehenden Übersetzungsworkflow ist bereits festgelegt, woher die Inhalte stammen und wohin akzeptierte Texte gehören. Setze die Messung dort an, wo sich Quell- und Zielversionen aufbewahren lassen, und ordne anschließend jede Antwort dem zugehörigen Datensatz zu. So kann das Team die Qualität untersuchen, ohne zu ändern, welches System die Übersetzungen erstellt oder verwaltet.
Dieser Leitfaden begleitet eine wiederkehrende Messung von der Erfassung über die Wiederaufnahme bis zur Berichterstattung. Beginne mit einem klar definierten Kriterium, etwa dem Erhalt von Bedingungen in Produktaussagen. Eine Messung der Übersetzungsqualität entwerfen erklärt, wie du dieses Kriterium formulierst und kalibrierst.
Verbinde die Messung mit einer konkreten Eingangsschnittstelle #
Wähle den Ausführungsweg, bevor du die Automatisierung darauf aufbaust:
| Bestehende Vorgänge | Messverfahren |
|---|---|
| Crowdin-Vorschläge und -Übersetzungen | Verbinde Crowdin, aktiviere eine Ereignismessung und sieh dir die erfassten Aktivitäten und Ergebnisse in Radar an. |
| Lokale Übersetzungsdateien | Führe lingo score mit einer Scorer- und Modellkonfiguration aus und bewahre die lokale Ergebnisdatei auf. |
| Lingo.dev-Übersetzungsanfragen | Führe eine Messung für die abgeschlossenen Lokalisierungen dieser Anfragen durch und lies die Antworten in Radar. |
Die Quelle der in Radar erfassten Ereignisse bestimmt, welche Nutzdaten eintreffen. Sie bietet keinen allgemeinen Endpunkt zum Hochladen beliebiger Übersetzungen oder Scores. Bewahre bei einer selbst entwickelten Pipeline ohne unterstützte Eingangsschnittstelle den unten beschriebenen Revisionsdatensatz auf und richte den Übertragungsweg ein, bevor du die Übermittlung automatisierst. Ein benutzerdefiniertes Kriterium allein schafft diesen Übertragungsweg nicht.
Übersetzungen erfassen erklärt diese Grenzen. Die Messmethode ist überall dort nützlich, wo akzeptierte Texte verwaltet werden. Lokale Qualitätsmessungen und der Ereignisverlauf liefern lediglich unterschiedliche Datensätze, die miteinander abgeglichen werden müssen.
Bewahre Quell- und Zielversionen gemeinsam auf #
Wähle eine Inhaltskennung, die auch nach Bearbeitungen bestehen bleibt, und erfasse die konkreten Quell- und Zielrevisionen, die ausgewertet wurden. Eine Nachrichten-ID allein reicht nicht aus, um eine Antwort zum gestrigen Text von einer Antwort zur heutigen Korrektur zu unterscheiden.
Ein beispielhafter Datensatz, den du als Kunde selbst verwaltest, könnte Folgendes enthalten:
{
"contentId": "checkout.delivery",
"sourceRevision": "source-17",
"targetRevision": "fr-12",
"targetLocale": "fr",
"criterionVersion": "delivery-promise-3",
"sourceText": "Your order will arrive within five business days.",
"targetTextLocation": "accepted catalog at revision fr-12"
}Dies ist ein Beispiel zur Nachverfolgung, kein Lingo.dev-Anfrageschema. Speichere den tatsächlichen Zieltext oder eine unveränderliche Referenz, auf die die auswertende Instanz zugreifen kann. Ein Link auf die „neueste Version“ kann sich während der Auswertung ändern. Halte im Datensatz auch den Zeitpunkt des Auftretens, den Ersteller, sofern bekannt, und den Speicherort des akzeptierten Textes fest.
Ergänze die Belege passend zur Fragestellung. Für den Bedeutungserhalt müssen Quell- und Zieltext gemeinsam vorliegen; für Bearbeitungsaktivitäten ist der tatsächliche Entwurf nötig; bei Terminologie können eine Definition und der Verwendungskontext erforderlich sein. Für eine Rechtschreibkontrolle reicht möglicherweise der Zieltext allein. Fehlen Belege für eine Nachricht, die für die Messung infrage kommt, bleibt das eine Lücke in der Beurteilung – kein Grund, die Nachricht als bestanden oder irrelevant zu zählen.
Durchlaufe einen vollständigen Zyklus von der Erfassung bis zur Antwort #
Befolge für Crowdin die Verbindungsanleitung und konfiguriere anschließend die Ereignismessung, ihren Auslöser und die Zielsprachen. Vergewissere dich bei Lingo.dev-Übersetzungen, dass die Engines, Quell- und Zielsprachen sowie die Stichprobe der Messung richtig eingestellt sind. Speichere diese Einstellungen, bevor du die Testaktivität oder Testanfrage erzeugst.
Suche das daraus entstandene Ereignis oder die Anfrage und vergleiche den zugehörigen Text mit dem aufbewahrten Datensatz. Sieh dir anschließend die Antwort anhand des Kriteriums an. Ein empfangenes Ereignis, eine ausgewählte Auswertung und eine abgeschlossene Antwort sind jeweils eigene Meilensteine. Eine neue Auswahleinstellung wertet alte Ereignisse nicht rückwirkend aus. Nutze die historische Auswertung, wenn genau das dein Ziel ist.
Halte im Workflow einen einfachen Datensatz für den Abgleich fest: ausgewählte Revision, Kennung des empfangenen Ereignisses oder der Anfrage, Kennung der Messung, abgeschlossene Antwort und alle noch offenen Lücken. Ereignisse und Ergebnisse erläutern die tatsächlich verfügbaren Felder. Bei lokalen Qualitätsmessungen musst du stattdessen die Quelldateien, die Konfiguration und die Ausgabedatei gemeinsam aufbewahren.
Behandle Wiederholungen und Korrekturen unterschiedlich #
Ein erneuter Versuch liefert dieselbe Revision noch einmal. Eine Korrektur erzeugt dagegen eine neue Zielrevision, selbst wenn die Inhalts-ID gleich bleibt. Halte diesen Unterschied in deinem Datensatz fest, bevor du das Verfahren der Quelle zur Deduplizierung anwendest.
Eine korrigierte Frist sollte beispielsweise eine neue Zielrevision erhalten und erneut mit dem zugehörigen Quelltext verglichen werden. Bewahre den früheren Text und die frühere Antwort auf, wenn du zeigen möchtest, was sich verbessert hat. Hat sich auch die Zusage im Quelltext geändert, bewahre dessen neue Revision auf. Ein Vergleich des neuen Zieltexts mit dem alten Quelltext kann sonst einen scheinbaren Fehler ergeben.
Für Zustellungen verschiedener Anbieter gibt es keine einheitliche, uneingeschränkte Idempotenzgarantie. Wiederholte Aktionen zur Prüfung in Crowdin können unterschiedliche Ereigniskennungen haben, während andere Aktivitäten ihre eigenen Angaben zum Auftreten verwenden. Gleiche die verfügbaren Empfangsnachweise und Ergebnisse ab, bevor du Vorgänge wiederholst, deren Ausgang ungewiss ist.
Setze beim letzten nachgewiesenen Meilenstein wieder an #
| Was sich feststellen lässt | Nächster Untersuchungsschritt |
|---|---|
| Die Quelle enthält die Revision, aber es ist kein Ereignis zu finden | Kontrolliere die Verbindung, den unterstützten Aktivitätstyp, das Zeitfenster und die Nachweise der Erfassung. |
| Das Ereignis liegt vor, aber es ist keine Antwort zu finden | Kontrolliere die aktivierten Messbedingungen, die Sprachen, die erforderlichen Nutzdaten und die asynchrone Verarbeitung. |
| Die Beurteilungsinstanz hat den Vorgang mit einer nicht eindeutigen Antwort abgeschlossen | Lies ihre Erklärung und ergänze fehlende Belege oder kläre die Mehrdeutigkeit. |
| Das Kriterium ist tatsächlich nicht anwendbar | Halte diese Entscheidung fest und rechne das Element nicht in den Nenner der Qualitätsberechnung für dieses Kriterium ein. |
| Die Ausführung ist fehlgeschlagen | Ermittle den Fehler, bevor du die betroffenen Vorgänge über den jeweils unterstützten Weg erneut ausführst. |
Allein aus dem Fehlen eines Ergebnisses lässt sich nicht erkennen, ob ein Vorgang noch wartet, fehlgeschlagen ist, die Eingabe verloren ging oder er gar nicht angefordert wurde. Halte diese Unsicherheit fest, bis Belege Klarheit schaffen. Eine erneute Generierung ist keine zuverlässige Lösung für eine fehlende asynchrone Auswertung.
Wenn du zur Wiederaufnahme die historische Auswertung nutzt, lasse Nur noch nicht gemessene Ereignisse aktiviert. So schließt du Lücken, ohne bestehende Antworten anzutasten. Eine erneute Messung des Zeitraums ersetzt frühere Antworten für diese Messung im gesamten ausgewählten Intervall. Bewahre sie deshalb vorher auf. Vergewissere dich, dass die erwarteten Ereignisse und die zurückgegebenen Antworten vorliegen, statt die Antwort auf die Startanfrage als Abschluss zu betrachten.
Berichte über Antworten und noch unbeantwortete Vorgänge #
Betrachte als Beispiel eine Gruppe von 50 Revisionen, die für die Messung infrage kommen. Für 45 wurden die Auswertungen abgeschlossen; für 40 davon lagen eindeutige Antworten vor. Von diesen erfüllten 36 die Anforderung und 4 nicht.
Der Anteil abgeschlossener Auswertungen beträgt 45/50, also 90 %. Der Anteil mit eindeutigen Antworten beträgt 40/50, also 80 %. Die Bestehensquote unter den eindeutigen Antworten beträgt 36/40, also 90 %. Die fünf abgeschlossenen Auswertungen mit nicht eindeutigen Antworten und die fünf Revisionen ohne abgeschlossene Auswertung bleiben getrennt ausgewiesen.
Schlüssle dieselben Zahlen nach Sprache oder Inhaltsklasse auf, wenn sich fehlende Vorgänge ungleich verteilen. Mache eine ungeklärte Anwendbarkeit weiterhin sichtbar, bis sie geklärt ist. Eine hohe Bestehensquote bei Datensätzen mit Antworten sagt nichts über die Datensätze ohne Antworten aus.
Bewahre das Kriterium zusammen mit dem Ergebnis auf #
Bewahre den Prompt, die Anforderungen an Belege, die Antwortdefinitionen und die Konfiguration der auswertenden Instanz zusammen mit den Inhaltsrevisionen auf. Teste geänderte Definitionen an bekannten Beispielen, bevor du die zugehörigen Antworten zu einem Trend zusammenführst. Ein geändertes Kriterium kann die Scores verändern, ohne dass sich die Übersetzungen ändern.
Wenn ein Befund bestätigt ist, korrigiere den Text im zuständigen System und werte die neue Revision aus. Qualitätsbefunde validieren hilft dir, diese Diagnose abzusichern. Die Messung liefert Belege für die Entscheidung; das Zurückschreiben und die Veröffentlichung bleiben eigenständige, ausdrücklich auszuführende Aktionen im bestehenden Workflow.