Benutzerdefinierte Messungen
Erstelle eine inhaltsspezifische Kontrolle, lege den Antworttyp und die relevanten Ereignisse fest und teste, ob sie die beabsichtigte Änderung erkennt.
Eine benutzerdefinierte Messung macht eine deiner inhaltlichen Anforderungen so konkret, dass sie sich testen lässt. Sie kann feststellen, ob eine Übersetzung eine Einschränkung beibehält, eine festgelegte Stilvorgabe einhält oder zwei Produktkonzepte klar auseinanderhält. Der Prompt erklärt dem Beurteiler, welcher Unterschied zählt und welche Unterschiede akzeptabel sind.
Auf dieser Seite erstellst du eine Messung unter Radar → Messungen. Wähle localization.completed als Auslöser für die Prüfung von Übersetzungen, die deine Lokalisierungs-Engines erzeugen. Prüfung von Lingo.dev-Übersetzungen erklärt, wie du die Engines auswählst und wo die Antworten erscheinen.
Formuliere die Anforderung als Vergleich #
Angenommen, im Ausgangstext steht, dass eine Funktion nach einer Genehmigung verfügbar werden könnte. Eine Übersetzung kann die Begriffe für die Funktion und die Genehmigung beibehalten und dabei trotzdem aus einer Möglichkeit ein Versprechen machen. Eine sinnvolle Messung muss deshalb die Beziehung zwischen diesen Begriffen untersuchen, statt nur Begriffe abzugleichen.
Für diese Anforderung könnte ein Prompt mit boolescher Antwort so lauten:
Beispiel-Prompt: Gewissheit und Bedingungen beibehalten
Vergleiche die Aussagen im Ausgangs- und Zieltext. Gib true zurück, wenn der Zieltext den Grad der Gewissheit oder Verpflichtung aus dem Ausgangstext, die zugehörigen Bedingungen und deren Zusammenhang beibehält. Lass natürliche Änderungen an Wortwahl und Satzbau zu.
Gib false zurück, wenn aus einer Möglichkeit ein Versprechen wird, sich eine Verpflichtung ändert oder eine Bedingung entfernt oder der falschen Aussage zugeordnet wird. Benenne in der Erklärung die betroffenen Formulierungen im Ausgangs- und Zieltext und schlage eine Korrektur vor, wenn die Belege sie rechtfertigen.
Gib null zurück, wenn der Text keine relevante Aussage enthält oder die verfügbaren Belege keinen Vergleich zulassen. Erkläre, welcher Fall vorliegt und welche Belege gegebenenfalls fehlen.
Der Prompt stellt eine klar eingegrenzte Frage und liefert einen Maßstab, anhand dessen sich die Antwort hinterfragen lässt. Er verlangt vom Beurteiler nicht, den gesamten Qualitätsstandard des Teams zu erfinden.
Erstelle die Messung #
- Lege unter Radar → Messungen eine neue Messung an und gib den Prompt ein.
- Gib ihr einen aussagekräftigen Namen, zum Beispiel Gewissheit und Bedingungen beibehalten.
- Wähle unter Wert die Option Bestanden oder nicht bestanden für eine boolesche Antwort oder 0 bis 100 für eine numerische Skala, deren Zwischenwerte du definieren kannst.
- Lass Nicht zutreffend zulassen aktiviert, wenn der Beurteiler wie im Beispiel-Prompt mit N/A antworten können soll. Ist die Option deaktiviert, muss er „Bestanden“, „Nicht bestanden“ oder einen Punktwert zurückgeben.
- Wähle den Auslöser und die Sprachen. Im Formular ist zunächst die abgeschlossene Lokalisierung ausgewählt. Ändere diese Auswahl, wenn die benötigten Belege über einen anderen Ereignistyp eingehen. Wenn du keine Sprachen auswählst, gilt die Messung für alle Zielsprachen.
- Wähle Messung erstellen. Die Definition wird mit aktivierter Ereignisbedingung gespeichert. Auf dem Tab Allgemein kannst du diese Bedingung nach Ausgangssprache, Engine oder Stichprobe eingrenzen oder über Ereignis auswählen weitere Ereignistypen hinzufügen.
Der Beurteiler verwendet das von der Plattform verwaltete Evaluierungsmodell. Der Prompt der Messung wählt weder das Generierungsmodell aus, noch ändert er die Vorgaben der Lokalisierungs-Engine oder schafft eine zusätzliche Möglichkeit zum Hochladen von Inhalten. Konfiguriere einen unterstützten Eingang, um die Belege bereitzustellen.
So funktioniert das Antwortschema #
| Antworttyp | Zurückgegebenes Urteil |
|---|---|
bool | pass: true, false oder null. |
score | score: ein endlicher Wert von 0 bis einschließlich 100 oder null. |
Beide Typen enthalten reasoning und suggestion, die jeweils null sein können. Ein Urteil mit dem Wert null ist nur möglich, wenn Nicht zutreffend zulassen aktiviert ist. Null bedeutet, dass der Beurteiler das angeforderte Urteil nicht abgeben konnte. Die Begründung kann auf Nichtanwendbarkeit, Unsicherheit oder fehlende Belege hinweisen. Ein Ereignis, das die Auswahlkriterien einer Bedingung nicht erfüllt, wird unabhängig von dieser Einstellung als N/A markiert, ohne den Beurteiler einzubeziehen. Ein Prozentwert ist ein Wert auf deiner definierten Skala – nicht automatisch die Wahrscheinlichkeit, dass die Übersetzung korrekt ist.
Im Ergebnisverlauf wird der boolesche Wert oder Punktwert über value, valueKind und notApplicable dargestellt. Achte auf die N/A-Anzeige, bevor du eine numerische Null interpretierst. Ergebnisse erklärt diese Darstellung und die verfügbaren Ablaufdetails der Beurteilung.
Teste, welche Unterschiede der Prompt erkennt #
Erzeuge nach dem Speichern der Bedingung eine kleine Auswahl unterstützter Testereignisse oder nutze eine zeitlich begrenzte historische Evaluierung für vorhandene Ereignisse. Beziehe bekannte Fehler ebenso ein wie akzeptable Übersetzungen: eine geänderte Zusage, eine entfernte Bedingung, eine nicht relevante Beschriftung, einen Fall ohne Ausgangstext und eine natürliche Umformulierung, die die Bedeutung beibehält.
Lies die Antwort im direkten Vergleich mit dem tatsächlichen Text. Wenn die Kontrolle eine akzeptable Umformulierung beanstandet, sieh nach, welche Anweisung den Fehlalarm begünstigt hat. Übersieht sie eine entfernte Bedingung, formuliere die Anforderung eindeutiger und teste sie an Beispielen, die du nicht zur Überarbeitung des Prompts verwendet hast. Der Leitfaden zur Gestaltung von Messungen geht über diese erste Einrichtung hinaus und vertieft die Kalibrierung und Berichterstattung.
Pflege Definition und Geltungsbereich #
Benutzerdefinierte Messungen gehören der Organisation. Prompt, Name, Werttyp und die Option Nicht zutreffend zulassen lassen sich auf dem Tab Allgemein bearbeiten. Die Bedingungen legen einzelne Ereignistypen fest und grenzen sie nach Sprachen, Ausgangssprachen, Engines und Stichprobe ein. Die Sprachauswahl folgt der Sprachhierarchie: fr wählt auch fr-CA aus, während fr-CA nicht fr-FR auswählt. Siehe Ereignisauswahl.
Sichere die bisherige Definition und nützliche Ergebnisse, bevor du änderst, was als Fehler gilt. Die historische Evaluierung verwendet die aktuelle Definition. Wenn sie einen Zeitraum erneut auswertet, ersetzt sie die Antworten in diesem Intervall. Die Ergebnisse beider Kriterienstände lassen sich damit also nicht für einen Vergleich aufbewahren. Löschst du die Definition, bleiben die zuvor aufgezeichneten Werte ohne diese Definition bestehen. Wenn du nur künftige Kontrollen stoppen möchtest, ist es der gezieltere Eingriff, die Messung zu deaktivieren.