Übersetzungsmodelle vergleichen
Führen Sie Übersetzungstests unter gleichen Bedingungen durch, dokumentieren Sie diese und vergleichen Sie Qualität, Kosten und ausbleibende Ergebnisse für einen klar definierten Anwendungsfall.
Zwei Modelle können sich bei einer Inhaltsart in entscheidenden Punkten unterscheiden, während diese Unterschiede bei einer anderen nicht ins Gewicht fallen. Ein sinnvoller Vergleich stellt eine konkrete Entscheidungsfrage: Welche Konfiguration erhält die Produktaussagen in den angebotenen Sprachen – bei vertretbaren Kosten und einer akzeptablen Fehlerquote?
Definieren Sie die Entscheidungsfrage, bevor Sie Beispiele auswählen #
Benennen Sie die Inhaltsart, die Zielsprachen und die Anforderung. „Welche Konfiguration erhält unsere Zusagen beim Bezahlvorgang auf Französisch?“ kann ein Ergebnis liefern, aus dem sich konkrete Maßnahmen ableiten lassen. Eine Modellrangliste ohne klar abgegrenzte Inhalte und Sprachen lässt nicht erkennen, für welche Fälle das Ergebnis gilt.
Wählen Sie alltägliche und schwierige Beispiele aus, die für diese Entscheidung repräsentativ sind. Berücksichtigen Sie je nach Inhalt kurze Oberflächentexte, mehrdeutige Begriffe, zusammenhängende Texte, Platzhalter und Aussagen mit weitreichenden Folgen. Nehmen Sie für jede relevante Sprache genügend Beispiele auf, um sie getrennt vom Gesamtdurchschnitt untersuchen zu können.
Bewahren Sie die Versionen der Ausgangstexte, die Zielsprachen, den Kontext und, soweit vorhanden, Referenzübersetzungen auf. Eine Referenz ist nur hilfreich, wenn ihr Status und die beabsichtigte Bedeutung bekannt sind; eine vorhandene Übersetzung ist nicht automatisch ein verlässlicher Maßstab. Klären oder kennzeichnen Sie Mehrdeutigkeiten im Ausgangstext, bevor Sie eine plausible Auslegung als Modellfehler einstufen.
Halten Sie einen separaten Beispielsatz für die abschließenden Tests zurück, den Sie nicht zur Anpassung von Prompts oder Vorgaben verwenden. Dokumentieren Sie Ausschlüsse beim jeweiligen Kriterium. Wenn Sie ein schwieriges Beispiel nach einem ungünstigen Ergebnis entfernen, verändern Sie das Experiment. Fehlen für einen zulässigen Fall Belege aus dem Ausgangsmaterial, bleibt eine Beleglücke bestehen.
Halten Sie die Vergleichsbedingungen fest #
Speichern Sie den tatsächlichen Konfigurationstext oder eine abrufbare Version – nicht nur den Namen einer Lokalisierungs-Engine, deren Konfiguration sich ändern kann. Halten Sie für jeden Kandidaten die Modell- und Anbieterkennungen, die Fallback-Reihenfolge, das Glossar, die Regeln, die Markenstimme, den Kontext, die Formatoptionen, die Pipeline, die Richtlinie für die Prüfung und die Definitionen der Kriterien fest.
Bezieht sich die Hypothese auf das Modell, halten Sie alle übrigen Bedingungen konstant. Bezieht sie sich auf die Vorgaben, behalten Sie das Modell bei und ändern Sie das betreffende Glossar oder die Anweisung. Der Vergleich eines Modells ohne zusätzliche Konfiguration mit einer vollständig konfigurierten Lokalisierungs-Engine kann eine betriebliche Frage beantworten. Der Unterschied umfasst jedoch neben dem Modellverhalten auch den Kontext.
Verwenden Sie nach Möglichkeit eine isolierte Vergleichsumgebung, da gemeinsam genutzte Vorgaben auch andere aufrufende Systeme beeinflussen können. Sehen Sie sich die Ausgangskonfiguration an, schlagen Sie die konkrete Konfigurationsänderung vor, holen Sie die erforderliche Genehmigung ein und vergewissern Sie sich vor dem Testlauf, was gespeichert wurde. Delegation an Agenten hilft dabei, diese Grenzen für agentengestützte Arbeit festzulegen.
Führen Sie Tests unter gleichen Bedingungen durch und dokumentieren Sie auch erfolglose Versuche #
Übermitteln Sie dieselbe Version des Ausgangstextes und dieselbe Zielsprache an jede eindeutig identifizierte Konfiguration. Bewahren Sie die unveränderte Ausgabe zusammen mit der Testkennung auf. Dokumentieren Sie das tatsächlich verwendete Modell und jeden Fallback: Ein erfolgreicher Fallback belegt nicht die Übersetzungsleistung des angeforderten Modells.
Behalten Sie Wiederholungsversuche und fehlende Ausgaben in den Aufzeichnungen. Wenn Sie diese stillschweigend durch spätere Erfolge ersetzen, erscheint eine weniger zuverlässige Konfiguration vollständig. Wiederholen Sie einen Teil der Tests unter gleichen Bedingungen, um Schwankungen zu untersuchen. Eine festgelegte Kennung garantiert keine deterministische Ausgabe.
Ein Agent kann dieselben ausgewählten Texte mit zwei genehmigten Konfigurationen verarbeiten lassen und die Ergebnisse zusammenstellen. Legen Sie fest, ob er nur vorhandene Einstellungen lesen, Übersetzungen anfordern oder auch gemeinsam genutzte Konfigurationen ändern darf. Zwei Ausgaben in einem Gespräch schaffen für sich genommen weder einen dauerhaft gespeicherten Experimentverlauf noch einen statistisch gültigen A/B-Test.
Beurteilen Sie die Bedeutung anhand derselben Kriterien #
Definieren Sie die Kriterien nach Möglichkeit, bevor offengelegt wird, welches Modell die jeweilige Ausgabe erzeugt hat. Bei einer Lieferzusage müssen die Frist, die Einschränkung auf Werktage und die Verbindlichkeit erhalten bleiben. Eine flüssige Übersetzung, die zwar die Zahl beibehält, aber wird eintreffen zu kann eintreffen abschwächt, verändert die Aussage.
Kalibrieren Sie die Bewertungsinstanz anhand separat abschließend beurteilter Beispiele. Dazu gehören zulässige Umformulierungen, bekannte Fehler und Fälle mit fehlenden Belegen. Halten Sie die Identität der beurteilenden Instanz von der Identität der erzeugenden Instanz getrennt. Ein Modell, das seine eigene Ausgabe bevorzugt, liefert keine unabhängige Validierung.
Lassen Sie qualifizierte Prüfer nach Möglichkeit folgenreiche Uneinigkeiten ohne Modellkennzeichnungen untersuchen. Vergleichen Sie die konkreten Textpassagen und Anforderungen, bevor Sie Durchschnittswerte betrachten. Qualitätsbefunde validieren hilft bei der Klärung vermuteter Fehler. Das Messdesign legt fest, welche Fälle zulässig sind, was als Fehlalarm oder übersehener Fehler gilt und welche Aussagen die Antworten erlauben.
Berichten Sie über Qualität, Abdeckung und Kosten gemeinsam #
Dokumentieren Sie für jeden ausgewählten Fall in einer Zeile die Version des Ausgangstextes, die Sprache, den Kandidaten, den Testlauf, die tatsächliche Ausgabe, die Bewertung und die bekannten Ausführungskosten. Geben Sie an, auf welche Fälle die Kriterien anwendbar sind, welche Bewertungen abgeschlossen wurden, welche Antworten eindeutig sind und welche Arbeiten ohne abgeschlossene Antwort bleiben. Ungeklärte Anwendbarkeit sollte sichtbar bleiben, statt stillschweigend ausgeschlossen zu werden.
Berechnen Sie die Erfolgsquote unter den zulässigen eindeutigen Antworten und geben Sie deren Abdeckung bezogen auf die benannte zulässige Grundgesamtheit an. Abgeschlossene Bewertungen ohne eindeutiges Ergebnis zählen als abgeschlossen, liefern aber kein belegtes Qualitätsurteil. Aus dem Verlauf erfolgreicher Ergebnisse allein lassen sich nicht alle ausgewählten Elemente rekonstruieren, die nie bis zur Bewertung gelangt sind.
Schlüsseln Sie die Ergebnisse nach Sprache und Inhaltsgruppe auf, bevor Sie sie zusammenfassen. Ein hoher Durchschnitt kann einen schwerwiegenden Fehler in einer kleinen, aber wichtigen Gruppe verdecken. Geben Sie an, wie die Stichprobe ausgewählt wurde. Ein anhand bekannter Fehler zusammengestellter Beispielsatz kann die allgemeine Fehlerquote im gewöhnlichen Anfrageaufkommen nicht belegen.
Grenzen Sie die erfassten Vorgänge für Kosten und Latenz auf dieselbe Weise ab. Berücksichtigen Sie dokumentierte Wiederholungsversuche, Fallbacks und zusätzliche Verarbeitungsschritte. Nicht erfasste Kosten sind unbekannt; eine fehlende Ausgabe bedeutet, dass die Arbeit nicht abgeschlossen ist. Die Dauer einer Anfrage unterscheidet sich von der gesamten Workflow-Dauer einschließlich Wartezeiten und Bereitstellung. Die Editierdistanz belegt keine eingesparte menschliche Arbeitszeit. Kosten erläutert diese Erfassungsgrenzen.
Halten Sie die Entscheidung so fest, dass sie später neu beurteilt werden kann #
Der Bericht sollte eine klar eingegrenzte Schlussfolgerung mit den zugehörigen Belegen verknüpfen: Welcher Kandidat erfüllte welche Anforderungen bei welchen Inhalten und Sprachen – mit welcher Abdeckung und welchen Betriebskosten? Wenn die Ergebnisse keinen Unterschied zwischen den Kandidaten erkennen lassen, behalten Sie die bestehende Konfiguration bei oder sammeln Sie die fehlenden Belege, statt einen Gewinner zu konstruieren.
Bewahren Sie Eingaben, Ausgaben, Konfigurationsversionen, Kriterien, Testkennungen, untersuchte Befunde und Ausschlüsse auf. Die historische Bewertung von Radar ersetzt Antworten innerhalb ihres Zeitintervalls und kann daher nicht beide Versionen eines Vergleichs erhalten.
Sichern Sie vor einer genehmigten Änderung in der Produktionsumgebung die Ausgangskonfiguration und halten Sie einen Plan zur Rücknahme bereit. Testen Sie die zurückgehaltenen Beispiele erneut und stellen Sie sicher, dass die Anwendung die beabsichtigte Ausgabe erhält. Beurteilen Sie die Schlussfolgerung neu, wenn sich Inhalte, Sprachen oder Anforderungen ändern: Das Ergebnis beschreibt die getesteten Bedingungen und ist keine allgemeingültige Modellempfehlung.