Kosten
Erfasste Ausgaben für Übersetzungen und Messungen nachvollziehen, ohne sich überschneidende Arbeit doppelt zu zählen oder fehlende Daten als kostenlose Nutzung zu behandeln.
Eine Kostenanalyse beginnt mit der Arbeit, für die Kosten anfallen. Eine Übersetzung zu generieren, eine Prüfung durchzuführen und die Übersetzung anhand eines Kriteriums zu beurteilen, sind separate Vorgänge. Die zugehörigen Datensätze können sich jedoch überschneiden: Eine Modellanfrage kann mehrere Dokumente abdecken und in mehreren Phasenansichten erscheinen.
Nutze Nachweise aus Anfragen, Phasen und Messungen, um einzelne Vorgänge nachzuvollziehen. Verwende Kontonutzung und Abrechnung, um den Abrechnungszeitraum des Kontos und die Zahlungseinstellungen abzugleichen.
Die Abrechnungseinheit bestimmen #
| Datensatz | Zusammen mit dem Betrag berücksichtigen |
|---|---|
| Übersetzungsanfrage | Tatsächlich verwendetes Modell, Status, Tokens, Fallback und die Angabe, ob die Anfrage einen Versuch oder die verwendete Ausgabe repräsentiert. |
| Pipeline-Phase | Verknüpfte Modellversuche und gegebenenfalls ein externer Prüfungsauftrag einschließlich Anbieter und erfasster Gebühr. |
| Messergebnis | Identität der Beurteilungsinstanz oder des Algorithmus, Nutzungsdaten zur Antwort und erfasste Kosten. |
| Kontonutzung | Abrechnungszeitraum, Organisation, Nutzungskategorie sowie Gebühren oder Gutschriften. |
Zähle jeden Vorgang nur einmal. Werden mehrere Antworten von Evaluatoren mit einer Anfrage verknüpft, vervielfacht das nicht die Generierungskosten dieser Anfrage. Auch beim Addieren von Anfragekosten zum Gesamtbetrag eines Jobs musst du wissen, welche Anfragen dieser Betrag bereits enthält.
Den vollständigen Modellversuch betrachten #
Die Anfrageansicht erfasst inputTokens, outputTokens und providerCostUsd, sofern der Anbieter diese Angaben geliefert hat. Die Werte beziehen sich auf die gesamte Modellanfrage. Ein Batch kann mehrere Dokumente oder Ziele abdecken. Berücksichtige deshalb jede Anfrage-ID nur einmal, wenn du Phasen oder Sprachen vergleichst.
Der vom Anbieter ausgewiesene Betrag ist keine Rechnung für den Job. Berücksichtige fehlgeschlagene Versuche und erfolgreiche Fallbacks, wenn du die Ausgaben für die Generierung nachvollziehst. Gleiche anschließend die Plattformnutzung und gegebenenfalls externe Prüfungen separat ab. Prompt-Caching kann den Aufwand beim Anbieter beeinflussen, doch wiederholte Eingaben garantieren weder einen Cache-Treffer noch einen Rabatt oder eine geringere Latenz.
Fehlende Kostenangaben von Kosten in Höhe von null unterscheiden #
Manche Datensätze enthalten keine vollständigen Abrechnungsnachweise. Crowdin-Ereignisse liefern keine Nutzungsdaten zur Generierung. Auch bei Ereignissen, die aus Jobs abgeleitet werden, können diese Daten fehlen. Aus diesen Ereignisfeldern lassen sich die Gesamtausgaben für die Generierung nicht bestimmen. Ein Strich in der Modellanfrageansicht bedeutet, dass die entsprechenden Tokens oder Anbieterkosten nicht erfasst wurden – nicht, dass sie null betragen.
Die Kosten einer LLM-Messung können als null gespeichert werden, wenn der Anbieter keine Kostenangaben geliefert hat. Die aktuelle Ergebnisantwort unterscheidet diesen Fall nicht von nachweislichen Ausgaben in Höhe von null. Ermittle anhand unabhängiger Abrechnungsnachweise, wie vollständig die Kostendaten sind, statt jeden Nullwert als kostenlosen Vorgang oder fehlenden Betrag zu zählen.
Änderungsrate und Editierdistanz werden ohne LLM berechnet, daher betragen ihre Modellkosten null. Erfolgreiche Messläufe werden dennoch in der Nutzungsabrechnung erfasst. Ergebnisse, die aufgrund einer Bedingung übersprungen wurden, Wiederholungsversuche und Fehlschläge durchlaufen andere Pfade. Die Summe der sichtbaren Antwortkosten bildet weder die Rechnung noch sämtliche Evaluierungsversuche vollständig ab.
Externe Prüfungsgebühren dem Prüfungsdatensatz zuordnen #
Öffne die Phase für die menschliche Prüfung, um den externen Auftrag, den Anbieter und die erfasste Gebühr anzusehen. Unterscheide zwischen einem Auftrag, der über Lingo.dev abgerechnet wird, und einem Auftrag, der die Anbieteranbindung deiner Organisation nutzt. Gebühren können auch dann bestehen bleiben, wenn ein Team die Arbeit übernimmt oder ein verspätetes Ergebnis des Dienstleisters nicht akzeptiert. Die Bezahlung einer Prüfung sagt nicht aus, welcher Text als Ausgabe akzeptiert wurde. Prüfungen in Inbox erläutert diese Entscheidung.
Kosten mit dem erzielten Ergebnis vergleichen #
Achte bei einem Modellvergleich auf vergleichbare Inhalte, Sprachpaare, Anforderungen und zeitliche Bedingungen. Beziehe Wiederholungsversuche, Fallbacks und zusätzliche Phasen ein. Ein einzelnes kostengünstiges, erfolgreiches Beispiel belegt keine niedrigen Kosten pro akzeptierter Übersetzung im gesamten Workflow.
Für die Ausbeute von Messungen ist folgende Berechnung hilfreich: Teile die erfassten Beurteilungskosten der ausgewählten Gruppe abgeschlossener Antworten durch die Anzahl der Antworten mit einem eindeutigen Urteil in dieser Gruppe. Beziehe abgeschlossene Evaluierungen mit einer null-Antwort in die Kosten im Zähler ein, da sie Aufwand verursacht haben, ohne ein eindeutiges Urteil zu liefern. Kennzeichne den Betrag als erfasste Antwortkosten: Fehlgeschlagene oder ungültige Versuche sowie Wiederholungsversuche können darin fehlen.
Zeige neben dieser Berechnung die Abschlussquote und den Anteil der Antworten mit einem eindeutigen Urteil. Gib außerdem an, was der Zähler umfasst und welche Lücken in den Kostendaten unabhängig festgestellt wurden. Lokalisierungskosten steuern, ohne Fehler zu verbergen vertieft den umfassenderen Vergleich von Ausgaben, nutzbarer Ausgabe und unerledigter Arbeit.