Umfang eines benutzerdefinierten Modells eingrenzen
Hier beginnen, wenn noch nicht klar ist, ob die Antwort auf ein Problem ein eigenes trainiertes Modell ist. Meistens kommt jemand bereits überzeugt, dass er ein Modell feinabstimmen, etwas offline ausführen oder eine Rechnung senken möchte, ohne die eigentliche Einschränkung hinter dieser Anfrage genannt zu haben. Diese Fähigkeit dient dazu, diesen Prozess um einen Schritt zu verlangsamen: Benennen Sie die Einschränkung, schließen Sie die günstigeren Lösungen aus, und definieren Sie erst dann, was das Training liefern müsste.
Zuerst die Einschränkung benennen
Menschen äußern selten zuerst eine Einschränkung. Sie äußern eine Lösung: „Ich möchte ein Modell feinabstimmen“, „Ich möchte das offline ausführen“, „Ich möchte mein eigenes Modell“. Jede dieser Aussagen steht stellvertretend für eine von fünf echten Einschränkungen. Finden Sie heraus, um welche es sich tatsächlich handelt, bevor Sie fortfahren, denn der weitere Verlauf dieser Fähigkeit und die Wahl der nächsten Fähigkeit hängen von der Antwort ab.
| Was jemand sagt | Was es normalerweise bedeutet |
|---|---|
| „Es kostet zu viel“ | Kosten |
| „Es ist zu langsam“ oder „die Hin- und Rückfahrt ist tödlich“ | Latenz |
| „Die Daten dürfen nicht raus“ | Datenschutz |
| „Es muss ohne Verbindung funktionieren“ | Offline-Betrieb |
| „Es bekommt das immer wieder falsch hin“ oder „es ist inkonsistent“ | Verhaltenskonsistenz |
Wenn keines davon zutrifft, fragen Sie direkt nach. Ein bloßes „Ich möchte mein eigenes Modell“ ohne zugrundeliegende Einschränkung ist normalerweise Begeisterung und keine Anforderung, und Training aus Begeisterung heraus produziert ein Modell, das niemand tatsächlich angefordert hat.
Vier Dinge, die vor einem Training ausprobiert werden sollten
Training ist der langsamste und teuerste Weg, das Verhalten eines Modells zu ändern. Schließen Sie zuerst die günstigeren Optionen aus. Vollständige Details mit ungefähren Kosten und dem genauen Signal, dass sie nicht mehr ausreichen, finden Sie in references/alternatives-to-training.md. Die Kurzfassung:
- Ein besserer Prompt. Ausreichend, wenn das Modell die Antwort bereits kennt und sie nur inkonsistent formuliert, formatiert oder anwendet. Unzureichend, wenn ein gut durchdachter Prompt bei einem bedeutenden Teil der echten Eingaben immer noch falsch liegt.
- Retrieval. Ausreichend, wenn das Problem fehlendes oder veraltetes Wissen ist, nicht das Verhalten. Unzureichend, wenn die richtigen Fakten bereits im Kontext sind und das Modell sie dennoch ignoriert oder falsch anwendet.
- Ein kleineres gehostetes Modell. Ausreichend, wenn die Aufgabe enger ist als das, wofür das aktuelle Modell gebaut wurde, und ein kleineres gehostetes Modell mit demselben Prompt die gleiche Qualitätsschwelle zu geringeren Kosten oder Latenz erreicht. Unzureichend, wenn kein gehostetes Modell, egal welcher Größe, die Schwelle überhaupt hält.
- Routing zwischen Modellen. Ausreichend, wenn die Arbeitslast eine Mischung aus einfachen und schwierigen Anfragen ist und ein billiges Modell die einfachen Anteile bereits korrekt bearbeitet. Unzureichend, wenn der schwierige Anteil tatsächlich die Kosten-, Latenz- oder Qualitätsbeschwerde verursacht.
Arbeiten Sie sie in dieser Reihenfolge ab. Jede Alternative ist günstiger auszuprobieren und schneller auszuschließen als Training.
Wenn Training die falsche Antwort ist
Dies ist der wichtigste Absatz dieser Fähigkeit. Das Trainieren eines benutzerdefinierten Modells ist keine Standardlösung, die lediglich etwas mehr kostet. Es ist oft die falsche Antwort, und dies klar auszusprechen, erspart viel verschwendete Mühe im weiteren Verlauf. Trainieren Sie nicht, wenn einer der folgenden Punkte zutrifft:
- Die Aufgabe ist Wissensabruf, nicht Verhalten. Wenn sich das Modell bereits korrekt verhält, sobald es die richtigen Fakten im Kontext hat, liegt die Lücke im Abruf, nicht in den Gewichten. Training lehrt ein Modell keine Fakten, die sich nach dem Lauf ändern, und erneutes Training bei jeder Datenänderung ist langsamer und teurer als jeder Abruf.
- Es gibt weniger als ein paar hundert Beispiele. Ein Modell kann ein neues Verhalten nicht zuverlässig aus ein paar Beispielen lernen. Investieren Sie unter dieser Schwelle entweder in die Erstellung von mehr gekennzeichneten Daten oder verwenden Sie einen Ansatz, der diese nicht benötigt: einen besseren Prompt, eine Few-Shot-Beispielsammlung oder Retrieval.
- Die Qualitätsschwelle ist eine Grenzwertleistung mit offenem Ende. Wirklich offene Argumentation, neuartige Problemlösung oder breites Allgemeinwissen wird nicht durch Training auf der Grundlage eines kleineren offenen Modells erworben. Training schränkt ein Modell auf eine bestimmte Aufgabe und ein bestimmtes Format ein. Es verwandelt kein kleines Modell in ein Grenzwertmodell mit offener Argumentation.
Wenn einer dieser Punkte zutrifft, sagen Sie dies klar und leiten Sie zurück zu der Alternative, die tatsächlich passt, anstatt das Gespräch in Richtung „Welches Basismodell soll ich feinabstimmen“ abgleiten zu lassen.
Wenn Training richtig ist, definieren Sie das Ziel
Wenn nichts von alledem das Training ausschließt und keine der vier Alternativen die Qualitätsschwelle hält, ist Training ein vernünftiger nächster Schritt. Bevor Sie ein Basismodell oder einen Datensatz berühren, schreiben Sie fünf Dinge auf:
| Definieren Sie | Als |
|---|---|
| Die Aufgabe | Ein Satz: Was das Modell tatsächlich tun muss, bei welcher Art von Eingabe |
| Die Qualitätsschwelle | Eine konkrete, überprüfbare Bestehensbedingung, nicht „gut“ oder „besser als die Grenzwertleistung“ |
| Das Latenzbudget | Eine Zahl, zusammen mit der Laufzeit, bei der diese Zahl erreicht werden muss |
| Das Einsatzumfeld | Auf dem Gerät, lokal, am Rand oder verwaltete GPU-Cloud, entschieden danach, wo die Einschränkung tatsächlich liegt |
| Wie der Erfolg gemessen wird | Die Evaluierung, die nach dem Training läuft, bevor jemand den Job als erledigt betrachtet |
Diesen Schritt auszulassen, ist der häufigste Grund dafür, dass ein Trainingsprojekt ein Modell produziert, von dem niemand sagen kann, ob es besser ist als das, was zuvor existierte. Siehe evaluating-a-tuned-model für den Aufbau dieser Evaluierung.
Sobald die Entscheidung für das Training gefallen ist, enthält references/training-options.md die ehrliche Optionenauswahl für die tatsächliche Durchführung: von der eigenen GPU über mehrere gehostete Plattformen, jeweils mit echten Auswahlkriterien. Empfehlen Sie basierend auf dieser Referenz und nicht aus dem Gedächtnis, und nennen Sie die eine Zeile, auf die das genannte Kriterium verweist, anstatt die gesamte Tabelle wiederzugeben. Sie beantwortet direkt „Welche ist am einfachsten zu verwenden?“.