Soft Prompts: Eine Einführung

Es kommt nicht häufig vor,  dass ein Wort, das im 14. Jahrhundert entstand, heute eine völlig neue Bedeutung erlangt und sich zu einem gängigen Begriff in nahezu jeder Sprache entwickelt. Dieses Wort ist “prompt”. Heute dient es vor allem für Anweisungen und Befehle, die an generative Sprachmodellen gerichtet werden, wie sie in der KI-Weltanzutreffen sind.

Aber was sind Soft Prompts genau und wie werden sie verwendet?

Prompts, die für Menschen verständlich sind, enthalten klare Anweisungen in menschlicher Sprachen. Soft Prompts sind anders. Sie bestehen aus Vektoren, die sehr abstrakt und nicht unmittelbar mit einer Aufgabe in Verbindung stehen. Sie sind eher eine Art Konzept, bei dem Vektoren in eine Eingabesequenz integriert werden. Diese Vektoren lassen sich präzise anpassen, während der Rest des vortrainierten Modells unverändert bleibt.

Um einen Soft Prompt zu erstellen, passen wir die Vektoren an, während der Großteil des bereits vorhandenen Modellwissens erhalten bleibt. Die so mit feinabgestimmten Vektoren modifizierte Eingabesequenz steuert dann das Verhalten des Modells für eine spezifische Aufgabe. Was Soft Prompts so faszinierend macht, ist ihre Abstraktheit.

Wie funktionieren Soft Prompts?

Die Vektoren von Soft Prompts haben keine klaren sprachlichen oder semantischen Bezüge zur Aufgabe. Daher ist es für Menschen äußerst schwierig, ihren Zweck zu erfassen.

Um das Konzept der Soft Prompts besser zu verstehen, schauen wir uns einmal an, wie ein Modell einen herkömmlichen Prompt wie “Ein berühmter Schauspieler spielt Gitarre” verarbeitet. Zuerst wird der Prompt in einzelne Tokens aufgeteilt, wie “Ein”, “berühmt”, “Schauspieler”, “spielt”, “eine” und “Gitarre”. Jedes dieser Tokens wird dann in Vektoren von Werten umgewandelt, die als Modellparameter dienen. Durch das Feintuning dieser Werte kann das Modell angepasst und trainiert werden. Wenn wir allerdings beginnen, die Gewichtung zu verändern, verlieren die Token-Vektoren ihre klare Wortbedeutung. Genau deshalb können Menschen einen Soft Prompts so schwer interpretieren.

Die 4 Unterschiede zwischen Soft Prompts und herkömmlichen Prompts

 Ansatz: Bei herkömmlichen Prompts gibt man dem Modell eine spezifische Eingabe. Das Modell generiert dann eine Ausgabe, basierend auf seinem vorhandenen Wissen und seinem Kontextverständnis. Im Gegensatz dazu konzentrieren sich Soft Prompts auf die Anpassung des Prompts selbst, ohne dabei das Grundwissen des Modells zu ändern. Sie verfeinern damit den Prompt, ohne das gesamte Modell umzugestalten.

Flexibilität: Herkömmliche Prompts erfordern oft spezifische Überlegungen für jede Aufgabe, um optimale Ergebnisse zu erzielen. Soft Prompts sind hingegen äußerst flexibel und können leicht für verschiedene Aufgaben angepasst werden, ohne  dafür das gesamte Modell umstellen zu müssen. Dies bietet eine hohe Flexibilität bei der Bewältigung unterschiedlicher Aufgaben.

Anpassung an Aufgaben: Herkömmliche Prompts müssen normalerweise für spezifische Aufgaben maßgeschneidert werden. Möglicherweise braucht es sogar unterschiedliche Modelle für jede Aufgabe, um die besten Ergebnisse zu erzielen. Soft Prompts sind hier äußerst anpassungsfähig und ermöglichen es, dasselbe Hauptmodell für verschiedene Aufgaben zu verwenden. Das Ergebnis ist ein reibungsloser Übergang zwischen den Aufgaben – ganz ohne Unterbrechungen.

Token-Länge: Herkömmliche Prompts können sehr lang sein, insbesondere bei komplexen Aufgaben. Soft Prompts hingegen sind präziser in Bezug auf die Anzahl der verwendeten Wörter. Das ist besonders hilfreich, wenn dasselbe Modell für viele Aufgaben verwendet wird, da sich damit die Präzision, die Handhabung und die Leistung der Aufgaben verbessert.

Anwendungen von Soft Model Prompting

Einer der großen Vorteile von Soft Prompts liegt in ihrer Unterstützung des Multi-Task-Learnings. Traditionelle Methoden brauchen separate Anpassungen für verschiedene Aufgaben. Soft Prompts allerdings ermöglichen einem einzigen Modell, nahtlos zwischen Aufgaben zu wechseln, indem nur die Prompts geändert werden. Dies spart Zeit und Ressourcen und bewahrt gleichzeitig das Modellwissen.Soft Prompts werden in einer breiten Palette von Anwendungen genutzt, darunter Stimmungsanalyse, die Beantwortung von Fragen, Sprachübersetzung und der Zusammenfassung von Texten. Bei Chatbots und Konversationsagenten bieten sie einen besonderen Vorteil, da sich durch die Anpassung von Prompts verschiedene Persönlichkeiten oder Kommunikationsstile interaktiv umsetzen lassen.

Fazit

Einige behaupten, dass Soft Prompts eine Revolution in der KI-Landschaft darstellen, da sie einen äußerst flexiblen Ansatz zur Aufgabensteuerung bieten. Im Gegensatz zu herkömmlichen Prompts, die auf klaren Anweisungen basieren, ermöglichen Soft Prompts die Anpassung von Prompt-Parametern, ohne die Kernbotschaft zu verlieren. Diese Flexibilität erlaubt einem einzigen Modell die effiziente Durchführung verschiedener Aufgaben, ohne dass es umfangreiche Neuanpassungen oder neue Modelle bräuchte.

Angesichts der weltweiten Umwälzungen in den Geschäftsprozessen durch KI ist es absehbar, dass Soft Prompts einen erheblichen Einfluss auf die Weiterentwicklung von KI-basierten Tools haben werden. Auch ist zu erwarten, dass sie die Arbeitsweisen derjenigen, die Prompts gestalten, signifikant beeinflussen werden. Es dauert vermutlich nicht mehr lange, bis dieser Begriff vermehrt in Diskussionen über große Sprachmodelle auftauchen wird.

Möchten Sie mehr über die Möglichkeiten der KI-Entwicklung erfahren? Dann füllen Sie einfach das untenstehende Kontaktformular aus. Wir helfen Ihnen gerne weiter.