Diogo Almeida, ein ehemaliger Forscher bei OpenAI, der maßgeblich an der Entwicklung von ChatGPT und der Einführung des Reinforcement Learning from Human Feedback (RLHF) beteiligt war, hat eine neue Richtung eingeschlagen. Trotz der beeindruckenden Fähigkeiten von ChatGPT war Almeida enttäuscht von dessen praktischer Anwendbarkeit. Seiner Meinung nach sind die derzeitigen KI-Modelle zu sehr auf menschliche Sprache optimiert, was sie für Automatisierungszwecke unzureichend macht, da Computer anders „sprechen“.
Vor zwei Jahren verließ Almeida OpenAI und gründete TypeSafe AI, ein Startup, das sich diesem Problem widmet. Diese Woche präsentierte das Unternehmen ein neues, auf Transformatoren basiertes Modell namens Jev, das sich erheblich von herkömmlichen großen Sprachmodellen (LLM) unterscheidet. Anstatt Text auszugeben, erzeugt Jev Wahrscheinlichkeiten, die das Unternehmen als „kalibrierte Entscheidungen“ bezeichnet.
Der Verzicht auf Sprache hat mehrere Vorteile: Das Modell ist unglaublich günstig und schnell, da die Ausgaben im Voraus definiert sind und keine Halluzinationen auftreten können. Während Eingabe-Tokens nach Milliarden und nicht nach Millionen abgerechnet werden, sind Ausgabe-Tokens kostenlos.
Entwickler zeigen großes Interesse an dem Produkt; die Nachfrage war so hoch, dass das Unternehmen zeitweise Schwierigkeiten hatte, Nutzeranfragen über seine API zu bedienen. Jev scheint besonders nützlich für die Softwareautomatisierung zu sein. Entwickler sehen darin eine kostengünstigere und robustere Möglichkeit, Intelligenz in ihren Code zu integrieren.
Ein Beispiel hierfür ist Pranit Sharma, ein Software-Ingenieur bei Vercel, einem Unternehmen, das agentenbasierte Infrastruktur entwickelt. Vercel nutzte bisher OpenAI’s ChatGPT Luna 5.6, um Befehle auf Sicherheit zu überprüfen. Als sie Luna durch Jev ersetzten, erzielten sie Ergebnisse 5 bis 18 Mal schneller und mit höherer Genauigkeit.
Ein weiterer Entwickler, Nikhil Mudholkar, CTO von Bryo AI, testete Jev gegen Gemini zur Klassifizierung von Geschäftsmails. Obwohl Gemini etwas genauer war, war es 10- bis 20-mal teurer. Besonders beeindruckend fand Mudholkar Jevs Konfidenzwerte, die es ideal für die Automatisierung von Workflows machten.
Neben der Ersetzung von LLMs in bestimmten Anwendungsfällen kann das neue Modell sie auch ergänzen, indem es als intelligenter Wächter gegen Fehlverhalten fungiert. Die Überwachung von Agenten durch andere Agenten kann schnell teuer werden, aber Almeida argumentiert, dass Jev dafür eine kostengünstige Lösung bietet. Er sieht darin ein Werkzeug, um LLM-Agentenspuren zu überwachen und Sicherheitslücken zu verhindern.
Armin Ronacher, CTO von Earendil, das das Open-Source-Modell Harness Pi entwickelt, sieht in Jev auch eine Möglichkeit für das Modell-Routing. Die Vorhersage, ob eine bestimmte Arbeitslast ein spezifisches Modell benötigt, wäre nützlich, aber der Einsatz eines LLMs für diese Aufgabe wäre teuer. Jevs geringe Kosten und Geschwindigkeit machen diese Art der Echtzeit-Sortierung möglich.
Almeida hofft, dass das Modell weit verbreitet eingesetzt wird. Benannt nach William Stanley Jevons, einem Ökonomen des 19. Jahrhunderts, dessen Paradoxon beschreibt, wie fallende Kosten zu einem erhöhten Gebrauch eines Gutes führen können, soll Jev einen ähnlichen Effekt im Bereich der künstlichen Intelligenz erzielen.
Obwohl Almeida über die Architektur des Modells nicht viel preisgibt, vermuten Beobachter, dass es auf einem offenen LLM basiert. TypeSafe bezeichnet Jev als ein „System One Modell“, das sich mehr auf Intuition als auf logisches Denken konzentriert und speziell auf die richtige Aufgabe fokussiert ist. Almeida erklärt, dass Jev ausschließlich mit synthetischen Daten trainiert wird, indem eine Technik angewendet wird, die er als „Reinforcement Learning from Calibrated Decisions“ bezeichnet.
Für die Zukunft plant TypeSafe, weitere Versionen des Modells in neuen Modalitäten zu entwickeln. Almeida sieht TypeSafe nicht als typisches Forschungsinstitut, das auf unbegrenzten Reichtum oder religiöse Eifer setzt, sondern als einen Ort, an dem Intelligenz im Vordergrund steht.