Ein Neuer Ansatz zur Nutzung mehrerer LLMs
Mixture of Agents (MoA) wurde durch Together AI bekannt geben, einem neuartigen Ansatz zur Nutzung der kollektiven Stärken mehrerer Large Language Models (LLMs). MoA verwendet eine mehrschichtige Architektur, bei der jede Schicht aus mehreren LLM-Agenten besteht. Diese Agenten verwenden die Ausgaben der vorherigen Schicht als zusätzliche Informationen, um verfeinerte Antworten zu generieren. Dieser Ansatz ermöglicht es MoA, die unterschiedlichen Fähigkeiten und Einsichten verschiedener Modelle effektiv zu integrieren, was zu einem robusteren und vielseitigeren kombinierten Modell führt.
Details auf Englisch unter: https://www.together.ai/blog/together-moa
Übersicht
Die Referenzimplementierung, Together MoA, übertrifft GPT-4o mit einem Score von 65,1 % auf AlpacaEval 2.0 und nutzt dabei ausschließlich Open-Source-Modelle. Während Together MoA eine höhere Genauigkeit erreicht, geht dies mit einer langsameren Zeit bis zum ersten Token einher; die Reduzierung dieser Latenz ist eine spannende zukünftige Forschungsrichtung.
Dieser Ansatz basiert auf der Beobachtung, dass LLMs bessere Antworten generieren, wenn sie die Ausgaben anderer Modelle als Referenz verwenden, selbst wenn diese Modelle weniger leistungsfähig sind. Um dieses Phänomen zu untersuchen, wurde die Leistung bewertet, wenn Antworten anderer Modelle genutzt werden. Die Ergebnisse zeigen, dass jedes Modell seine Basisleistung auf AlpacaEval 2.0 signifikant steigert.
Rolle der Agenten
Um die Zusammenarbeit mehrerer LLMs effektiv zu nutzen, kategorisiert MoA ihre Rollen basierend auf ihren Stärken in verschiedenen Aspekten der Zusammenarbeit:
- Proposers: Diese Modelle generieren erste Referenzantworten. Ihre Hauptstärke liegt in der Bereitstellung nuancierter und vielfältiger Perspektiven.
- Aggregators: Diese Modelle synthetisieren die verschiedenen Antworten der Proposers zu einer einzigen, qualitativ hochwertigen Antwort.
Durch diesen mehrschichtigen Prozess verbessert MoA kontinuierlich die Antworten, bis eine robustere und umfassendere Antwort erreicht wird.
State-of-the-Art Leistung
Die Implementierungen von Together AI, wie Together MoA, nutzen sechs Open-Source-Modelle als Proposers und Qwen1.5-110B-Chat als finalen Aggregator. Diese Konfiguration erreicht auf AlpacaEval 2.0 eine absolute Verbesserung von 7,6 % gegenüber GPT-4o. Auch die kostengünstigere Together MoA-Lite Konfiguration erzielt vergleichbare Ergebnisse.
Antizipierte Ergebnisse der KI-Adoption in Europa
In Europa sind Unternehmen zwar optimistisch, was die Erschließung neuer Einnahmequellen durch KI betrifft es fehlen allerdings die europäischen Modelle. Laut einem Bericht erwarten 46 % der europäischen Unternehmen, dass KI neue wirtschaftliche Möglichkeiten schafft. Darüber hinaus planen 32 % der europäischen Firmen die Implementierung KI-gesteuerter Zahlungslösungen, um die Transaktionssicherheit und -effizienz zu erhöhen. Weitere wichtige Ziele sind die Verbesserung der Betriebskosten (45 %), die Schaffung neuer Geschäftsmodelle (54 %) und die Anpassungsfähigkeit an Veränderungen (53 %).
Die Bedeutung des Composable Ansatzes
Ein composable Ansatz ist entscheidend, um unterschiedliche Modelle flexibel für MoA einzubinden. ComposableAI.de stellt die notwendigen Werkzeuge und Plattformen bereit, um diese Modelle nahtlos zu integrieren und die bestmöglichen Ergebnisse zu erzielen. Durch die Kombination verschiedener LLMs können Unternehmen ihre KI-Strategien optimieren und an die spezifischen Anforderungen ihrer Geschäftsprozesse anpassen.
Fazit
MoA von Together AI zeigt das Potenzial, KI-Systeme zu verbessern, sie leistungsfähiger und robuster zu machen. Wir freuen uns auf die zukünftigen Anwendungen dieser Technik, sei es bei der Offline-Verarbeitung, der Generierung synthetischer Daten für das Training oder bei Anwendungen, bei denen Genauigkeit von größter Bedeutung ist. ComposableAI.de unterstützt Unternehmen dabei, die Vorteile dieser fortschrittlichen Technologien zu nutzen und die Herausforderungen der KI-Integration zu meistern.