Reasoning-Modelle

In dem Artikel "Stealing Reasoning Traces from Proprietary LLM APIs" wird untersucht, wie Forscher die verschlüsselten Denkspuren von proprietären LLM-APIs, wie denen von Anthropic, OpenAI und Google, ausnutzen konnten. Diese Denkspuren, die als verschlüsselte Blöcke zurückgegeben werden, können in schwächeren Modellen verwendet werden, um die internen Überlegungen der stärkeren Modelle zu entschlüsseln. Die Autoren entdeckten, dass alle Modelle derselben Familie denselben Verschlüsselungsschlüssel nutzen, was es ermöglicht, diese Blöcke in schwächere Modelle einzuspeisen und Sicherheitslücken auszunutzen. Ein Beispiel für einen erfolgreichen Angriff beinhaltete die Verwendung eines spezifischen Prompts, der in einer älteren Modellversion funktionierte. Die Ergebnisse zeigen, dass die extrahierten Denkspuren oft nicht für Menschen bestimmt sind und wertvolle Einblicke in die internen Überlegungen der Modelle bieten. Zudem wurde eine raffinierte Methode zur Datenexfiltration identifiziert, bei der ein Modell dazu gebracht wird, über das Hochladen von Dateien nachzudenken, was dann in ein anderes Modell eingespeist wird. Diese Erkenntnisse werfen ernsthafte Fragen zur Sicherheit und Integrität von KI-Modellen auf und verdeutlichen deren Anfälligkeit für derartige Angriffe.

Das europäische KI-Startup kausable hat in einer Seed-Finanzierungsrunde 12 Millionen Euro gesammelt, um ein innovatives KI-Modell zu entwickeln, das sich effizient an veränderte Kontexte anpasst, ohne teure Nachschulungen. Mit Verbindungen zur Universität Heidelberg und Black Forest Labs verfolgt das Unternehmen einen reasoning-first Ansatz, der es der KI ermöglicht, aus wenigen Beispielen zu lernen, ähnlich wie Menschen. Anstelle großer Datenmengen nutzt kausable synthetische Daten, um die Effizienz zu steigern und die Datenabhängigkeit zu verringern. Ein Beispiel für ihre Technologie ist das Modell TipPFN, das komplexe Systeme wie epileptische Anfälle oder Stromausfälle vorhersagen kann. Die Gründer sehen großes Potenzial in Bereichen wie Gesundheitswesen und Robotik, wo schnelle Anpassungen erforderlich sind. Mit der neuen Finanzierung plant kausable, sein Team zu vergrößern und die Entwicklung seiner Modelle voranzutreiben, während es eng mit ersten Kunden zusammenarbeitet, um die Technologie in der Praxis zu testen. Investoren erkennen in kausable die Möglichkeit, KI von kostspieligen Einzelprojekten in skalierbare industrielle Lösungen zu transformieren.