Audio & Sprache

Microsoft hat seine KI-Modellfamilie MAI um drei neue Audio-Modelle erweitert, die speziell für Voice-Agents konzipiert sind. Die Modelle MAI-Transcribe-2-Streaming, MAI-Voice-2.1 und MAI-Voice-2.1-Flash bieten Funktionen wie Echtzeit-Transkription und Sprachausgabe. MAI-Transcribe-2-Streaming ist das erste Streamingmodell der Reihe und unterstützt 60 Sprachen, ermöglicht Sprachwechsel während der Transkription und bietet hohe Genauigkeit. Die Voice-Modelle sind für Anwendungen wie Live-Untertitelung und Diktierfunktionen optimiert, wobei Microsoft einen Einführungspreis von 0,54 US-Dollar pro Audiostunde anbietet. Das Text-to-Speech-Modell MAI-Voice-2.1 spricht in 23 Sprachen mit muttersprachlichem Akzent, während die Flash-Variante für Echtzeitanwendungen optimiert ist. Beide Modelle erlauben das Klonen von Stimmen, wobei Sicherheitsvorkehrungen gegen Missbrauch implementiert sind. Die neuen Modelle sind auf verschiedenen Plattformen verfügbar und stärken Microsofts Unabhängigkeit von OpenAI in einem wettbewerbsintensiven Markt.

Microsoft AI hat kürzlich neue Modelle für Echtzeit-Transkription und Text-zu-Sprache-Technologie vorgestellt. Das MAI-Transcribe-2-Streaming-Modell kann in 60 Sprachen transkribieren und liefert erste Ergebnisse in nur etwas mehr als 100 Millisekunden, was eine sofortige Reaktion von Sprachassistenten ermöglicht. Zusätzlich wurden zwei neue Text-zu-Sprache-Modelle präsentiert, die 23 Sprachen mit einem einheitlichen, nativen Akzent sprechen können. Das MAI-Voice-2.1-Flash-Modell zeichnet sich durch eine Latenz von 150 Millisekunden aus und ist kostengünstiger als sein Vorgänger. Beide Modelle können Stimmen aus wenigen Sekunden Referenzaudio klonen und beinhalten Sicherheitsmechanismen zur Verhinderung von Missbrauch. Sie sind über Plattformen wie Microsoft Foundry und MAI Playground zugänglich und haben in Tests eine hohe Realitätsnähe erreicht, wobei etwa die Hälfte der Teilnehmer die erzeugten Stimmen für echt hielt.

Audionaut ist ein kostenloser, Open-Source-Audio-Editor, der durch die Integration des Model Context Protocol (MCP) hervorsticht, welches KI-Agenten ermöglicht, Audio-Sessions ähnlich wie menschliche Benutzer zu bearbeiten. Entwickelt in modernem C++ unter dem JUCE-Framework, läuft Audionaut nativ auf Windows, macOS und Linux und bietet präzise Schnittfunktionen sowie flexible Multikanalunterstützung. Die Interaktion mit KI-Agenten erfolgt über eine einfache Befehlszeile, wodurch jede Bearbeitung im Rückgängig-Verlauf festgehalten wird. Zudem nutzt Audionaut Essentia für Audioanalysen und demucs.cpp zur Trennung von Audio-Spuren. Die wachsende Relevanz von MCP in der Industrie wird durch Investitionen von Unternehmen wie Arcade unterstrichen, während ein Vorfall, bei dem MCP für einen Cyberangriff verwendet wurde, die Notwendigkeit von Sicherheitsmaßnahmen betont. Startups, die KI-Produkte entwickeln, wird geraten, MCP frühzeitig zu integrieren, um zukünftige Kosten und Aufwände zu minimieren. Audionaut bietet eine effektive Plattform, um die Interaktion von KI mit Desktop-Anwendungen zu testen und zu optimieren.

Der AI-Musikgenerator Suno hat eine neue Funktion namens Speech eingeführt, die es Nutzern ermöglicht, gesprochene Texte mit passender Hintergrundmusik in einer einzigen Audiospur zu erstellen. Nutzer können ihre Ideen oder Texte eingeben und den gewünschten Stil für Stimme und Musik beschreiben, woraufhin das Modell beides generiert. Diese Funktion wurde einen Monat lang in einer Testphase erprobt und eignet sich für Anwendungen wie Gedichte, Meditationen und Gute-Nacht-Geschichten. Allerdings weist die Beta-Version noch einige Fehler auf, wie etwa inkonsistente Akzente. Während Suno die Trainingsmethoden des Modells nicht offenlegt, sieht sich das Unternehmen aufgrund von Bedenken hinsichtlich Urheberrechtsverletzungen bereits rechtlichen Herausforderungen gegenüber. Major-Labels haben Klage gegen Suno eingereicht, und ein Gericht in München hat entschieden, dass die Nutzung urheberrechtlich geschützter Daten nicht unter Fair Use fällt.