Bereitstellung & Inferenz

Der Artikel "Prompt Caching Is the Cheapest Way to Cut Your AI Bill, and Most People Still Do Not Use It" beleuchtet die Vorteile von Prompt Caching als kosteneffiziente Methode zur Reduzierung von Ausgaben für KI-Anwendungen. Viele Anwendungen senden wiederholt identische Eingaben, was zu hohen Kosten führt, da diese mehrfach verarbeitet werden müssen. Durch das Caching können diese wiederholten Tokens um bis zu 90 Prozent günstiger bearbeitet werden, ohne die Ausgabe zu verändern. Die Implementierung erfordert nur minimalen Code, doch viele Teams nutzen diese Funktion nicht, was zu Ressourcenverschwendung führt. Um die Einsparungen zu maximieren, sollten statische Inhalte an den Anfang der Eingabe und dynamische Inhalte ans Ende gestellt werden, da das Caching nur bei exakten Übereinstimmungen funktioniert. Beispiele zeigen, dass Teams ihre Ausgaben um bis zu 70 Prozent senken konnten, indem sie die Cache-Trefferquote verbesserten. Allerdings gibt es Unterschiede zwischen den Anbietern, die die Implementierung beeinflussen können. Insgesamt stellt Prompt Caching eine einfache, oft übersehene Möglichkeit dar, die Kosten für KI-Modelle erheblich zu senken, ohne die Qualität der Ergebnisse zu beeinträchtigen.

Optimal Transit hat mit Kraaken™ die erste selbstbetriebsfähige maritime KI-Infrastrukturplattform vorgestellt, die unabhängig von Land, Stromnetz und konventionellen Brennstoffen operiert. Diese Plattformen, die in Größen von 10 MW bis 100 MW erhältlich sind, nutzen eine patentierte Technologie zur kontinuierlichen Energiegewinnung aus der thermischen Energie des Ozeans und der Abwärme von Rechenzentren. Dadurch bieten sie eine kostengünstige Alternative zu traditionellen landgestützten Rechenzentren, mit geschätzten Infrastrukturkosten von unter 500 Millionen Dollar für eine 100 MW-Anlage. Die Modularität und der Einsatz bewährter maritimer Technologien ermöglichen eine schnelle Bereitstellung und den Betrieb unter extremen Wetterbedingungen. Optimal Transit plant, jährlich bis zu 20 Kraaken™-Plattformen zu produzieren, um der steigenden Nachfrage nach KI-Rechenleistung gerecht zu werden. Zudem könnte die Kraaken™-Familie als Grundlage für eine umfassendere maritime Infrastruktur dienen, die kritische Dienstleistungen für Küstenregionen bereitstellt und als Offshore-Souveräne Kraftwerke zur regionalen Energie- und Wasserversorgung beiträgt.

Die Information Services Group (ISG) hat im zweiten Quartal einen Rekord bei den Technologiekosten erzielt, mit einem Gesamtwert von 42,3 Milliarden Dollar für verwaltete Dienste und "as-a-service"-Angebote, was einem Anstieg von 43 % im Vergleich zum Vorjahr entspricht. Dieser Anstieg wird vor allem durch die steigende Nachfrage nach cloudbasierten Software- und Infrastrukturservices, die mit künstlicher Intelligenz (KI) verbunden sind, angetrieben. Während die Prognose für das Wachstum von "as-a-service" auf 30 % angehoben wurde, bleibt die Schätzung für verwaltete Dienste bei 2,1 %. Die regionale Leistung zeigt jedoch Unterschiede, mit Fortschritten in EMEA und Asien-Pazifik, während die Amerikas schwächer abschneiden. Ein Anstieg neuer Aktivitäten im Bereich der verwalteten Dienste deutet darauf hin, dass Unternehmen ihre Beschaffungsstrategien anpassen und verstärkt auf KI und Kostenoptimierung setzen. ISG beobachtet zudem, dass KI die Preisgestaltung und den Wettbewerb verändert, da Unternehmen ihre Aufträge zunehmend bei größeren Anbietern bündeln, um Kosten zu sparen. Trotz regionaler Herausforderungen bleibt die Nachfrage nach Technologie stark und der Markt zeigt dynamische Veränderungen.

Heute wurde das neue KI-Modell Tencent Hy3 vorgestellt, das mit 295 Milliarden Parametern und einem Preis von etwa sechs Cent pro Million Eingabetokens aufwartet. In einem Blindtest übertraf es die Leistung des GLM-5. 1-Modells und ist nun auf OpenRouter verfügbar, was es von früheren Forschungs-Vorabversionen unterscheidet. Die Kombination aus wettbewerbsfähigem Preis, hoher Leistung und günstigen Lizenzbedingungen könnte die Beschaffungsstrategien von Unternehmen, insbesondere für solche, die Modelle lokal betreiben, erheblich beeinflussen. Hy3 bietet 21 Milliarden aktive Parameter während der Inferenz sowie eine Multi-Token-Vorhersageeinheit mit 3,8 Milliarden Parametern für spekulatives Decoding. Mit einer Kontextgröße von 256K und einem Apache 2.0 Lizenzmodell ist das Modell besonders attraktiv für Unternehmen. Nutzer haben die Möglichkeit, das Modell in den ersten zwei Wochen kostenlos zu testen, während die Einarbeitungskosten vom Anbieter übernommen werden.

ProofID hat Neil Evans zum ersten Chief AI Officer ernannt, um das Unternehmen in einen AI-nativen Anbieter von Identitätssicherheitslösungen zu transformieren. In dieser neu geschaffenen Position wird Evans die internen Fähigkeiten zur Entwicklung und Bereitstellung von KI-Lösungen stärken und innovative, KI-gestützte Dienstleistungen für Kunden schaffen. Angesichts der wachsenden Integration von KI in verschiedenen Branchen sieht Evans die Notwendigkeit, die Herausforderungen im Bereich der Identitätssicherheit anzugehen. Mit über 30 Jahren Erfahrung in der Technologiebranche, insbesondere in Softwareentwicklung und Produktinnovation, bringt er wertvolle Expertise mit. CEO Tom Eggleston hebt hervor, dass der Erfolg dieser Transformation nicht nur von technologischen Aspekten abhängt, sondern auch von der Einstellung und den Fähigkeiten der Mitarbeiter. Evans wird zudem kulturelle Veränderungen fördern, um eine AI-native Denkweise im Unternehmen zu etablieren und die eigenen Kompetenzen von ProofID weiterzuentwickeln.

Goods & Services, ein führender Anbieter von KI-Produkten mit Sitz in Atlanta, hat das Datenanalyseunternehmen Genware aus New Jersey übernommen, um seine Daten- und KI-Kompetenzen erheblich zu erweitern. Diese Akquisition zielt darauf ab, die Entwicklung digitaler und physischer Produkte sowie die Modernisierung der Betriebsabläufe der Kunden zu unterstützen. Durch die Integration von Genware wird Goods & Services insbesondere in der Technologiebranche sowie in regulierten Sektoren wie dem Finanz- und Gesundheitswesen seine Fähigkeiten in Daten, KI und Analytik stärken. CEO Gabriel Apodaca betont, dass die Zusammenarbeit mit Genware die Bereitstellung datengestützter Lösungen verbessert, um der wachsenden Nachfrage nach KI-fähigen Angeboten gerecht zu werden. Genware-Gründer Sherlock Holmes hebt hervor, dass die Verbindung es ermöglicht, bedeutende Dateninsights zu nutzen und die Qualität sowie Verantwortlichkeit von Daten zu gewährleisten. Diese strategische Erweiterung wird den Kunden zugutekommen, indem sie von verbesserten Fähigkeiten profitieren, die die Leistung und Entscheidungsfindung durch qualitativ hochwertige Daten fördern.

Der Markt für AI Model Risk Management wird bis 2035 voraussichtlich auf 28,54 Milliarden US-Dollar anwachsen, mit einer jährlichen Wachstumsrate von 16,2 %. Diese Entwicklung wird durch den Übergang von Unternehmen von der einmaligen Modellbereitstellung hin zu kontinuierlicher Validierung und Überwachung von KI-Modellen angetrieben. Die Notwendigkeit für diese kontinuierliche Überwachung ergibt sich aus der Erkenntnis, dass KI-Fehler nicht nur technische Probleme, sondern auch betriebliche Zuverlässigkeit, regulatorische Risiken und Kundenvertrauen gefährden können. Unternehmen müssen ihre Modelle fortlaufend überwachen, um unerwartete Kosten und Verzerrungen zu vermeiden. Zudem erfordert die zunehmende Nutzung externer Modelle und APIs eine stärkere Governance und Dokumentation. Angesichts der Herausforderungen durch generative KI und autonome Systeme müssen Unternehmen ihre Risikomanagementstrategien anpassen. In diesem Zusammenhang gewinnen zentrale Modellregister und Governance-Dashboards an Bedeutung. Marktführer wie IBM und Microsoft entwickeln Lösungen, die automatisierte Überwachung und Dokumentation von KI-Modellen unterstützen.

Der 5W AI City Index 2026 hat eine Rangliste von 25 Städten veröffentlicht, die als führende Zentren für künstliche Intelligenz gelten. San Francisco belegt den ersten Platz, gefolgt von London und Beijing. Der Index identifiziert die Konzentration von KI-Kapital als entscheidenden Faktor für die städtische Entwicklung. Städte mit starken KI-Investitionen zeigen signifikantes Wachstum, während andere wie Tokyo und Los Angeles stagnieren oder schrumpfen. Der Bericht stellt fest, dass traditionelle Indikatoren wie Wohlstand und Geschichte an Bedeutung verlieren. Ronn Torossian, Gründer von 5W, hebt hervor, dass die Entwicklung von KI alle Lebensbereiche beeinflussen wird und die neun führenden Städte bereits einen Vorsprung haben. Die vollständigen Ergebnisse sind auf der Website von 5W einsehbar.

TECNO und die brasilianische Künstlerin Angélica Dass haben das Projekt "100 Portraits of Becoming" ins Leben gerufen, das über zwei Jahre hinweg 100 authentische Porträts von Individuen aus fünf Ländern dokumentiert. Ziel des Projekts ist es, die Vielfalt menschlicher Erfahrungen und Identitäten sichtbar zu machen, insbesondere in einer Zeit, in der KI unsere Wahrnehmung beeinflusst. Die Porträts werden ohne Filter und in natürlichem Licht aufgenommen, wobei die Teilnehmer ihre persönlichen Geschichten von Wachstum und Entwicklung teilen. Ein "Living Archive" auf einer speziellen Website wird diese Geschichten und Bilder präsentieren und eine breitere kulturelle Diskussion über Identität und Würde anstoßen. TECNO setzt dabei seine Universal Tone Technologie ein, um die Vielfalt der Hauttöne fair darzustellen. Das Projekt beginnt in Nairobi, Kenia, und wird in den kommenden zwei Jahren auch in den Philippinen, Saudi-Arabien, der Türkei und Brasilien fortgesetzt. Es fördert die Idee, dass Menschen durch ihre eigenen Geschichten und nicht durch vorgegebene Narrative definiert werden sollten. Die ersten Porträts und Geschichten werden Anfang August online veröffentlicht und markieren den Start einer umfassenden Kampagne.

MultiSensor AI hat James Newman zum Vice President of Strategy and Product ernannt, um die kundenorientierte Innovation und das Wachstum des Unternehmens zu fördern. Newman bringt über 25 Jahre Erfahrung in der industriellen Technologie mit, insbesondere in der Produktstrategie für KI-gestützte SaaS-Plattformen. Zuvor war er bei Augury tätig, wo er die Produktstrategie für eine prädiktive Wartungsplattform leitete. Seit seinem Eintritt bei MultiSensor AI im Januar 2026 hat er die Produktstrategie und Innovationsroadmap des Unternehmens entscheidend geprägt. Durch die Einführung einer Produktenablement-Funktion hat er die Verbindung zwischen Produktentwicklung und den Bedürfnissen der Wartungsteams im Feld gestärkt. Diese Ernennung unterstreicht MSAIs Engagement für Produktführung und unterstützt die Expansion in hochautomatisierte Bereiche. Newmans Rolle wird als entscheidend für die Umsetzung der langfristigen Wachstumsstrategien des Unternehmens angesehen.