KI Suche
Die Suche durchsucht Rubriken, Unterrubriken, Cluster, importierte Artikel, Firmen, Quellen und die wichtigsten Service-Seiten der KI-Linksammlung.
Suchergebnisse
28 Treffer für die aktuelle Abfrage.
Mixture-of-Experts
Aktuelle Links, Zusammenfassungen und Marktinformationen zu Mixture-of-Experts innerhalb von Modellarchitekturen auf JetztStarten.de.
MoE Routing Failures: What Happens When Top-K Load Balancing Breaks Down
Die Mixture-of-Experts (MoE) Architekturen sind eine effektive Methode zur Skalierung großer Sprachmodelle, indem sie dichte Netzwerke durch sparsely gated Expert-Subnetze ersetzen. Modelle wie Mixtral 8x7B und GPT-4 zielen darauf ab, die Inferenzlatenz kleinerer Modelle zu erhalten und gleichzeitig
Run 100B+ AI Models Locally? The Hardware You’ll Need
Der Artikel "Run 100B+ AI Models Locally? The Hardware You’ll Need" beleuchtet, wie moderne Technologien wie Modellquantisierung und Mixture-of-Experts-Architekturen in Verbindung mit leistungsstarken Verbraucher-GPUs es ermöglichen, KI-Modelle mit über 100 Milliarden Parametern lokal zu betreiben.
Building a Local $2,000 Workstation for 300B Models
Die Entwicklung von Mixture-of-Experts (MoE) Architekturen ermöglicht es, massive KI-Modelle mit über 300 Milliarden Parametern lokal zu betreiben, ohne auf kostspielige Cloud-Dienste oder spezialisierte Hardware angewiesen zu sein. Früher waren solche Modelle nur für Nutzer mit umfangreicher Hardwa
GLM-5.3-Flash: The Sub-20B Active Parameter Titan Redefining Agentic Efficiency
Die Veröffentlichung von GLM-5.3-Flash durch Z. ai stellt einen bedeutenden Fortschritt in der Entwicklung offener KI-Architekturen dar. Dieses Modell kombiniert hybride linear-sparsamen Aufmerksamkeit mit manifold-konstrainten Hyperverbindungen und bietet ein Mixture-of-Experts (MoE) System mit 320
FreeToken Unlocks Frontier MoE Inference on Consumer Hardware via Dynamic Co-Execution
Forscher von UC Berkeley und MIT haben FreeToken, eine Open-Source-Inferenz-Engine, entwickelt, die darauf abzielt, fortschrittliche Mixture-of-Experts (MoE) Modelle auf Consumer-Hardware zugänglich zu machen. FreeToken nutzt eine dynamische Co-Scheduling-Formulierung, die als q*-Policy bekannt ist,
Tencent unveils open-source AI model for coding, research
Tencent hat das Open-Source-KI-Modell Hy4 Preview vorgestellt, das für Aufgaben in Softwareentwicklung, Forschung und Finanzanalyse konzipiert ist. Mit einer "Mixture-of-Experts"-Architektur und 770 Milliarden Parametern nutzt das Modell effizient etwa 49 Milliarden Parameter für spezifische Textanf
Adaptive AI combines complementary motion experts to reconstruct complex 3D scenes
Der Artikel mit dem Titel "Adaptive AI combines complementary motion experts to reconstruct complex 3D scenes" beschreibt einen innovativen Ansatz zur Rekonstruktion komplexer 3D-Szenen mithilfe adaptiver Künstlicher Intelligenz. Die Methode integriert verschiedene spezialisierte Bewegungsmodelle, d
AI will not solve council cash crisis, say experts
In Großbritannien stehen Kommunen vor einem finanziellen Defizit von 4 Milliarden Pfund und setzen zunehmend auf Künstliche Intelligenz (KI), um ihre Herausforderungen zu bewältigen. Experten warnen jedoch, dass KI kein Allheilmittel ist und ethische Bedenken aufwirft, insbesondere bei der Beurteilu
NVIDIA Nemotron 3.5 Lightning: 30B modelo abierto para agentes de IA
NVIDIA hat das Nemotron 3.5 Lightning vorgestellt, ein offenes KI-Modell mit 30 Milliarden Parametern, das die Mixture-of-Experts (MoE)-Architektur nutzt. Diese innovative Architektur aktiviert nur einen Teil der Parameter zur Token-Verarbeitung, wodurch Rechenanforderungen und Latenz im Vergleich z
NVIDIA Nemotron 3.5 Lightning: Neues MoE-Modell soll KI-Agenten ordentlich beschleunigen
NVIDIA hat das neue Mixture-of-Experts-Modell (MoE) Nemotron 3.5 Lightning vorgestellt, das für kontinuierlich laufende Agenten-Systeme optimiert ist. Mit 30 Milliarden Parametern verspricht das Modell eine bis zu vierfache Beschleunigung der Token-Generierung und eine 30-prozentige Reduzierung der
Nemotron 3.5 Lightning: Nvidias offenes 30B-MoE-Modell für KI-Agenten
Nvidia hat das Nemotron 3.5 Lightning vorgestellt, ein offenes Sprachmodell mit 30 Milliarden Parametern, das für Unternehmensumgebungen optimiert ist. Es nutzt eine Mixture-of-Experts-Architektur, die Technologien wie Mamba-2-State-Space-Layer und MoE-Routing integriert. Diese Kombination ermöglich
NVIDIA Nemotron 3.5 Lightning: IA local 4x más rápida para agentes en 2026
NVIDIA hat das KI-Modell Nemotron 3.5 Lightning vorgestellt, das mit 30.000 Millionen Parametern ausgestattet ist und intelligente Agenten lokal bis zu viermal schneller ausführt als vergleichbare Modelle. Die innovative Mixture-of-Experts (MoE)-Architektur sorgt für hohe Geschwindigkeit bei geringe
Alibaba Aktie: Qwen3.8-Max 60–80% günstiger als OpenAI
Die Alibaba Group hat mit der Einführung ihres neuen KI-Modells Qwen3.8-Max, das 2,4 Billionen Parameter und eine Mixture-of-Experts-Architektur nutzt, für Aufsehen an den internationalen Märkten gesorgt. Das Modell erreicht die Leistungsfähigkeit westlicher Systeme und wird mit einer aggressiven Pr
Mixture of Experts: How Sparse Gating Enables 1T-Parameter LLMs
Der Artikel "Mixture of Experts: How Sparse Gating Enables 1T-Parameter LLMs" erläutert, wie Mixture of Experts (MoE) Architekturen die Implementierung von großen Sprachmodellen (LLMs) mit bis zu 1 Billion Parametern ermöglichen. Anstelle von dichten Feed-Forward-Schichten nutzen diese Modelle paral
Before Kimi K3 Goes Open: 8 Secrets Every Developer Needs to Know
Die bevorstehende Veröffentlichung von Kimi K3 für Entwickler erfordert ein tiefes Verständnis technischer Aspekte, um Missverständnisse zu vermeiden. K3 basiert auf einem sparsamen Mixture-of-Experts-Modell mit 896 spezialisierten Subnetzwerken, wobei nur 16 pro Eingabetoken aktiviert werden. Viele
GPT-4 Has 1.8 Trillion Parameters. It Uses 2% of Them Per Token. Here Is Why That Is a Feature.
GPT-4 verfügt über beeindruckende 1,8 Billionen Parameter, von denen jedoch bei der Verarbeitung eines Tokens nur etwa 36 Milliarden, also rund 2%, aktiviert werden. Diese bewusste Entscheidung, 98% der Parameter inaktiv zu lassen, ist eine architektonische Wahl, die auf einer soliden mathematischen
Kimi K3 – the world’s largest open-weight AI model
Die chinesische Startup-Firma Moonshot AI hat mit Kimi K3 ein bahnbrechendes Open-Weight-Modell vorgestellt, das mit 2,8 Billionen Parametern und einem Kontextfenster von einer Million Token beeindruckt. Dieses Modell nutzt eine Mixture-of-Experts-Architektur, die die Rechenkosten senkt, indem nur e
DeepSeek V4: Microsoft plant Integration in Copilot Cowork
Microsoft plant die Integration des KI-Modells DeepSeek V4 in seinen Unternehmensassistenten Copilot Cowork, um kosteneffizientere Alternativen zu bestehenden Modellen zu bieten. DeepSeek V4, das auf einer Mixture-of-Experts-Architektur basiert, könnte die Inferenzkosten um bis zu 90 Prozent senken.
If Your Model Inference is Slow, MOE Can Fix it
Der Artikel "If Your Model Inference is Slow, MOE Can Fix it" erläutert, wie das Konzept der Mixture of Experts (MoE) die Inferenzgeschwindigkeit von Modellen signifikant verbessert. MoE optimiert das Token-Routing, sodass nicht alle Token durch alle Gewichte im Netzwerk verarbeitet werden müssen, w
MAI-Thinking-1: Microsoft präsentiert erstes eigenes Reasoning-Modell
Auf der Entwicklerkonferenz Build 2026 hat Microsoft sein erstes eigenes Reasoning-Modell, MAI-Thinking-1, vorgestellt, was einen signifikanten strategischen Wandel des Unternehmens darstellt, da es sich von OpenAI abwendet. Das Modell nutzt eine Mixture-of-Experts-Architektur mit rund 35 Milliarden
VIAVI Introduces AI Experts to Simplify and Accelerate Wireless Test, Validation and Observability
VIAVI Solutions hat die Einführung von AI Experts angekündigt, die als erste Erweiterung des NITRO® AI-Portfolios fungieren. Diese speziell entwickelten KI-Tools integrieren intelligente Automatisierung in die Arbeitsabläufe von Laboren und im Feld, um Ingenieuren bei der schnelleren und präziseren
Hy3 de Tencent: 7.7T de tokens y el rey de OpenRouter 2026
Hy3, ein innovatives Mixture-of-Experts-Modell von Tencent, hat in weniger als drei Wochen beeindruckende 7,7 Billionen Tokens auf OpenRouter verarbeitet und sich damit als führendes Modell etabliert, das seinen nächsten Konkurrenten, Kimi K2. 6 von Moonshot AI, um 54 Prozent übertrifft. Diese Leist
Under the Hood of DeepSeek V4: The Algorithmic Shifts Redefining Frontier MoE Scaling
In den letzten drei Jahren hat die KI-Branche eine Herausforderung erlebt, da das Streben nach immer größeren Modellen zu untragbaren Kosten und Ressourcenverbrauch führte. Die Mixture of Experts (MoE) Architektur wurde als Lösung entwickelt, um die Abhängigkeit von massiven GPU-Clustern, wie sie fü
MOREH Demonstrates Production-Ready LLM Inference on Tenstorrent Galaxy, Achieving DGX A100-Class Performance with Improved Cost Efficiency
Moreh hat erfolgreich die LLM-Inferenz auf dem Tenstorrent Galaxy Wormhole-System validiert und dabei sein proprietäres 'MoAI Inference Framework' eingesetzt. Die Tests mit führenden Mixture-of-Experts-Modellen zeigten eine Leistung, die mit der von NVIDIA DGX A100-Systemen vergleichbar oder sogar ü
GLM-5.1: Architecture, Benchmarks, Capabilities & How to Use It
Z. ai hat mit GLM-5.1 ein neues KI-Modell vorgestellt, das durch seine große Modellgröße und Effizienz einen bedeutenden Fortschritt in der Entwicklung großer Sprachmodelle darstellt. Das Modell nutzt ein fortschrittliches Mixture-of-Experts-Framework, das komplexe mehrstufige Operationen schneller
We spoke to the man making viral Lego-style AI videos for Iran. Experts say it's powerful propaganda
In einem Interview erläutert ein Vertreter von Explosive Media, einem Unternehmen, das virale Lego-ähnliche AI-Videos für Iran produziert, die Entstehung dieser Inhalte, die als pro-iranische Propaganda fungieren. Die Videos, die brutale Szenen und politische Figuren wie Donald Trump zeigen, vermitt
Experts warn over growing dependence on conversational AI
Immer mehr Menschen entwickeln emotionale Bindungen zu konversationalen KI-Tools wie ChatGPT, die sie als Freunde oder Berater betrachten. Diese Tendenz wird durch die ständige Verfügbarkeit der KI und das Gefühl der Bestätigung, das Nutzer erfahren, verstärkt. Experten warnen jedoch vor einer mögli