Mixture-of-Experts (MoE) är en neural arkitektur där nätverket innehåller många parallella delmodeller (experter) men bara en liten delmängd aktiveras för varje token, styrt av en router. Detta gör att den totala parameterbudgeten kan vara mycket stor medan den faktiska beräkningen per token förblir låg: man skiljer på totala parametrar och aktiva parametrar. MoE möjliggör därför modeller med hög kapacitet till lägre inferens- och träningskostnad än en lika stor tät modell.

Tekniken popularis erades i stor skala av bland andra Google (Switch Transformer) och är i dag standard bland de största öppna modellerna, där annonserade totalparametrar kan ligga i biljonklassen medan aktiva parametrar per token ligger en till två storleksordningar lägre. Utmaningar rör lastbalansering mellan experter, träningsstabilitet och minneskrav. Den praktiskt viktigaste konsekvensen är att minnesbehovet styrs av totalen medan hastigheten styrs av de aktiva parametrarna: stora MoE-modeller är därför billiga att köra per token men fortfarande tunga att hosta, vilket gör dem svåra att använda som lokalt suveränitetsalternativ trots öppna vikter.