Microsofts 'Mu' vil drive flere forbedringer i Windows 11

Microsoft præsenterer Mu, en effektiv mikro-sprogmodel til Windows 11. Den muliggør hurtigere funktioner på enheder med begrænset strøm og forbedrer brugeroplevelsen gennem smartere indstillingshåndtering.

Store sprogmodeller (LLM'er) er i fokus, men små sprogmodeller er også vigtige for visse opgaver, især på enheder med begrænset strøm som telefoner og bærbare computere. Microsoft har lige afsløret sin nye Mu sprogmodel, som allerede understøtter nogle funktioner i Windows 11.

Microsoft bruger allerede en lille sprogmodel kaldet Phi Silica i Windows 11, hvilket gør det muligt for Copilot+ PC-funktionerne at fungere uden nedbrud på chipsets som Snapdragon X Plus. Populære AI-chatbots som ChatGPT, Copilot og Gemini bruger mere avancerede LLM'er, der kræver kraftfulde GPU'er, men mindre modeller som Phi Silica og Mu kan opnå lignende resultater med en brøkdel af behandlingskraften, omend med mindre alsidighed.

Mu er en “mikro-størrelse, opgave-specifik sprogmodel” designet til at køre effektivt på en Neural Processing Unit, eller NPU, som dem der findes i de nyeste Copilot+ PC'er. Microsoft anvendte mange forskellige optimeringsteknikker for at opnå høj ydeevne på begrænset strøm, herunder en transformer encoder-decoder arkitektur, deling af vægte i visse komponenter for at reducere det samlede parameterantal, og kun at bruge hardware-accelererede operationer. Microsoft oplyser, at Mu kan køre med mere end 200 token per sekund på en Surface Laptop 7, hvilket giver en hurtigere respons end man typisk ville få fra de gratis versioner af ChatGPT eller Gemini i en webbrowser.

Mu-modellen bruges først til søgefeltet i Windows 11 indstillingsapp'en, som for nylig blev rullet ud til Windows Insiders på Snapdragon-PC'er. Den kan forstå forespørgsler som “hvordan man styrer min PC med stemmen” eller “min muspointer er for lille” og finde den rigtige indstilling. Det er ikke klart, om Mu vil blive brugt til andre Copilot+ PC-funktioner.

Microsoft sagde i et blogindlæg: “At håndtere det store antal Windows-indstillinger udgjorde sine egne udfordringer, især med overlapping af funktionaliteter. For eksempel kan en simpel forespørgsel som “Øg lysstyrken” henvise til flere indstillingsændringer – hvis en bruger har dual monitors, betyder det så at øge lysstyrken på den primære monitor eller en sekundær monitor? For at tackle dette har vi forfinet vores træningsdata for at prioritere de mest brugte indstillinger, mens vi fortsat forfiner oplevelsen for mere komplekse opgaver.”

Letvægts sprogmodeller, der kører lokalt, er nogle af de bedste anvendelser af generativ AI, da responsivitet og databeskyttelse er meget lettere, når der ikke er involveret skyservere. Det forhindrede dog ikke Recall i næsten at blive en sikkerhedskatastrofe.

Kilde: Windows Blog