Nieuwe Google-tool laat grote taalmodellen op lokale apparaten draaien

Google heeft met het Mediapipe-framework een nieuwe reeks tools voor ontwikkelaars geïntroduceerd. Met deze toolkit kunnen ontwikkelaars nu grote taalmodellen (LLM’s) lokaal op apparaten uitvoeren. De nieuwe experimentele API heeft tot doel de uitdagingen aan te pakken die verband houden met geheugen- en berekeningsbeperkingen die gepaard gaan met grote taalmodellen. Google biedt gedetailleerde informatie hierover op zijn eigen blog.

Hier de belangrijkste punten:

• TensorFlow Lite en Mediapipe bieden sinds 2017 on-device machine learning voor webontwikkelaars aan.
• Mediapipe ondersteunt specifiek het volledige machine learning-pijplijn sinds 2019.
• De nieuwe API werkt op web-, Android- en iOS-platforms.
• Het ondersteunt vier publiek beschikbare taalmodellen: Gemini, Phi 2, Falcon en Stable LM.
• Android-gebruikers kunnen de Mediapipe API gebruiken voor experimentele en onderzoeksdoeleinden met grote taalmodellen. Voor productietoepassingen kunnen ze de Gemini API of Gemini Nano op Android-apparaten gebruiken.
• Deze ontwikkeling maakt een efficiënter en flexibeler gebruik van taalmodellen rechtstreeks op apparaten mogelijk, waardoor de beperkingen worden overwonnen die worden gesteld door hun omvang en resourcevereisten.