Token (AI)
Een token is de kleinste eenheid van tekst die een AI-taalmodel verwerkt, zoals een woord, deel van een woord of leesteken.
In de wereld van kunstmatige intelligentie is een token de basiseenheid waarmee taalmodellen tekst verwerken. Een token kan een volledig woord zijn, maar ook een deel van een woord, een cijfer of een leesteken. Het Nederlandse woord "volgsysteem" wordt bijvoorbeeld opgesplitst in meerdere tokens. Het aantal tokens bepaalt hoeveel tekst een model in een keer kan verwerken (het zogenaamde contextvenster) en heeft direct invloed op de verwerkingssnelheid en kosten.
Bij het inzetten van AI-oplossingen is het belangrijk om bewust om te gaan met tokens. Elk verzoek aan een taalmodel verbruikt tokens voor zowel de invoer als de uitvoer. Een efficiente prompt levert niet alleen betere antwoorden op, maar verbruikt ook minder tokens. Wabber optimaliseert de tokenverwerking binnen onze RAG-pipeline, zodat alleen de meest relevante context wordt meegegeven aan het model.
Op het privecluster van Wabber worden tokens lokaal verwerkt, zonder dat gegevens naar externe servers worden verstuurd. Dit is een groot voordeel voor organisaties die werken met vertrouwelijke informatie. Doordat wij beschikken over 128GB VRAM kunnen wij modellen draaien met grote contextvensters, wat betekent dat er meer informatie tegelijk kan worden verwerkt voor nauwkeurigere antwoorden.