Czym są tokeny i dlaczego mają znaczenie

Model językowy nie „czyta" tekstu litera po literze ani słowo po słowie — dzieli go na tokeny, czyli fragmenty tekstu (patrz też nasz słownik — hasło „token"). Liczba tokenów ma znaczenie z dwóch powodów: (1) każdy model ma limit tokenów, które może przetworzyć w jednej rozmowie (okno kontekstu), (2) w wielu płatnych API koszt jest naliczany właśnie za liczbę zużytych tokenów.

Uwaga: to narzędzie podaje przybliżenie oparte na prostej regule (ok. 3,5 znaku na token dla języka polskiego). Dokładna tokenizacja różni się między modelami i bywa nieco inna dla tekstu z dużą liczbą polskich znaków diakrytycznych.

Czy 1 token to zawsze jedno słowo?

Nie. Krótkie, popularne słowa bywają jednym tokenem, a długie lub rzadkie słowa (częste w języku polskim ze względu na odmianę) mogą być podzielone na kilka tokenów.

Jak zmniejszyć liczbę tokenów w prompcie?

Usuń zbędne powtórzenia, skróć przykłady do niezbędnego minimum i unikaj wklejania całych dokumentów, jeśli potrzebujesz odpowiedzi tylko na fragment.

O tej treści

Redakcja serwisu Gadam z Botem · aktualizacja: 4 września 2026

Materiał przygotowuje redakcja serwisu z wykorzystaniem narzędzi sztucznej inteligencji, w oparciu o wymienione niżej źródła. Nie są to przypisy do pojedynczych zdań, tylko podstawa merytoryczna działu. Kto stoi za serwisem i jak powstają teksty, opisuje strona O nas. Możliwości narzędzi AI zmieniają się szybko — przed decyzją sprawdź aktualną dokumentację dostawcy.

Źródła, na których opieramy ten dział:

Licznik tokenów

Czym są tokeny i dlaczego mają znaczenie

O tej treści