A tokenizer függvények egy interfészt biztosítanak a PHP tokenizerének a Zend Motorban. Ezeket a függvényeket használva megírhatod a saját PHP forráskódot analizáló vagy modósító programodat, a nyelvi specifikáció szótári szintű ismerete nélkül.
Lásd még a függeléket a tokenekről.
Az itt leírt függvények használatához semmilyen külső függvénykönyvtár megléte nem szükségeltetik.
A PHP 4.3.0-tól ezek a funkciók alaphelyzetben engedélyezve vannak. A régebbi verziókban a PHP-t a --enable-tokenizer konfigurálási opcióval kell lefordítanod. Eltávolíthatod a tokenizer támogastást a --disable-tokenizer opcióval.
A PHP Windows-os változata beépített támogatással rendelkezik eme kiterjesztéshez. Nincs szükség semmilyen kiterjesztés betöltésére, hogy az itt felsorolt függvényeket használhasd.
Megjegyzés: Beépített tokenizer támogatás a PHP 4.3.0 verziótól van.
Amikor a kiterjesztés már vagy be van fordítva a PHP-ba vagy dinamikusan be van töltve futásidőben, a tokenek ki vannak listázva (Q Függelék) és konstansonként vannak definiálva.
Íme egy egyszerű PHP program, ami a tokenizert használja, amivel beolvas egy PHP fájlt, eltünteti az összes kommentet a forrásból és csak a tiszta kódot írja ki.