tokenize
Python tokenize moduli
❮ Python o‘rnatilgan modullari
Misol
Python kodini tokenlarga ajrating:
import tokenize
import io
code = 'x = 42'
tokens = list(tokenize.generate_tokens(io.StringIO(code).readline))
print(f'Found {len(tokens)} tokens')
O‘zingiz sinab ko‘ring »
Ta’rif va qo‘llanilishi
tokenize moduli Python manba kodi uchun leksik skanerni (lexical scanner) taqdim etadi.
Undan Python kodini tokenlarga aylantirish, manba kodi tuzilishini tahlil qilish yoki kod tahlili vositalarini yaratish uchun foydalaning.
A’zolar
| A’zo | Tavsif |
|---|---|
| TokenInfo | Tokenni ifodalovchi nomlangan tuple. |
| generate_tokens() | Python manba kodi stringini tokenlarga ajratadi. |
| tokenize() | Baytlar ko‘rinishidagi Python manba kodini tokenlarga ajratadi. |
| untokenize() | Tokenlarni qayta Python manba kodiga aylantiradi. |
W3Schools Pathfinder
Yutuqlaringizni kuzating – bu bepul!