Sastrawi Tokenizer

Tokenization

Tokenization adalah proses memecah kalimat menjadi token-token, contoh:

Ini kalimat pertama. Ini kalimat kedua.

akan dipecah menjadi:

• Ini
• kalimat
• pertama
• .
• Ini
• kalimat
• kedua
• .

Lebih Lanjut Mengenai Sastrawi Tokenizer

• Source code
• Cara Install
• Penggunaan
• Wiki
• Bug Report, Questions, Ideas

Demo

Pecah jadi token

Contoh:

• Ini ibu Budi. Itu ayah Rudi.
• Jangan makan terlalu banyak! Kamu ingin gemuk?!
• Budi pergi ke Jl. KH. Mukmin no. 67 Surabaya. Dia dipanggil untuk interview.