Confirmation that spaces are really spaces

[quimqu]

Would you like to test your model on Thai? This is written mostly without word spaces. 
It would just need to be able to read unicode - I expect it would be UTF-8. I would be interested to see how well it does.

OK, done. I took the book ThaiBhagavadGita from Sitalatma You are not allowed to view links. Register or Login to view.

I cleaned the text taking only the paragraphs and removing the non Thai chars. This is how it looks like:

ถึงแม้ว่าหนังสือ.ภควัตคีตาฺ.จะได้รับความนิยมจากการพิมพ์และการอ่านอย่างแพร่หลาย.เดิมทีเป็นตอนหนึ่งของ.มหาภารตะฺ.ซึ่งเป็นวรรณกรรมประวัติศาสตร์ภาษาสันสกฤตของโลกในอดีต.มหาภารตะฺ

I have to tune the model as at the beginning I had about 56% of the found segmens single characters, and that made the spacing detection go to almost 100%. It was too atomized. So I limited the model to only allow up to 10% of the segments found to be sole characters. With that, you can see the results here:

Number of gold words: 32413
Length of concatenated text: 916412
Stopping at iteration 1274 with char_ratio=0.100

SEGMENTATION STATS:
Number of segments: 235852
Segments per word: 7.28
Percentage of 1 character segments: 10.00%

EVALUATION RESULTS, length aware BPE:
Correct starts: 93.626%  Correct ends: 93.626%
Boundary recall: 93.626%  Perfect words: 87.406%

Example, first 200 characters segmented:
ถึงแม้ว่า | หน | ัง | ส | ือ | ภควัตคีตาฺ | จะ | ได้รับความ | นิ | ยม | จากการ | พิ | ม | พ | ์ | และการ | อ | ่าน | อย่าง | แ | พร | ่ | หลาย | เดิม | ที | เป็น | ตอน | หนึ่ง | ของ | มหา | ภ | าร | ต | ะฺ | ซึ่งเป็น | วรรณกรรม | ประ | วัต | ิ | ศาสตร์ | ภา | ษ | าส | ัน | ส | ก | ฤ | ต | ของ | โลก | ในอ | ดีต | มหา | ภ | าร | ต | ะฺ | กล่าว | ถึง | สถาน | การณ์ | ซึ่ง | น | ํ | า | เร | าม | าส | ู่