Confirmation that spaces are really spaces

[quimqu]

For Stolfi: Thai has quite a number of non-separable multi-syllable words. This text has five, not counting สันสกฤต which is a loan word and says 'Sanskrit'.
(Not sure what is happening with the fonts here).

Hello René.

I would like to clarify a few things about the BPE model before addressing the Thai case. BPE was originally designed for text compression, and it is now used in LLM training. Basically, through several passes, it groups the most frequent characters into increasingly larger groups (first in pairs, then groups of three, and so on). I thought that with this method I could determine whether the spaces in the Voynich manuscript delimit real words or whether these were divided into false spaces (for instance to confuse a potential “reader”).

From your answer about Thai I understand the following.

• I have seen that in the original text the Sanskrit words are marked, and I have been able to remove them. Therefore I now have the text cleaned of Sanskrit.
  
• I understand from what you say that Thai texts contain few spaces, and that multiple words are grouped between two consecutive spaces. This means that my precision and recall calculations are meaningless, because I can only compute them if I know the real word boundaries, and the original text gives me no indication.
  
• Likewise, this means that only someone who knows how the words are actually “delimited”, independent of the spaces in the original text, can interpret the results. It will be impossible for me to do much more than show the segmentation output (as in my previous post).
  
• I train different models and compare them with the spaces in the original text. One of the main parameters is the use of single characters. The more single characters there are, the less information the model can provide about the spaces. If the model does not group, I will find all the original spaces, obviously with many intra word spaces. I also think it is useful to limit the number of characters in a group in order to try to find syllables rather than full words (which was not done in the Thai experiment, which is why long segments appear).
  
• Finally, I want to stress that the groupings depend on the original text. If the original text tends to have many repetitions or very frequent phrases, these will tend to be grouped into a single segment. Therefore it is reasonable to limit the maximum number of characters to group in order to make the model more independent of the content of the text.
  

With all this, and with the cleaned text (I do not know whether it is a good text to test), and limiting the maximum group size to 5 characters, this output appears:

ถึง | แม้ | ว่า | หน | ังส | ือ | จะ | ได้ | รับ | ความ | นิยม | จาก | การ | พิ | มพ | ์และ | การ | อ่าน | อย | ่าง | แพร่ | หลาย | เดิม | ที | เป็น | ตอน | หน | ึ่ง | ของ | ซึ่ง | เป็น | วรรณ | กรรม | ประ | วัติ | ศาส | ตร์ | ภา | ษ | าส | ัน | สกฤต | ของ | โลก | ในอ | ดีต | กล | ่าว | ถึง | สถาน | การ | ณ์ | ซึ่ง | น | ํา | เร | ามาส | ู่ | ยุค | ปัจ | จุ | บัน | คือ | กล | ีย | ุค | ซึ่ง | เป็น | จุด | เริ | ่ม | ต้น | ของ | ยุค | นี้ | กล | ีย | ุค | เริ | ่ม | ขึ้ | นเม | ื่อ | ประ | มาณ | ห้า | พัน | ปีก | ่อน | องค์ | ชรี | คริ | ชณะ | ตรัส | ให้ | แก | ่อาร | จุนะ | ผู้ | ทรง | เป็น | ทั้ง | สหาย | และ | สาวก | ของ | พระ | องค์ | การ | สนท | นา | คร | ั้ง | นี้ | เป็น | การ | สนท | นา | ปรัช | ญา | และ | ธรรม | ะ | อัน | ยิ่ง | ใหญ่ | ที่ | สุด | ที่ | มนุษ | ย์ | เคย | รู้