Confirmation that spaces are really spaces
#26
Thanks @quimqu for the effort!

(15-11-2025, 05:27 PM)quimqu wrote: You are not allowed to view links. Register or Login to view.EVALUATION RESULTS, length aware BPE:
Correct starts: 93.626%  Correct ends: 93.626%
Boundary recall: 93.626%  Perfect words: 87.406%

Example, first 200 characters segmented:
ถึงแม้ว่า | หน | ัง | ส | ือ | ภควัตคีตาฺ | จะ | ได้รับความ | นิ | ยม | จากการ | พิ | ม | พ | ์ | และการ | อ | ่าน | อย่าง | แ | พร | ่ | หลาย | เดิม | ที | เป็น | ตอน | หนึ่ง | ของ | มหา | ภ | าร | ต | ะฺ | ซึ่งเป็น | วรรณกรรม | ประ | วัต | ิ | ศาสตร์ | ภา | ษ | าส | ัน | ส | ก | ฤ | ต | ของ | โลก | ในอ | ดีต | มหา | ภ | าร | ต | ะฺ | กล่าว | ถึง | สถาน | การณ์ | ซึ่ง | น | ํ | า | เร | าม | าส | ู่

Unfortunately, this is not correct. It is even very far off. I wonder how the tool decided on the 90+% percentages.

The line:

ถึงแม้ว่าหนังสือ.ภควัตคีตาฺ.จะได้รับความนิยมจากการพิมพ์และการอ่านอย่างแพร่หลาย.เดิมทีเป็นตอนหนึ่งของ.มหาภารตะฺ.ซึ่งเป็นวรรณกรรมประวัติศาสตร์ภาษาสันสกฤตของโลกในอดีต.มหาภารตะฺ

is quite an unfortunate choice as a sample Thai text. It includes several names that are Sanskrit. The full stops are also unusual and while they may be used in Thai, here they seem to also represent quotes. The character that looks like a tiny dot below some characters is normally not used.
I doubt that this was the main cause for the failure, but it will not have helped. 
Reply


Messages In This Thread
RE: Confirmation that spaces are really spaces - by ReneZ - 16-11-2025, 02:54 PM

Possibly Related Threads…
Thread Author Replies Views Last Post
  [split] Measure uncertain spaces? Koen G 8 1,647 24-08-2026, 08:09 AM
Last Post: Pointless..
  Uncertain spaces as evidence of verbose glyph pairs kckluge 0 1,587 01-01-2026, 05:24 AM
Last Post: kckluge
  n-grams while ignoring spaces? Koen G 10 9,804 17-03-2025, 05:32 PM
Last Post: zachary.kaelan
  Using Massimiliano Zattera's slot sequence or a different one to find missing spaces? nablator 8 8,495 15-05-2024, 12:14 AM
Last Post: ReneZ
  Ambiguous Spaces Emma May Smith 28 21,335 19-03-2024, 09:49 AM
Last Post: MarcoP
  Bigrams across uncertain spaces RobGea 26 21,535 24-05-2022, 07:02 AM
Last Post: MarcoP
  Spaces and Entropy Koen G 32 31,683 22-05-2022, 12:28 AM
Last Post: Anton
  Spaces and word cases Barbrey 0 4,597 26-07-2021, 02:17 AM
Last Post: Barbrey

Forum Jump:


Users browsing this thread: 1 Guest(s)