Can LAAFU effects be modeled?

[Jorge_Stolfi]

These are the most common two- and three- word sentences in the Herbal section of Culpeper's Herbal (17th century English). Here is the same for the novel I Promessi Sposi (modern Italian).  And here is the same for the Vulgate Genesis (Latin)

For comparison, here are the analogous lists for a Chinese text. The source is a set of transcripts of the Voice of America radio broadcasts in Mandarin Chinese, 1996-1998.  As before, for each N in {2,3,4}, the first 10'000 N-phrases (sequences of N consecutive words) were extracted, then the occurrences of each distinct N-phrase were counted, and the top 20 entries for each N were listed.  Here "word" means a single Chinese letter (= syllable).  Punctuation was ignored, but phrases spanning parag breaks were excluded. 

The Chinese letters in the original file were represented in the old GB2312 encoding.  They were transcoded to Unicode by a Linux utility (autogb).  The Pinyin and English equivalents were obtained through Google Translate.  They are very approximate since the N-phrases often contain only half of a two-character (two-syllable) compound word, whose meaning may be quite unrelated to that of its individual characters.

N = 2:

   191 中.国        | Zhōngguó              |    China.
   115 美.国        | Měiguó                |    US.                                     
    61 台.湾        | Táiwān                |    Taiwan.                                 
    41 报.道        | Bàodào                |    Report.                                 
    40 日.本        | Rìběn                 |    Japan.                                 
    38 表.示        | Biǎoshì               |    Said.                                   
    36 国.的        | Guó.de                |    Chinese.               
    33 政.府        | Zhèngfǔ               |    Government.
    27 关.系        | Guānxì                |    Relations.                             
    27 问.题        | Wèntí                 |    Issue.                                 
    24 制.裁        | Zhìcái                |    Sanctions.                             
    24 星.期        | Xīngqí                |    This week.                             
    23 但.是        | Dànshì                |    However.
    23 钓.鱼        | Diàoyú                |    Diaoyu.                       
    23 鱼.岛        | Yú.dǎo                |    Islands.                             
    22 记.者        | Jìzhě                 |    Reporter.   
    21 北.京        | Běijīng               |    Beijing.                             
    21 国.家        | Guójiā                |    National.                             
    21 国.政        | Guózhèng              |    State.                               
    21 进.行        | Jìnxíng               |    Proceed.                             

N = 3:

    24 钓.鱼.岛     | Diàoyúdǎo             |    Diaoyu Islands.                         
    20 中.国.的     | Zhōngguó.de           |    China.                                 
    19 国.政.府     | Guó.zhèngfǔ           |    Government.                             
    18 李.登.辉     | Lǐdēnghuī             |    Lee Teng-hui.                           
    18 的.报.道     | De.bàodào             |    Report.                                 
    16 中.国.政     | Zhōngguó.zhèng        |    Chinese.                               
    16 国.之.音     | Guózhī.yīn            |    Voice of.
    16 美.国.之     | Měiguózhī             |    America.                       
    14 发.言.人     | Fāyán.rén             |    A spokesperson.                         
    14 对.中.国     | Duì.zhōngguó          |    On the China.
    14 问.题.上     | Wèntí.shàng           |    Question question.                     
    13 中.国.外     | Zhōngguó.wài          |    China.                                 
    13 台.湾.的     | Táiwān.de             |    Taiwan.                                 
    13 外.交.部     | Wàijiāo.bù            |    Ministry of Foreign Affairs.           
    13 报.道.说     | Bàodào.shuō           |    Report.                                 
    13 的.时.候     | De.shíhòu             |    When.                                   
    12 位.听.众     | Wèi.tīngzhòng         |    Listeners.                             
    12 各.位.听     | Gèwèi.tīng            |    Listen.                                 
    12 说.中.国     | Shuō.zhōngguó         |    Talking about Chinese.                 
    12 领.导.人     | Lǐngdǎo.rén           |    Leaders.                               

N = 4:

    16 美.国.之.音  | Měiguó.zhī.yīn        |    Voice of America.                       
    14 中.国.政.府  | Zhōngguó.zhèngfǔ      |    Chinese government.                     
    13 各.位.听.众  | Gèwèi.tīngzhòng       |    Listeners.                             
    10 下.面.请.听  | Xiàmiàn.qǐng.tīng     |    Now, please listen.                     
    10 两.岸.关.系  | Liǎng'àn.guānxì       |    Cross-strait relations.                 
    10 之.音.记.者  | Zhī.yīn.jìzhě         |    Voice of America reporter.             
    10 听.美.国.之  | Tīng.měiguó.zhī       |    Listen to America.                     
    10 国.之.音.记  | Guó.zhī.yīn.jì        |    Voice of America reporter.             
    10 请.听.美.国  | Qǐng.tīng.měiguó      |    Please listen to America.               
    10 面.请.听.美  | Miàn.qǐng.tīng.měi    |    Please listen to America.               
     9 中.国.外.交  | Zhōngguó.wàijiāo      |    Chinese Foreign Ministry.               
     9 国.外.交.部  | Guó.wàijiāo.bù        |    Ministry of Foreign Affairs.           
     9 外.交.部.发  | Wàijiāo.bù.fā         |    Ministry of Foreign Affairs.           
     8 中.国.大.陆  | Zhōngguó.dàlù         |    Mainland China.                         
     8 交.部.发.言  | Jiāo.bù.fāyán         |    Ministry of Foreign Affairs statement. 
     8 部.发.言.人  | Bù.fāyán.rén          |    Ministry spokesperson.                 
     7 发.来.的.报  | Fā.lái.de.bào         |    Report from.                           
     7 李.登.辉.的  | Lǐdēnghuī.de          |    Lee Teng-hui.                           
     7 来.的.报.道  | Lái.de.bàodào         |    Report from.                           
     6 出.口.银.行  | Chūkǒu.yínháng        |    Export-Import Bank.

I will comment on these results in the next post.