Character entropy of Voynichese

[Anton]

To comment upon Helmut's You are not allowed to view links. Register or Login to view., but not introduce offtopic in that thread.

There are some considerations against Voynichese being just a highly abbreviated plain text (Latin or otherwise), namely from the perspective of its statistical properties.

Let's consider an example with the declaration of the universally neglected human rights. Here's its text in Latin normalized as follows: all headers removed, all characters converted to lower case, all punctuation removed, all "v" characters substituted with "u" (so as to bring the text closer to the medieval practise), and also there are no "j" or "w" characters and no digits.

You are not allowed to view links. Register or Login to view.

Code:

omnium humanae gentis partium perspecto et cognito consensum fidemque propriae dignitatis atque iurium quae omni tempore aequa et paria esse debent nec alienari possunt totius terrae libertatis iustitiae pacis esse initium hominis iurium perspecto et cognito contemptum et neglegentiam ea facinora atrocia tulisse ut morum humanorum conscientiam religionemque minuerint atque etiam aetatis initium qua omnes homines loquendi libertate et credendi utantur nihil terroris indigentiaeque timentes maximum quod homo expetiuerit renuntiatum hominis iura perspecto et cognito legum regimine defendi necesse si cupiunt hominem ultima ratione ad nimiae uexationi ac crudeli dominationi reclamitandum non sollicitari gentium coniunctionibus perspecto et cognito magis magisque in dies faueri necesse gentium coniunctarum perspecto et cognito nationes in constitutione propria iuribus hominis praecipuis fidem se habere confirmauisse ipsius hominis dignitati et uirtuti aequis inter homines uel uirum uel mulierem iuribus praeterea non modo progressioni generis humani communi se fauere decreuisse sed etiam rationibus uiuendi in latiore facultate prosperioribus ciuitates socias perspecto et cognito salua fide de maxima uerecundia et certa obseruantia hominis iurium et omnium praecipuarum libertatum firmandis auxilio cum cunctis gentibus coniunctis conferendo esse pollicitas ad eadem officia persoluenda perspecto et cognito communem formam rationemque et eorundem iurium et libertatum maximi esse momenti et ponderis itaque publicus nationum coetus hanc declarationem hominis iurium uniuersam promulgant omnibus ciuibus et gentibus speciem perfectam et communem adipiscendam ut omnes homines et omnes societatis partes memoriam declarationis tenentes et docendo et instituendo eorundem iurium et libertatum obseruantiam reuerentiamque augeri conentur atque patriis consiliis et externis in dies progredientibus communem omnium et certam probationem rationemque esse tuta cum sociarum ciuitatum ciuium tum ciuium quorum fines in iurisdictionis earundem potestate sint et dicione omnes homines dignitate et iure liberi et pares nascuntur rationis et conscientiae participes sunt quibus inter se concordiae studio est agendum omnium hominum propria sunt quae iura et libertates in hac declaratione enuntiantur generis uultus sexus linguae religionis opinionis ciuilis nullo discrimine atque sine natione diuitiis loco discretis praeterea nullum discrimen statuetur ciuitatis forma et iuris aut gentium regionis aut territorii cuius quidam est siue ea regio aut territorium sui iuris est uel in administrationis fiduciariae dicione uel non liberum uel in cuiuslibet imperii modi potestate suae quisque ipsius uitae libertatis incolumitatis potestatem habet homo nemo iugo et seruitute oppressus teneri poterit nullo pacto seruitus et mancipiorum commercium homo nemo in cruciatum poterit dari suppliciis atrocibus adhibendis suae quisque ipsius probationis potestatem habet ubicumque gentium personae rationalis et ciuilis omnes homines ea lege qua aequo modo defendantur sunt pares sine ullo discrimine omnes homines lege aequa suae ipsorum defensionis ius habent ab omni discrimine quod eam declarationem uiolet atque ab omni incitamento ad id discrimen efficiendum suae quisque ipsius appellationis ad idonea tribunalia patria de facinoribus quae maxima et iusta iura uiolent ei relata a rei publicae institutis uel legibus potestatem habet homo nemo sine causa prehendi custodia teneri uel exilio poterit affici sui quisque pari iure iudices aeque ac coram omnibus adeundi potestatem habet qui non opinioni obnoxii sint sed integri ut iura officiaque sua constituantur atque criminis contra se iustae causae suae quisque ipsius innocentiae coniectae sceleris accusatus omni de defendenda causa auctoritate comparata et fide accepta dum culpa ex lege in publico iudicio ostenta erit potestatem habet homo nemo damnari poterit si iussum quod ipso hoc tempore aut ex domestico iure aut ex gentium non fuerit scelus perpetrauerit uel praetermiserit item nulla poena maior quam quae scelere commisso iure potest dici irroganda homo nemo intercessiones sine causa adire in suae ipsius uitae genus familiam domum mutuam corresponsionem neque in sui fama detrimenta capere poterit suae quisque ipsius tutelae ex lege contra easdem intercessiones aut detrimenta potestatem habet suae quisque et motus et sedis domiciliique in omnium ciuitatum finibus libertatis potestatem habet suam quisque potestatem habet quamlibet regionem atque suam relinquendi in eandemque reuertendi suae quisque comparationis et usus inter alias gentes hospitii potestatem habet uexationum causa quod ius non appellari potest cum homo criminibus non publicis perquiratur uel rebus aduersis gentium coniunctarum consiliis et rationibus suae quisque ipsius ciuitatis potestatem habet homo nemo sua ciuitate sine causa demi poterit nec ciuitatis iure mutandae uiri et feminae ius est ut matrimonio aetate idonea iungantur et familiam habeant nullo modo generi ciuitati religioni imposito quibus de nuptiis per nuptias nuptiis dirimendis paria iura nuptiae constitui possunt ipsis futuris coniugibus libere planeque consentientibus familia societatis nucleus naturalis et praecipuus ius utendi praesidio habet societatis et rei publicae sui quisque ipsius patrimonii atque inter alios communis potestatem habet homo nemo suis bonis ex arbitrio potest demi suae quisque libertatis potestatem habet cogitationis conscientiae religionis ita ut religionem uel sententiam mutet atque solus uel communiter in sacris docendis exercendis obseruandis publice et priuatim ea possit colere suae quisque ipsius libertatis potestatem habet et opinandi et loquendi de sua sententia nulla molestia affectus atque nuntios et opiniones indagandi accipiendi diuulgandi omnibus modis et nullis impedimentis suae quisque ipsius libertatis potestatem habet et iure et honeste conueniendi et congregandi homo nemo ut congregationi intersit potest cogi suae quisque rei publicae imperio intersit et per personam ipsam et per legatos sua sponte electos legibus ferendis sui quisque aditus potestatem habet ad rei publicae officia exaequatis condicionibus populi consensus principium est publicae potestatis qui consensus certis temporibus ueridicis et paribus omnium suffragiis per tabellam est declarandus uel pari iudicio liberi suffragii suae quisque ipsius incolumitatis uitae in hominum societate potestatem habet etiamque ciuium conatu et gentium auxilio pro singularum rerum publicarum temperatione et opibus operis ad rei familiaris et ciuilis curam et ad doctrinam pertinentis necessarii ad propriae personae dignitatem et maturitatem suae quisque ipsius industriae potestatem habet optionis munus soluendi aequis condicionibus oblatis atque nulla opera intermissa suae quisque mercedis nullo discrimine cum pari opera conuenientis potestatem habet quicumque in opera est aequae et idoneae remunerationis ius habet ita ut sibi et familiae pro humana dignitate tutam uitam prospiciat quae si oporteat aliis tutelae et fidei modis cumuletur suae quisque constitutionis propriae potestatem habet collegiorum operarum atque accessionis commoda defendendi causa sui quisque corporis et animi relaxationis ius habet aliquot horis profestis ennumeratis et diebus feriatis mercede persoluta suae quisque ipsius rationis uiuendae ius habet quod bonae et integrae ualetudini caueat commodo suo et familiae singulari cura uictus uestis domicilii et curationis munerum et societatis uitae officiorum utilium praeterea ius habet eiusdem tutelae si sine opere fuerit si in morbo inciderit si infirmus uiduus senex aut defectus a copiis inuitus gignendi tempus et puerilis aetas maxima cura custodienda sunt omnibus pueris et matrimonium et extra idem natis eadem est humanae societatis tutela suae quisque ipsius doctrinae ius habet quae de classibus puerilibus est gratuita et praecipua praeterea doctrina primaria uerum necessaria doctrina ad artem et munus pertinens ab omnibus intellegi debet denique ad ordinem superiorem aeque omnibus pro merito patens toti personae maturitati disciplina est dicanda iurum et libertatum confirmationi et rationi qua disciplina omnes gentes omnia genera omnes religiones intelligenda obseruanda amanda sunt atque officiis coniunctarum gentium fauendum ad pacem seruandam parentium potestas est ut disciplinas quibus liberi imbuantur elegant sui quisque ipsius arbitrii ita potestatem habet ut uitae ad societatis doctrinam pertinenti particeps sit et artibus perfruatur cum scientiae incrementis beneficiisque uehementer studeat suae quisque tutelae ius habet morum rationis utilitatis quae ex suis studiis scientiae litterarum artium efficiantur suae quisque ipsius disciplinae societatis et gentium qua eiusdem declarationis iura et libertates plane fieri possint potestatem habet omnibus hominibus ad sodalicium officium est praestandum quo modo mentes animique excoli possint sua quisque ipsius iura exercens et libertates derogationibus lege decretis afficiatur ad iurium aliorum et libertatum cognitionem et obsequium praestanda et ad morum legitimas necessitates explendas atque rei publicae tranquillitatis et communis commodi in populari societate contra coniunctarum gentium proposita et principia numquam haec iura et hae libertates exerceri possunt cuius declarationis nulla res ita potest putari ut quoddam ius exercendae operae uel faciendi facinoris detur cuiuis ciuitati aliquot hominibus uel uni e multis ut aliquot iurium et aliquot libertatum eiusdem labefactentur

The claculated entropies for this sample are: h1 = 3,95, h2 = 3,16 (both of which are notably higher than Voynich).

Let's now introduce some abbreviation to see the direction of how it affects the figures. Let's replace all word-starting "con" 's with "9". There are only 37 occurrences, so the influence will not be dramatic, but we'll observe the direction.

The results are: h1 = 3,96, h2 = 3,18.

Let's add more abbreviation and replace all word-ending "us" 's with "9" (which I think is another common Latin abbreviation). There are 100 occurrences.

The results would be: h1 = 3,99, h2 = 3,20.

So the tendence is that introducing abbreviation does increase both h1 and h2, not decrease it, as we would like.

What would decrease h1 is, e.g. expanding certain glyphs into sequences of other glyphs, which could still be visually detected and discerned from one another by a reader proficient in Latin. Returning to our original sample, let's expand all instances of "a" into "ci". There are 667 occurrences of "a", so we hope to see some effect.

The results are: h1 = 3,79, h2 = 2,99

So we have a decrease in both. Let's add some more expansion and replace "n" with "ii". I think that who knows the trick will still be able to read the original text from this. This is actually the same as the problem with interpreting Voynichese glyphs - i.e. is iin one glyph or three glyphs in succession.

Results: h1 = 3,54,  h2 = 2,93

So while this expansion has a distinct effect on h1 (which is now lesser than Voynich), h2 still behaves more sluggishly. What will significantly reduce h2 would be, of course, introduction of nulls. Let's add, in the current sample, a "0" after each "e". There are 1018 occurrences, so the result would be immediate.

Results: h1 = 3,65, h2 = 2,66

Let's proceed further and add a null character "0" after each "t" in addition.

Results: h1 = 3,62, h2 = 2.57.

This indicates what might be the trick with Voynichese - spaces may be effectively "nulls" (should be ignored), plus some nulls are added after most frequent letters (or, probably, since the concept of letter frequency was not known back then, just a good deal of nulls is added without relation to a particular letter, but instead according to some pre-defined rule).