Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector.

crawl	CC-MAIN-2019-22	CC-MAIN-2019-26	CC-MAIN-2019-30
language
<other>	0.0000	0.0001	0.0000
<unknown>	2.8663	2.5139	2.1184
aar	0.0002	0.0002	0.0001
abk	0.0003	0.0003	0.0003
afr	0.0110	0.0117	0.0118
aka	0.0001	0.0001	0.0001
amh	0.0021	0.0018	0.0022
ara	0.5672	0.5819	0.5978
asm	0.0007	0.0008	0.0009
aym	0.0001	0.0001	0.0001
aze	0.0414	0.0465	0.0485
bak	0.0014	0.0016	0.0015
bel	0.0150	0.0185	0.0187
ben	0.0590	0.0620	0.0701
bih	0.0005	0.0007	0.0005
bis	0.0001	0.0001	0.0001
blu	0.0003	0.0005	0.0003
bod	0.0015	0.0014	0.0015
bos	0.0359	0.0393	0.0414
bre	0.0027	0.0030	0.0031
bul	0.2599	0.2982	0.2665
cat	0.1987	0.2326	0.2409
ceb	0.0020	0.0019	0.0024
ces	1.0888	1.0622	1.0219
chr	0.0000	0.0001	0.0001
cos	0.0020	0.0022	0.0020
crs	0.0001	0.0001	0.0001
cym	0.0081	0.0098	0.0100
dan	0.4305	0.4281	0.4208
deu	5.4752	5.4955	5.4686
div	0.0012	0.0013	0.0014
dzo	0.0000	0.0000	0.0000
ell	0.5146	0.5437	0.5472
eng	43.8859	44.2149	44.5516
epo	0.0059	0.0093	0.0088
est	0.1055	0.1314	0.1329
eus	0.0253	0.0329	0.0322
fao	0.0035	0.0042	0.0043
fas	0.6164	0.6273	0.6039
fij	0.0001	0.0002	0.0001
fin	0.3913	0.3953	0.3982
fra	4.5956	4.6914	4.6941
fry	0.0024	0.0028	0.0029
gla	0.0012	0.0013	0.0012
gle	0.0042	0.0055	0.0050
glg	0.0299	0.0368	0.0380
glv	0.0004	0.0005	0.0003
grn	0.0007	0.0010	0.0009
guj	0.0065	0.0075	0.0086
hat	0.0010	0.0013	0.0014
hau	0.0013	0.0013	0.0014
haw	0.0009	0.0005	0.0003
heb	0.2174	0.2456	0.2636
hin	0.0885	0.1008	0.1146
hrv	0.1576	0.1841	0.1942
hun	0.5134	0.5181	0.5030
hye	0.0295	0.0357	0.0363
ibo	0.0002	0.0002	0.0003
iku	0.0002	0.0002	0.0002
ile	0.0003	0.0004	0.0003
ina	0.0006	0.0008	0.0006
ind	0.7502	0.7359	0.7694
ipk	0.0001	0.0001	0.0001
isl	0.0334	0.0376	0.0389
ita	2.3537	2.3895	2.3684
jav	0.0015	0.0019	0.0018
jpn	4.8056	4.8006	4.6806
kal	0.0008	0.0011	0.0009
kan	0.0072	0.0088	0.0099
kat	0.0343	0.0415	0.0418
kaz	0.0183	0.0219	0.0229
kha	0.0003	0.0002	0.0002
khm	0.0066	0.0071	0.0082
kin	0.0019	0.0019	0.0021
kir	0.0039	0.0045	0.0047
kor	0.6413	0.6694	0.6687
kur	0.0059	0.0064	0.0071
lao	0.0022	0.0027	0.0031
lat	0.0528	0.0526	0.0531
lav	0.0878	0.1001	0.1058
lin	0.0004	0.0002	0.0003
lit	0.1378	0.1678	0.1751
ltz	0.0031	0.0038	0.0037
lug	0.0002	0.0002	0.0003
mal	0.0163	0.0181	0.0204
mar	0.0101	0.0109	0.0127
mfe	0.0002	0.0001	0.0001
mkd	0.0209	0.0235	0.0229
mlg	0.0032	0.0039	0.0043
mlt	0.0023	0.0026	0.0027
mon	0.0143	0.0171	0.0177
mri	0.0009	0.0010	0.0008
msa	0.0832	0.0985	0.1100
mya	0.0087	0.0102	0.0104
nau	0.0000	0.0000	0.0000
nep	0.0145	0.0169	0.0178
nld	1.7530	1.8231	1.7753
nno	0.0177	0.0194	0.0205
nor	0.3159	0.3207	0.3170
nso	0.0001	0.0002	0.0001
nya	0.0003	0.0003	0.0002
oci	0.0030	0.0042	0.0034
ori	0.0022	0.0023	0.0026
orm	0.0004	0.0004	0.0003
pan	0.0043	0.0050	0.0054
pol	1.7171	1.7432	1.6825
por	2.0823	2.1368	2.1244
pus	0.0025	0.0030	0.0031
que	0.0005	0.0007	0.0006
roh	0.0016	0.0017	0.0017
ron	0.5500	0.5617	0.5605
run	0.0001	0.0001	0.0001
rus	7.6312	7.3928	7.2188
san	0.0031	0.0028	0.0030
sco	0.0008	0.0007	0.0008
sin	0.0060	0.0069	0.0070
slk	0.2775	0.2808	0.3491
slv	0.1125	0.1364	0.1443
smo	0.0003	0.0003	0.0002
sna	0.0003	0.0003	0.0002
snd	0.0006	0.0007	0.0008
som	0.0042	0.0041	0.0043
sot	0.0002	0.0002	0.0003
spa	4.1646	4.2445	4.2539
sqi	0.0328	0.0374	0.0388
srp	0.1686	0.1989	0.2092
ssw	0.0001	0.0001	0.0000
sun	0.0007	0.0010	0.0010
swa	0.0061	0.0073	0.0073
swe	0.7561	0.7816	0.7696
syr	0.0005	0.0005	0.0005
tam	0.0353	0.0404	0.0425
tat	0.0057	0.0064	0.0063
tel	0.0130	0.0143	0.0163
tgk	0.0029	0.0047	0.0045
tgl	0.0044	0.0058	0.0053
tha	0.3027	0.3052	0.3089
tir	0.0004	0.0005	0.0004
ton	0.0003	0.0003	0.0002
tsn	0.0001	0.0001	0.0001
tso	0.0001	0.0001	0.0001
tuk	0.0010	0.0014	0.0011
tur	0.9033	0.8654	0.8843
uig	0.0009	0.0009	0.0010
ukr	0.3726	0.3758	0.3685
urd	0.0184	0.0224	0.0240
uzb	0.0132	0.0164	0.0171
ven	0.0000	0.0000	0.0000
vie	0.7445	0.7240	0.7298
vol	0.0011	0.0017	0.0016
war	0.0026	0.0044	0.0035
wol	0.0002	0.0002	0.0002
xho	0.0004	0.0005	0.0004
yid	0.0011	0.0018	0.0017
yor	0.0005	0.0008	0.0008
zha	0.0001	0.0001	0.0001
zho	6.5612	6.0154	6.3884
zul	0.0005	0.0005	0.0006