Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector.

crawl	CC-MAIN-2018-43	CC-MAIN-2018-47	CC-MAIN-2018-51
language
<other>	0.0003	0.0004	0.0005
<unknown>	4.6158	3.3227	3.1935
aar	0.0002	0.0002	0.0002
abk	0.0002	0.0002	0.0002
afr	0.0073	0.0111	0.0087
amh	0.0018	0.0021	0.0019
ara	0.7417	0.7809	0.7096
asm	0.0004	0.0005	0.0004
aym	0.0001	0.0001	0.0001
aze	0.0368	0.0376	0.0363
bak	0.0010	0.0012	0.0010
bel	0.0128	0.0135	0.0128
ben	0.0538	0.0727	0.0547
bih	0.0005	0.0005	0.0005
bis	0.0001	0.0001	0.0002
blu	0.0006	0.0007	0.0008
bod	0.0012	0.0009	0.0012
bos	0.0312	0.0305	0.0305
bre	0.0013	0.0012	0.0013
bul	0.2749	0.2895	0.2766
cat	0.1702	0.1620	0.1728
ceb	0.0015	0.0011	0.0013
ces	1.0175	1.0072	1.0574
cos	0.0014	0.0014	0.0016
crs	0.0001	0.0001	0.0001
cym	0.0067	0.0060	0.0068
dan	0.3727	0.3928	0.3969
deu	4.9949	4.9966	5.4281
div	0.0012	0.0014	0.0010
ell	0.4886	0.4738	0.4646
eng	43.1122	43.6311	44.0568
epo	0.0044	0.0043	0.0044
est	0.1026	0.1055	0.1066
eus	0.0189	0.0178	0.0208
fao	0.0027	0.0024	0.0028
fas	0.6747	0.6637	0.6647
fij	0.0001	0.0001	0.0001
fin	0.3406	0.3702	0.3602
fra	4.4740	4.5362	4.5098
fry	0.0024	0.0017	0.0024
gla	0.0012	0.0015	0.0012
gle	0.0034	0.0039	0.0038
glg	0.0220	0.0212	0.0231
glv	0.0003	0.0003	0.0003
grn	0.0008	0.0009	0.0006
guj	0.0055	0.0082	0.0063
hat	0.0013	0.0012	0.0014
hau	0.0013	0.0013	0.0014
haw	0.0002	0.0003	0.0003
heb	0.1577	0.1787	0.1688
hin	0.0736	0.1012	0.0818
hrv	0.1424	0.1447	0.1441
hun	0.5075	0.5330	0.5094
hye	0.0247	0.0273	0.0247
ibo	0.0002	0.0002	0.0002
iku	0.0002	0.0001	0.0002
ile	0.0003	0.0004	0.0003
ina	0.0008	0.0007	0.0007
ind	0.7534	0.7725	0.7255
ipk	0.0001	0.0001	0.0001
isl	0.0279	0.0300	0.0290
ita	1.9712	2.0365	2.1513
jav	0.0012	0.0014	0.0013
jpn	5.4146	5.5851	5.3751
kal	0.0005	0.0006	0.0007
kan	0.0074	0.0127	0.0073
kat	0.0275	0.0257	0.0309
kaz	0.0146	0.0162	0.0140
kha	0.0002	0.0003	0.0003
khm	0.0050	0.0063	0.0052
kin	0.0017	0.0017	0.0016
kir	0.0037	0.0056	0.0034
kor	0.6031	0.5816	0.5921
kur	0.0042	0.0039	0.0043
lao	0.0022	0.0028	0.0023
lat	0.0324	0.0381	0.0387
lav	0.0720	0.0726	0.0783
lin	0.0002	0.0002	0.0002
lit	0.1356	0.1468	0.1414
ltz	0.0020	0.0023	0.0022
lug	0.0001	0.0002	0.0001
mal	0.0139	0.0230	0.0130
mar	0.0093	0.0135	0.0086
mfe	0.0001	0.0001	0.0001
mkd	0.0178	0.0192	0.0180
mlg	0.0019	0.0026	0.0020
mlt	0.0018	0.0021	0.0019
mon	0.0131	0.0141	0.0126
mri	0.0007	0.0008	0.0005
msa	0.0965	0.0869	0.0869
mya	0.0085	0.0097	0.0082
nep	0.0120	0.0128	0.0122
nld	1.3985	1.4969	1.6355
nno	0.0129	0.0126	0.0133
nor	0.2927	0.3009	0.2984
nso	0.0001	0.0001	0.0004
nya	0.0003	0.0005	0.0003
oci	0.0019	0.0020	0.0019
ori	0.0022	0.0026	0.0022
orm	0.0003	0.0003	0.0003
pan	0.0032	0.0042	0.0031
pol	1.6973	1.6464	1.6690
por	1.9513	1.9787	1.9794
pus	0.0022	0.0036	0.0021
que	0.0005	0.0003	0.0008
roh	0.0013	0.0013	0.0013
ron	0.5221	0.5209	0.5168
run	0.0001	0.0001	0.0001
rus	9.3462	9.6454	8.9589
san	0.0018	0.0024	0.0021
sco	0.0007	0.0008	0.0008
sin	0.0056	0.0059	0.0053
slk	0.2367	0.2434	0.2601
slv	0.0962	0.1007	0.1010
smo	0.0002	0.0005	0.0003
sna	0.0003	0.0004	0.0003
snd	0.0005	0.0016	0.0005
som	0.0044	0.0047	0.0042
sot	0.0002	0.0003	0.0003
spa	4.0860	4.1456	4.1267
sqi	0.0307	0.0318	0.0278
srp	0.1518	0.1527	0.1518
sun	0.0005	0.0006	0.0006
swa	0.0067	0.0059	0.0072
swe	0.7326	0.7535	0.7551
syr	0.0004	0.0004	0.0004
tam	0.0312	0.0473	0.0298
tat	0.0056	0.0052	0.0063
tel	0.0092	0.0163	0.0090
tgk	0.0032	0.0033	0.0036
tgl	0.0064	0.0067	0.0069
tha	0.2941	0.2970	0.2865
tir	0.0006	0.0004	0.0005
ton	0.0001	0.0001	0.0001
tsn	0.0003	0.0001	0.0008
tso	0.0001	0.0001	0.0001
tuk	0.0009	0.0014	0.0009
tur	0.8867	0.9158	0.8708
uig	0.0008	0.0007	0.0008
ukr	0.4028	0.3998	0.3856
urd	0.0216	0.0243	0.0235
uzb	0.0107	0.0101	0.0099
vie	0.7644	0.7708	0.7258
vol	0.0006	0.0009	0.0006
war	0.0020	0.0022	0.0024
wol	0.0001	0.0001	0.0001
xho	0.0005	0.0005	0.0009
yid	0.0015	0.0012	0.0012
yor	0.0003	0.0004	0.0003
zho	5.1984	4.9315	5.1765
zul	0.0004	0.0005	0.0007