Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector.

crawl	CC-MAIN-2018-51	CC-MAIN-2019-04	CC-MAIN-2019-09
language
<other>	0.0004	0.0003	0.0004
<unknown>	3.1935	2.9077	3.5748
aar	0.0002	0.0002	0.0002
abk	0.0002	0.0002	0.0002
afr	0.0087	0.0094	0.0090
amh	0.0019	0.0022	0.0019
ara	0.7096	0.7620	0.5669
asm	0.0004	0.0006	0.0005
aym	0.0001	0.0001	0.0001
aze	0.0363	0.0377	0.0386
bak	0.0010	0.0009	0.0011
bel	0.0128	0.0167	0.0128
ben	0.0547	0.0644	0.0629
bih	0.0005	0.0005	0.0005
bis	0.0002	0.0001	0.0001
blu	0.0008	0.0010	0.0007
bod	0.0012	0.0010	0.0013
bos	0.0305	0.0328	0.0310
bre	0.0013	0.0012	0.0014
bul	0.2766	0.2857	0.2621
cat	0.1728	0.1744	0.1827
ceb	0.0013	0.0012	0.0009
ces	1.0574	1.0532	1.0722
cos	0.0016	0.0016	0.0017
crs	0.0001	0.0001	0.0001
cym	0.0068	0.0065	0.0068
dan	0.3969	0.4045	0.4254
deu	5.4281	5.4641	5.6808
div	0.0010	0.0014	0.0012
ell	0.4646	0.4971	0.4878
eng	44.0568	43.6592	43.1493
epo	0.0044	0.0040	0.0043
est	0.1066	0.1109	0.1072
eus	0.0208	0.0210	0.0230
fao	0.0028	0.0027	0.0032
fas	0.6647	0.7092	0.6067
fij	0.0001	0.0001	0.0001
fin	0.3602	0.3850	0.3631
fra	4.5098	4.6720	4.5991
fry	0.0024	0.0018	0.0018
gla	0.0012	0.0012	0.0016
gle	0.0038	0.0038	0.0036
glg	0.0231	0.0227	0.0237
glv	0.0003	0.0005	0.0003
grn	0.0006	0.0005	0.0008
guj	0.0063	0.0070	0.0069
hat	0.0014	0.0015	0.0012
hau	0.0014	0.0011	0.0012
haw	0.0003	0.0003	0.0003
heb	0.1688	0.1912	0.1955
hin	0.0818	0.0965	0.0909
hrv	0.1441	0.1513	0.1515
hun	0.5094	0.5330	0.5124
hye	0.0247	0.0260	0.0273
ibo	0.0002	0.0002	0.0001
iku	0.0002	0.0001	0.0002
ile	0.0003	0.0003	0.0004
ina	0.0007	0.0007	0.0007
ind	0.7255	0.7723	0.7679
ipk	0.0001	0.0001	0.0001
isl	0.0290	0.0296	0.0308
ita	2.1513	2.2193	2.3126
jav	0.0013	0.0009	0.0011
jpn	5.3751	5.1998	5.2597
kal	0.0007	0.0006	0.0008
kan	0.0073	0.0090	0.0076
kat	0.0309	0.0269	0.0312
kaz	0.0140	0.0156	0.0156
kha	0.0003	0.0002	0.0003
khm	0.0052	0.0059	0.0064
kin	0.0016	0.0016	0.0018
kir	0.0034	0.0047	0.0037
kor	0.5921	0.6312	0.6752
kur	0.0043	0.0046	0.0047
lao	0.0023	0.0026	0.0023
lat	0.0387	0.0377	0.0460
lav	0.0783	0.0779	0.0832
lin	0.0002	0.0002	0.0002
lit	0.1414	0.1455	0.1390
ltz	0.0022	0.0022	0.0026
lug	0.0001	0.0002	0.0002
mal	0.0130	0.0179	0.0176
mar	0.0086	0.0112	0.0103
mfe	0.0001	0.0001	0.0001
mkd	0.0180	0.0195	0.0207
mlg	0.0020	0.0021	0.0019
mlt	0.0019	0.0022	0.0020
mon	0.0126	0.0148	0.0133
mri	0.0005	0.0006	0.0006
msa	0.0869	0.0926	0.0795
mya	0.0082	0.0095	0.0086
nep	0.0122	0.0135	0.0141
nld	1.6355	1.6933	1.7398
nno	0.0133	0.0130	0.0142
nor	0.2984	0.3033	0.3064
nso	0.0004	0.0002	0.0001
nya	0.0003	0.0003	0.0003
oci	0.0019	0.0019	0.0020
ori	0.0022	0.0024	0.0026
orm	0.0003	0.0003	0.0004
pan	0.0031	0.0039	0.0040
pol	1.6690	1.7593	1.7124
por	1.9794	2.0768	1.9806
pus	0.0021	0.0028	0.0029
que	0.0008	0.0005	0.0003
roh	0.0013	0.0014	0.0014
ron	0.5168	0.5472	0.5326
run	0.0001	0.0001	0.0001
rus	8.9589	8.7410	8.5850
san	0.0021	0.0021	0.0022
sco	0.0008	0.0007	0.0008
sin	0.0053	0.0062	0.0061
slk	0.2601	0.2771	0.2779
slv	0.1010	0.1086	0.1113
smo	0.0003	0.0004	0.0003
sna	0.0003	0.0004	0.0003
snd	0.0005	0.0007	0.0008
som	0.0042	0.0047	0.0049
sot	0.0003	0.0003	0.0002
spa	4.1267	4.2992	4.1749
sqi	0.0278	0.0318	0.0304
srp	0.1518	0.1589	0.1662
ssw	0.0001	0.0001	0.0001
sun	0.0006	0.0006	0.0006
swa	0.0072	0.0065	0.0062
swe	0.7551	0.7811	0.7663
syr	0.0004	0.0004	0.0005
tam	0.0298	0.0396	0.0358
tat	0.0063	0.0050	0.0054
tel	0.0090	0.0117	0.0123
tgk	0.0036	0.0035	0.0034
tgl	0.0069	0.0064	0.0059
tha	0.2865	0.3108	0.3031
tir	0.0005	0.0004	0.0005
ton	0.0001	0.0001	0.0001
tsn	0.0008	0.0003	0.0001
tso	0.0001	0.0001	0.0001
tuk	0.0009	0.0011	0.0012
tur	0.8708	0.9167	0.8994
uig	0.0008	0.0006	0.0008
ukr	0.3856	0.3798	0.3853
urd	0.0235	0.0222	0.0193
uzb	0.0099	0.0105	0.0111
vie	0.7258	0.7799	0.7410
vol	0.0006	0.0005	0.0005
war	0.0024	0.0022	0.0024
wol	0.0001	0.0001	0.0001
xho	0.0009	0.0006	0.0004
yid	0.0012	0.0012	0.0012
yor	0.0003	0.0003	0.0003
zho	5.1765	4.9736	5.2704
zul	0.0007	0.0007	0.0004