Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector.

crawl	CC-MAIN-2019-09	CC-MAIN-2019-13	CC-MAIN-2019-18
language
<other>	0.0002	0.0001	0.0002
<unknown>	3.5748	3.0408	2.5991
aar	0.0002	0.0002	0.0002
abk	0.0002	0.0001	0.0003
afr	0.0090	0.0091	0.0110
aka	0.0001	0.0001	0.0000
amh	0.0019	0.0020	0.0018
ara	0.5669	0.5412	0.5356
asm	0.0005	0.0006	0.0008
aym	0.0001	0.0001	0.0001
aze	0.0386	0.0360	0.0350
bak	0.0011	0.0007	0.0012
bel	0.0128	0.0114	0.0157
ben	0.0629	0.0533	0.0580
bih	0.0005	0.0004	0.0007
bis	0.0001	0.0001	0.0001
blu	0.0007	0.0005	0.0003
bod	0.0013	0.0010	0.0013
bos	0.0310	0.0303	0.0298
bre	0.0014	0.0012	0.0022
bul	0.2621	0.2548	0.2586
cat	0.1827	0.1833	0.2149
ceb	0.0009	0.0008	0.0025
ces	1.0722	1.0673	1.0421
cos	0.0017	0.0014	0.0021
crs	0.0001	0.0001	0.0001
cym	0.0068	0.0066	0.0080
dan	0.4254	0.4225	0.4241
deu	5.6808	5.7003	5.6899
div	0.0012	0.0011	0.0012
ell	0.4878	0.4915	0.4960
eng	43.1493	43.4442	45.0993
epo	0.0043	0.0040	0.0070
est	0.1072	0.1057	0.1032
eus	0.0230	0.0221	0.0278
fao	0.0032	0.0030	0.0033
fas	0.6067	0.5985	0.6721
fij	0.0001	0.0001	0.0001
fin	0.3631	0.3578	0.3683
fra	4.5991	4.6751	4.7162
fry	0.0018	0.0017	0.0025
gla	0.0016	0.0017	0.0016
gle	0.0036	0.0036	0.0038
glg	0.0237	0.0240	0.0308
glv	0.0003	0.0002	0.0004
grn	0.0008	0.0007	0.0007
guj	0.0069	0.0067	0.0067
hat	0.0012	0.0010	0.0010
hau	0.0012	0.0016	0.0012
haw	0.0003	0.0003	0.0013
heb	0.1955	0.1999	0.2013
hin	0.0909	0.0875	0.1020
hrv	0.1515	0.1522	0.1508
hun	0.5124	0.5071	0.4904
hye	0.0273	0.0248	0.0313
ibo	0.0001	0.0002	0.0002
iku	0.0002	0.0002	0.0002
ile	0.0004	0.0003	0.0004
ina	0.0007	0.0006	0.0008
ind	0.7679	0.7206	0.7263
ipk	0.0001	0.0001	0.0001
isl	0.0308	0.0309	0.0306
ita	2.3126	2.3595	2.3883
jav	0.0011	0.0010	0.0017
jpn	5.2597	5.0997	4.8909
kal	0.0008	0.0007	0.0009
kan	0.0076	0.0067	0.0072
kat	0.0312	0.0282	0.0361
kaz	0.0156	0.0158	0.0172
kha	0.0003	0.0002	0.0002
khm	0.0064	0.0060	0.0063
kin	0.0018	0.0020	0.0016
kir	0.0037	0.0034	0.0034
kor	0.6752	0.6003	0.5731
kur	0.0047	0.0048	0.0046
lao	0.0023	0.0024	0.0021
lat	0.0460	0.0484	0.0526
lav	0.0832	0.0813	0.0798
lin	0.0002	0.0002	0.0002
lit	0.1390	0.1390	0.1363
ltz	0.0026	0.0024	0.0034
lug	0.0002	0.0002	0.0002
mal	0.0176	0.0146	0.0170
mar	0.0103	0.0099	0.0111
mfe	0.0001	0.0001	0.0001
mkd	0.0207	0.0202	0.0213
mlg	0.0019	0.0018	0.0024
mlt	0.0020	0.0018	0.0018
mon	0.0133	0.0128	0.0131
mri	0.0006	0.0009	0.0008
msa	0.0795	0.0732	0.0834
mya	0.0086	0.0088	0.0085
nau	0.0000	0.0001	0.0001
nep	0.0141	0.0130	0.0140
nld	1.7398	1.7984	1.8135
nno	0.0142	0.0142	0.0161
nor	0.3064	0.3126	0.3036
nso	0.0001	0.0003	0.0002
nya	0.0003	0.0004	0.0003
oci	0.0020	0.0019	0.0041
ori	0.0026	0.0023	0.0026
orm	0.0004	0.0003	0.0003
pan	0.0040	0.0035	0.0042
pol	1.7124	1.7115	1.6581
por	1.9806	2.0061	1.9743
pus	0.0029	0.0024	0.0028
que	0.0003	0.0007	0.0006
roh	0.0014	0.0016	0.0016
ron	0.5326	0.5271	0.5243
run	0.0001	0.0001	0.0001
rus	8.5850	8.1804	7.9014
san	0.0022	0.0022	0.0026
sco	0.0008	0.0007	0.0007
sin	0.0061	0.0060	0.0061
slk	0.2779	0.2826	0.2777
slv	0.1113	0.1114	0.1102
smo	0.0003	0.0003	0.0003
sna	0.0003	0.0003	0.0003
snd	0.0008	0.0004	0.0008
som	0.0049	0.0045	0.0042
sot	0.0002	0.0003	0.0003
spa	4.1749	4.1758	4.1830
sqi	0.0304	0.0284	0.0328
srp	0.1662	0.1597	0.1650
ssw	0.0001	0.0000	0.0001
sun	0.0006	0.0005	0.0007
swa	0.0062	0.0067	0.0063
swe	0.7663	0.7404	0.7414
syr	0.0005	0.0005	0.0004
tam	0.0358	0.0322	0.0352
tat	0.0054	0.0053	0.0062
tel	0.0123	0.0104	0.0132
tgk	0.0034	0.0039	0.0036
tgl	0.0059	0.0051	0.0053
tha	0.3031	0.3094	0.3017
tir	0.0005	0.0005	0.0004
ton	0.0001	0.0001	0.0001
tsn	0.0001	0.0005	0.0002
tso	0.0001	0.0001	0.0001
tuk	0.0012	0.0010	0.0014
tur	0.8994	0.8845	0.8266
uig	0.0008	0.0006	0.0008
ukr	0.3853	0.3588	0.3622
urd	0.0193	0.0178	0.0201
uzb	0.0111	0.0104	0.0136
vie	0.7410	0.7334	0.6733
vol	0.0005	0.0005	0.0010
war	0.0024	0.0018	0.0039
wol	0.0001	0.0001	0.0001
xho	0.0004	0.0009	0.0005
yid	0.0012	0.0010	0.0014
yor	0.0003	0.0002	0.0005
zha	0.0000	0.0001	0.0001
zho	5.2704	6.1414	5.3930
zul	0.0004	0.0007	0.0004