Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector.

crawl	CC-MAIN-2019-43	CC-MAIN-2019-47	CC-MAIN-2019-51
language
<other>	0.0000	0.0001	0.0001
<unknown>	2.2634	2.2777	2.0022
aar	0.0003	0.0001	0.0002
abk	0.0003	0.0004	0.0004
afr	0.0150	0.0135	0.0121
aka	0.0001	0.0001	0.0001
amh	0.0023	0.0022	0.0022
ara	0.5822	0.5715	0.5835
asm	0.0010	0.0008	0.0010
aym	0.0001	0.0001	0.0001
aze	0.0566	0.0622	0.0541
bak	0.0017	0.0019	0.0018
bel	0.0229	0.0245	0.0217
ben	0.0736	0.0757	0.0707
bih	0.0006	0.0005	0.0006
bis	0.0001	0.0002	0.0001
blu	0.0006	0.0006	0.0005
bod	0.0020	0.0025	0.0020
bos	0.0443	0.0500	0.0440
bre	0.0032	0.0031	0.0032
bul	0.3081	0.2723	0.2937
cat	0.2811	0.3096	0.2820
ceb	0.0022	0.0039	0.0044
ces	0.9981	1.0125	1.0076
chr	0.0001	0.0001	0.0001
cos	0.0025	0.0022	0.0024
crs	0.0001	0.0001	0.0001
cym	0.0118	0.0118	0.0112
dan	0.4153	0.4353	0.4345
deu	5.3169	5.3430	5.4750
div	0.0013	0.0015	0.0015
dzo	0.0001	0.0001	0.0001
ell	0.5451	0.5573	0.5517
eng	43.2339	43.7573	43.5783
epo	0.0108	0.0104	0.0125
est	0.1768	0.1997	0.1704
eus	0.0387	0.0454	0.0380
fao	0.0048	0.0052	0.0045
fas	0.5112	0.4819	0.5490
fij	0.0001	0.0001	0.0001
fin	0.3854	0.4041	0.4079
fra	4.3338	4.4035	4.4824
fry	0.0032	0.0030	0.0028
gla	0.0014	0.0013	0.0012
gle	0.0061	0.0062	0.0058
glg	0.0432	0.0468	0.0421
glv	0.0003	0.0003	0.0003
grn	0.0009	0.0009	0.0008
guj	0.0102	0.0082	0.0087
hat	0.0014	0.0014	0.0015
hau	0.0017	0.0017	0.0015
haw	0.0006	0.0006	0.0005
heb	0.2749	0.3281	0.2862
hin	0.1280	0.1126	0.1083
hrv	0.2330	0.2580	0.2218
hun	0.5147	0.5070	0.5129
hye	0.0415	0.0432	0.0409
ibo	0.0004	0.0003	0.0005
iku	0.0002	0.0002	0.0002
ile	0.0004	0.0003	0.0003
ina	0.0008	0.0008	0.0008
ind	0.7017	0.7509	0.7249
ipk	0.0001	0.0001	0.0001
isl	0.0418	0.0529	0.0448
ita	2.2535	2.2863	2.3067
jav	0.0021	0.0021	0.0024
jpn	4.6064	4.4989	4.4527
kal	0.0011	0.0012	0.0010
kan	0.0121	0.0098	0.0093
kat	0.0526	0.0572	0.0526
kaz	0.0290	0.0306	0.0269
kha	0.0002	0.0002	0.0002
khm	0.0089	0.0086	0.0085
kin	0.0025	0.0017	0.0018
kir	0.0060	0.0063	0.0067
kor	0.7722	0.7405	0.7971
kur	0.0074	0.0076	0.0072
lao	0.0036	0.0037	0.0034
lat	0.0533	0.0568	0.0586
lav	0.1349	0.1499	0.1233
lin	0.0003	0.0004	0.0002
lit	0.2410	0.2637	0.2245
ltz	0.0045	0.0046	0.0048
lug	0.0002	0.0002	0.0002
mal	0.0198	0.0180	0.0185
mar	0.0130	0.0149	0.0149
mfe	0.0001	0.0001	0.0001
mkd	0.0224	0.0226	0.0245
mlg	0.0045	0.0038	0.0040
mlt	0.0031	0.0034	0.0033
mon	0.0197	0.0223	0.0200
mri	0.0014	0.0017	0.0012
msa	0.1296	0.1485	0.1509
mya	0.0110	0.0114	0.0151
nau	0.0000	0.0000	0.0000
nep	0.0160	0.0172	0.0161
nld	1.6545	1.7368	1.7218
nno	0.0229	0.0239	0.0229
nor	0.3039	0.3963	0.3390
nso	0.0001	0.0001	0.0002
nya	0.0004	0.0004	0.0002
oci	0.0044	0.0034	0.0044
ori	0.0025	0.0021	0.0022
orm	0.0004	0.0003	0.0004
pan	0.0062	0.0055	0.0059
pol	1.6964	1.6391	1.6601
por	2.0159	2.1488	2.1156
pus	0.0031	0.0032	0.0030
que	0.0008	0.0009	0.0009
roh	0.0017	0.0014	0.0013
ron	0.5171	0.5368	0.5463
run	0.0001	0.0001	0.0001
rus	6.4984	6.5668	6.5412
san	0.0038	0.0038	0.0030
sco	0.0006	0.0005	0.0005
sin	0.0063	0.0070	0.0068
slk	0.3368	0.3322	0.3078
slv	0.1777	0.2036	0.1676
smo	0.0004	0.0005	0.0003
sna	0.0002	0.0002	0.0002
snd	0.0008	0.0008	0.0007
som	0.0037	0.0034	0.0035
sot	0.0004	0.0003	0.0006
spa	3.9909	4.1338	4.2281
sqi	0.0428	0.0464	0.0434
srp	0.2571	0.2855	0.2449
ssw	0.0000	0.0000	0.0000
sun	0.0012	0.0012	0.0013
swa	0.0074	0.0076	0.0076
swe	0.7461	0.7660	0.7688
syr	0.0005	0.0006	0.0005
tam	0.0472	0.0444	0.0470
tat	0.0059	0.0063	0.0062
tel	0.0204	0.0167	0.0172
tgk	0.0052	0.0056	0.0059
tgl	0.0066	0.0063	0.0070
tha	0.3558	0.3375	0.3363
tir	0.0006	0.0007	0.0009
ton	0.0001	0.0001	0.0001
tsn	0.0003	0.0002	0.0002
tso	0.0001	0.0000	0.0002
tuk	0.0015	0.0016	0.0016
tur	0.8245	0.8407	0.8206
uig	0.0016	0.0017	0.0014
ukr	0.3576	0.3507	0.3530
urd	0.0264	0.0264	0.0257
uzb	0.0195	0.0227	0.0203
ven	0.0000	0.0001	0.0000
vie	0.7392	0.7414	0.7528
vol	0.0014	0.0014	0.0014
war	0.0039	0.0034	0.0043
wol	0.0002	0.0002	0.0002
xho	0.0004	0.0004	0.0003
yid	0.0025	0.0027	0.0027
yor	0.0007	0.0009	0.0010
zha	0.0001	0.0001	0.0001
zho	9.1847	7.8632	8.3698
zul	0.0010	0.0011	0.0011