Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector.

crawl	CC-MAIN-2019-30	CC-MAIN-2019-35	CC-MAIN-2019-39
language
<other>	0.0000	0.0001	0.0000
<unknown>	2.1184	2.1264	3.0360
aar	0.0001	0.0002	0.0001
abk	0.0003	0.0003	0.0003
afr	0.0118	0.0129	0.0145
aka	0.0001	0.0001	0.0001
amh	0.0022	0.0022	0.0024
ara	0.5978	0.5924	0.6213
asm	0.0009	0.0008	0.0008
aym	0.0001	0.0001	0.0001
aze	0.0485	0.0558	0.0643
bak	0.0015	0.0019	0.0020
bel	0.0187	0.0210	0.0241
ben	0.0701	0.0705	0.0785
bih	0.0005	0.0006	0.0005
bis	0.0001	0.0002	0.0002
blu	0.0003	0.0006	0.0005
bod	0.0015	0.0020	0.0022
bos	0.0414	0.0437	0.0491
bre	0.0031	0.0034	0.0034
bul	0.2665	0.3214	0.2816
cat	0.2409	0.2574	0.2879
ceb	0.0024	0.0017	0.0024
ces	1.0219	0.9944	1.0265
chr	0.0001	0.0001	0.0001
cos	0.0020	0.0025	0.0022
crs	0.0001	0.0001	0.0001
cym	0.0100	0.0112	0.0125
dan	0.4208	0.4195	0.4199
deu	5.4686	5.3617	5.2059
div	0.0014	0.0015	0.0016
dzo	0.0000	0.0001	0.0001
ell	0.5472	0.5607	0.5643
eng	44.5516	43.7547	43.9418
epo	0.0088	0.0095	0.0109
est	0.1329	0.1524	0.1808
eus	0.0322	0.0386	0.0443
fao	0.0043	0.0051	0.0056
fas	0.6039	0.5802	0.5401
fij	0.0001	0.0001	0.0001
fin	0.3982	0.3819	0.3948
fra	4.6941	4.4467	4.4438
fry	0.0029	0.0029	0.0030
gla	0.0012	0.0014	0.0013
gle	0.0050	0.0056	0.0064
glg	0.0380	0.0438	0.0508
glv	0.0003	0.0005	0.0004
grn	0.0009	0.0010	0.0010
guj	0.0086	0.0079	0.0087
hat	0.0014	0.0013	0.0013
hau	0.0014	0.0015	0.0017
haw	0.0003	0.0005	0.0006
heb	0.2636	0.2872	0.3281
hin	0.1146	0.1133	0.1198
hrv	0.1942	0.2197	0.2502
hun	0.5030	0.5092	0.5170
hye	0.0363	0.0402	0.0454
ibo	0.0003	0.0003	0.0003
iku	0.0002	0.0002	0.0002
ile	0.0003	0.0005	0.0004
ina	0.0006	0.0009	0.0008
ind	0.7694	0.7453	0.7393
ipk	0.0001	0.0001	0.0001
isl	0.0389	0.0411	0.0491
ita	2.3684	2.2750	2.2469
jav	0.0018	0.0021	0.0020
jpn	4.6806	4.7221	4.6135
kal	0.0009	0.0011	0.0014
kan	0.0099	0.0092	0.0115
kat	0.0418	0.0573	0.0594
kaz	0.0229	0.0269	0.0302
kha	0.0002	0.0003	0.0003
khm	0.0082	0.0092	0.0094
kin	0.0021	0.0024	0.0026
kir	0.0047	0.0061	0.0060
kor	0.6687	0.7353	0.7437
kur	0.0071	0.0075	0.0087
lao	0.0031	0.0033	0.0036
lat	0.0531	0.0555	0.0536
lav	0.1058	0.1282	0.1521
lin	0.0003	0.0003	0.0003
lit	0.1751	0.2424	0.2586
ltz	0.0037	0.0045	0.0049
lug	0.0003	0.0002	0.0002
mal	0.0204	0.0189	0.0199
mar	0.0127	0.0125	0.0138
mfe	0.0001	0.0001	0.0001
mkd	0.0229	0.0245	0.0243
mlg	0.0043	0.0042	0.0051
mlt	0.0027	0.0031	0.0033
mon	0.0177	0.0194	0.0225
mri	0.0008	0.0010	0.0013
msa	0.1100	0.1308	0.1418
mya	0.0104	0.0106	0.0113
nau	0.0000	0.0001	0.0000
nep	0.0178	0.0174	0.0184
nld	1.7753	1.7148	1.6849
nno	0.0205	0.0206	0.0249
nor	0.3170	0.3128	0.3232
nso	0.0001	0.0002	0.0001
nya	0.0002	0.0003	0.0004
oci	0.0034	0.0045	0.0042
ori	0.0026	0.0026	0.0026
orm	0.0003	0.0005	0.0004
pan	0.0054	0.0051	0.0059
pol	1.6825	1.6908	1.7110
por	2.1244	2.0254	2.1312
pus	0.0031	0.0034	0.0037
que	0.0006	0.0009	0.0008
roh	0.0017	0.0018	0.0018
ron	0.5605	0.5408	0.5398
run	0.0001	0.0001	0.0001
rus	7.2188	6.8662	6.6369
san	0.0030	0.0030	0.0035
sco	0.0008	0.0007	0.0007
sin	0.0070	0.0070	0.0074
slk	0.3491	0.2933	0.4533
slv	0.1443	0.1656	0.1906
smo	0.0002	0.0003	0.0004
sna	0.0002	0.0003	0.0003
snd	0.0008	0.0008	0.0008
som	0.0043	0.0039	0.0040
sot	0.0003	0.0003	0.0004
spa	4.2539	4.0747	4.0207
sqi	0.0388	0.0435	0.0481
srp	0.2092	0.2359	0.2686
ssw	0.0000	0.0001	0.0000
sun	0.0010	0.0013	0.0014
swa	0.0073	0.0078	0.0089
swe	0.7696	0.7561	0.7758
syr	0.0005	0.0005	0.0006
tam	0.0425	0.0423	0.0458
tat	0.0063	0.0066	0.0069
tel	0.0163	0.0159	0.0175
tgk	0.0045	0.0049	0.0054
tgl	0.0053	0.0060	0.0065
tha	0.3089	0.3147	0.3128
tir	0.0004	0.0007	0.0007
ton	0.0002	0.0002	0.0001
tsn	0.0001	0.0001	0.0002
tso	0.0001	0.0001	0.0001
tuk	0.0011	0.0016	0.0017
tur	0.8843	0.8655	0.8665
uig	0.0010	0.0011	0.0015
ukr	0.3685	0.3695	0.3695
urd	0.0240	0.0240	0.0260
uzb	0.0171	0.0188	0.0214
ven	0.0000	0.0000	0.0000
vie	0.7298	0.7610	0.7169
vol	0.0016	0.0014	0.0018
war	0.0035	0.0045	0.0036
wol	0.0002	0.0002	0.0002
xho	0.0004	0.0004	0.0004
yid	0.0017	0.0021	0.0023
yor	0.0008	0.0007	0.0010
zha	0.0001	0.0001	0.0001
zho	6.3884	7.9781	6.8681
zul	0.0006	0.0008	0.0010