Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector.

crawl CC-MAIN-2019-39 CC-MAIN-2019-43 CC-MAIN-2019-47
language
<other> 0.0000 0.0000 0.0001
<unknown> 3.0360 2.2634 2.2777
aar 0.0001 0.0003 0.0001
abk 0.0003 0.0003 0.0004
afr 0.0145 0.0150 0.0135
aka 0.0001 0.0001 0.0001
amh 0.0024 0.0023 0.0022
ara 0.6213 0.5822 0.5715
asm 0.0008 0.0010 0.0008
aym 0.0001 0.0001 0.0001
aze 0.0643 0.0566 0.0622
bak 0.0020 0.0017 0.0019
bel 0.0241 0.0229 0.0245
ben 0.0785 0.0736 0.0757
bih 0.0005 0.0006 0.0005
bis 0.0002 0.0001 0.0002
blu 0.0005 0.0006 0.0006
bod 0.0022 0.0020 0.0025
bos 0.0491 0.0443 0.0500
bre 0.0034 0.0032 0.0031
bul 0.2816 0.3081 0.2723
cat 0.2879 0.2811 0.3096
ceb 0.0024 0.0022 0.0039
ces 1.0265 0.9981 1.0125
chr 0.0001 0.0001 0.0001
cos 0.0022 0.0025 0.0022
crs 0.0001 0.0001 0.0001
cym 0.0125 0.0118 0.0118
dan 0.4199 0.4153 0.4353
deu 5.2059 5.3169 5.3430
div 0.0016 0.0013 0.0015
dzo 0.0001 0.0001 0.0001
ell 0.5643 0.5451 0.5573
eng 43.9418 43.2339 43.7573
epo 0.0109 0.0108 0.0104
est 0.1808 0.1768 0.1997
eus 0.0443 0.0387 0.0454
fao 0.0056 0.0048 0.0052
fas 0.5401 0.5112 0.4819
fij 0.0001 0.0001 0.0001
fin 0.3948 0.3854 0.4041
fra 4.4438 4.3338 4.4035
fry 0.0030 0.0032 0.0030
gla 0.0013 0.0014 0.0013
gle 0.0064 0.0061 0.0062
glg 0.0508 0.0432 0.0468
glv 0.0004 0.0003 0.0003
grn 0.0010 0.0009 0.0009
guj 0.0087 0.0102 0.0082
hat 0.0013 0.0014 0.0014
hau 0.0017 0.0017 0.0017
haw 0.0006 0.0006 0.0006
heb 0.3281 0.2749 0.3281
hin 0.1198 0.1280 0.1126
hrv 0.2502 0.2330 0.2580
hun 0.5170 0.5147 0.5070
hye 0.0454 0.0415 0.0432
ibo 0.0003 0.0004 0.0003
iku 0.0002 0.0002 0.0002
ile 0.0004 0.0004 0.0003
ina 0.0008 0.0008 0.0008
ind 0.7393 0.7017 0.7509
ipk 0.0001 0.0001 0.0001
isl 0.0491 0.0418 0.0529
ita 2.2469 2.2535 2.2863
jav 0.0020 0.0021 0.0021
jpn 4.6135 4.6064 4.4989
kal 0.0014 0.0011 0.0012
kan 0.0115 0.0121 0.0098
kat 0.0594 0.0526 0.0572
kaz 0.0302 0.0290 0.0306
kha 0.0003 0.0002 0.0002
khm 0.0094 0.0089 0.0086
kin 0.0026 0.0025 0.0017
kir 0.0060 0.0060 0.0063
kor 0.7437 0.7722 0.7405
kur 0.0087 0.0074 0.0076
lao 0.0036 0.0036 0.0037
lat 0.0536 0.0533 0.0568
lav 0.1521 0.1349 0.1499
lin 0.0003 0.0003 0.0004
lit 0.2586 0.2410 0.2637
ltz 0.0049 0.0045 0.0046
lug 0.0002 0.0002 0.0002
mal 0.0199 0.0198 0.0180
mar 0.0138 0.0130 0.0149
mfe 0.0001 0.0001 0.0001
mkd 0.0243 0.0224 0.0226
mlg 0.0051 0.0045 0.0038
mlt 0.0033 0.0031 0.0034
mon 0.0225 0.0197 0.0223
mri 0.0013 0.0014 0.0017
msa 0.1418 0.1296 0.1485
mya 0.0113 0.0110 0.0114
nau 0.0000 0.0000 0.0000
nep 0.0184 0.0160 0.0172
nld 1.6849 1.6545 1.7368
nno 0.0249 0.0229 0.0239
nor 0.3232 0.3039 0.3963
nso 0.0001 0.0001 0.0001
nya 0.0004 0.0004 0.0004
oci 0.0042 0.0044 0.0034
ori 0.0026 0.0025 0.0021
orm 0.0004 0.0004 0.0003
pan 0.0059 0.0062 0.0055
pol 1.7110 1.6964 1.6391
por 2.1312 2.0159 2.1488
pus 0.0037 0.0031 0.0032
que 0.0008 0.0008 0.0009
roh 0.0018 0.0017 0.0014
ron 0.5398 0.5171 0.5368
run 0.0001 0.0001 0.0001
rus 6.6369 6.4984 6.5668
san 0.0035 0.0038 0.0038
sco 0.0007 0.0006 0.0005
sin 0.0074 0.0063 0.0070
slk 0.4533 0.3368 0.3322
slv 0.1906 0.1777 0.2036
smo 0.0004 0.0004 0.0005
sna 0.0003 0.0002 0.0002
snd 0.0008 0.0008 0.0008
som 0.0040 0.0037 0.0034
sot 0.0004 0.0004 0.0003
spa 4.0207 3.9909 4.1338
sqi 0.0481 0.0428 0.0464
srp 0.2686 0.2571 0.2855
ssw 0.0000 0.0000 0.0000
sun 0.0014 0.0012 0.0012
swa 0.0089 0.0074 0.0076
swe 0.7758 0.7461 0.7660
syr 0.0006 0.0005 0.0006
tam 0.0458 0.0472 0.0444
tat 0.0069 0.0059 0.0063
tel 0.0175 0.0204 0.0167
tgk 0.0054 0.0052 0.0056
tgl 0.0065 0.0066 0.0063
tha 0.3128 0.3558 0.3375
tir 0.0007 0.0006 0.0007
ton 0.0001 0.0001 0.0001
tsn 0.0002 0.0003 0.0002
tso 0.0001 0.0001 0.0000
tuk 0.0017 0.0015 0.0016
tur 0.8665 0.8245 0.8407
uig 0.0015 0.0016 0.0017
ukr 0.3695 0.3576 0.3507
urd 0.0260 0.0264 0.0264
uzb 0.0214 0.0195 0.0227
ven 0.0000 0.0000 0.0001
vie 0.7169 0.7392 0.7414
vol 0.0018 0.0014 0.0014
war 0.0036 0.0039 0.0034
wol 0.0002 0.0002 0.0002
xho 0.0004 0.0004 0.0004
yid 0.0023 0.0025 0.0027
yor 0.0010 0.0007 0.0009
zha 0.0001 0.0001 0.0001
zho 6.8681 9.1847 7.8632
zul 0.0010 0.0010 0.0011