Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector.

crawl CC-MAIN-2018-34 CC-MAIN-2018-39 CC-MAIN-2018-43
language
<other> 0.0012 0.0012 0.0011
<unknown> 5.8727 2.0711 4.6158
aar 0.0002 0.0002 0.0002
abk 0.0002 0.0002 0.0002
afr 0.0072 0.0092 0.0073
amh 0.0021 0.0023 0.0018
ara 0.6688 0.8287 0.7417
asm 0.0004 0.0005 0.0004
aze 0.0340 0.0395 0.0368
bak 0.0012 0.0010 0.0010
bel 0.0119 0.0145 0.0128
ben 0.0454 0.0815 0.0538
bih 0.0005 0.0006 0.0005
blu 0.0007 0.0006 0.0006
bod 0.0011 0.0010 0.0012
bos 0.0281 0.0327 0.0312
bre 0.0013 0.0013 0.0013
bul 0.2607 0.2955 0.2749
cat 0.1705 0.1782 0.1702
ceb 0.0011 0.0013 0.0015
ces 1.0180 1.0479 1.0175
cos 0.0013 0.0014 0.0014
cym 0.0061 0.0062 0.0067
dan 0.3643 0.3852 0.3727
deu 4.9744 5.1449 4.9949
div 0.0007 0.0011 0.0012
ell 0.4790 0.5013 0.4886
eng 43.8846 45.0579 43.1122
epo 0.0040 0.0046 0.0044
est 0.0979 0.1107 0.1026
eus 0.0181 0.0194 0.0189
fao 0.0026 0.0025 0.0027
fas 0.6335 0.6506 0.6747
fin 0.3535 0.3749 0.3406
fra 4.3233 4.6085 4.4740
fry 0.0021 0.0015 0.0024
gla 0.0014 0.0012 0.0012
gle 0.0037 0.0037 0.0034
glg 0.0220 0.0230 0.0220
glv 0.0003 0.0003 0.0003
grn 0.0009 0.0009 0.0008
guj 0.0049 0.0094 0.0055
hat 0.0012 0.0014 0.0013
hau 0.0015 0.0016 0.0013
haw 0.0002 0.0002 0.0002
heb 0.1606 0.1681 0.1577
hin 0.0686 0.1061 0.0736
hrv 0.1337 0.1439 0.1424
hun 0.4852 0.5097 0.5075
hye 0.0225 0.0288 0.0247
ibo 0.0002 0.0002 0.0002
iku 0.0001 0.0002 0.0002
ile 0.0003 0.0003 0.0003
ina 0.0007 0.0007 0.0008
ind 0.7399 0.7429 0.7534
isl 0.0305 0.0307 0.0279
ita 1.9636 2.0739 1.9712
jav 0.0012 0.0012 0.0012
jpn 5.3432 5.5230 5.4146
kal 0.0006 0.0006 0.0005
kan 0.0059 0.0132 0.0074
kat 0.0251 0.0309 0.0275
kaz 0.0134 0.0148 0.0146
kha 0.0002 0.0002 0.0002
khm 0.0049 0.0064 0.0050
kin 0.0017 0.0020 0.0017
kir 0.0032 0.0060 0.0037
kor 0.5592 0.5944 0.6031
kur 0.0040 0.0044 0.0042
lao 0.0019 0.0037 0.0022
lat 0.0331 0.0323 0.0324
lav 0.0724 0.0798 0.0720
lin 0.0002 0.0002 0.0002
lit 0.1286 0.1426 0.1356
ltz 0.0020 0.0021 0.0020
lug 0.0001 0.0002 0.0001
mal 0.0128 0.0241 0.0139
mar 0.0071 0.0128 0.0093
mkd 0.0164 0.0203 0.0178
mlg 0.0020 0.0024 0.0019
mlt 0.0018 0.0023 0.0018
mon 0.0120 0.0136 0.0131
mri 0.0005 0.0006 0.0007
msa 0.0986 0.0996 0.0965
mya 0.0079 0.0126 0.0085
nep 0.0108 0.0129 0.0120
nld 1.3674 1.4428 1.3985
nno 0.0123 0.0136 0.0129
nor 0.2916 0.3017 0.2927
nso 0.0001 0.0004 0.0001
nya 0.0005 0.0004 0.0003
oci 0.0024 0.0022 0.0019
ori 0.0017 0.0026 0.0022
orm 0.0003 0.0003 0.0003
pan 0.0029 0.0044 0.0032
pol 1.6635 1.6870 1.6973
por 1.9811 2.0345 1.9513
pus 0.0022 0.0040 0.0022
que 0.0003 0.0008 0.0005
roh 0.0013 0.0011 0.0013
ron 0.5118 0.5429 0.5221
run 0.0001 0.0001 0.0001
rus 8.9466 9.2012 9.3462
san 0.0017 0.0020 0.0018
sco 0.0008 0.0008 0.0007
sin 0.0053 0.0069 0.0056
slk 0.2266 0.2448 0.2367
slv 0.0959 0.1048 0.0962
smo 0.0003 0.0005 0.0002
sna 0.0003 0.0004 0.0003
snd 0.0005 0.0018 0.0005
som 0.0042 0.0048 0.0044
sot 0.0002 0.0003 0.0002
spa 4.0729 4.3683 4.0860
sqi 0.0283 0.0345 0.0307
srp 0.1455 0.1596 0.1518
sun 0.0005 0.0006 0.0005
swa 0.0063 0.0074 0.0067
swe 0.7229 0.7434 0.7326
syr 0.0003 0.0004 0.0004
tam 0.0299 0.0512 0.0312
tat 0.0048 0.0068 0.0056
tel 0.0082 0.0170 0.0092
tgk 0.0023 0.0047 0.0032
tgl 0.0078 0.0068 0.0064
tha 0.3178 0.2905 0.2941
tir 0.0006 0.0004 0.0006
tsn 0.0001 0.0008 0.0003
tuk 0.0008 0.0014 0.0009
tur 0.8719 0.9510 0.8867
uig 0.0009 0.0007 0.0008
ukr 0.3640 0.3998 0.4028
urd 0.0198 0.0338 0.0216
uzb 0.0093 0.0110 0.0107
vie 0.7466 0.7477 0.7644
vol 0.0005 0.0006 0.0006
war 0.0020 0.0022 0.0020
xho 0.0003 0.0009 0.0005
yid 0.0012 0.0014 0.0015
yor 0.0003 0.0004 0.0003
zho 4.2263 4.5626 5.1984
zul 0.0004 0.0008 0.0004