Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2025-21

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2025-13 CC-MAIN-2025-18 CC-MAIN-2025-21
language
<unknown> 3.0027 2.9817 2.9210
aar 0.0001 0.0001 0.0001
abk 0.0005 0.0005 0.0005
afr 0.0095 0.0100 0.0100
aka 0.0001 0.0001 0.0002
amh 0.0033 0.0031 0.0032
ara 0.6837 0.6722 0.6990
asm 0.0023 0.0025 0.0026
aym 0.0001 0.0001 0.0001
aze 0.0612 0.0602 0.0640
bak 0.0032 0.0019 0.0017
bel 0.0165 0.0148 0.0179
ben 0.1107 0.1064 0.1169
bih 0.0005 0.0006 0.0006
bis 0.0001 0.0001 0.0001
bod 0.0015 0.0013 0.0012
bos 0.0538 0.0559 0.0572
bre 0.0023 0.0027 0.0027
bul 0.3027 0.2964 0.2480
cat 0.1767 0.1893 0.1910
ceb 0.0018 0.0019 0.0025
ces 1.0380 1.0479 0.9914
chr 0.0000 0.0000 0.0000
cos 0.0021 0.0019 0.0021
crs 0.0001 0.0001 0.0001
cym 0.0120 0.0114 0.0121
dan 0.4630 0.4792 0.4760
deu 5.1154 5.5691 5.5819
div 0.0024 0.0025 0.0023
dzo 0.0002 0.0002 0.0002
ell 0.5902 0.5651 0.5736
eng 43.9338 43.9499 43.7876
epo 0.0085 0.0073 0.0094
est 0.1308 0.1324 0.1346
eus 0.0328 0.0335 0.0335
fao 0.0044 0.0045 0.0046
fas 0.7350 0.7087 0.7516
fij 0.0001 0.0001 0.0001
fin 0.3616 0.3649 0.3648
fra 4.2269 4.3271 4.2537
fry 0.0022 0.0026 0.0023
gla 0.0013 0.0012 0.0015
gle 0.0074 0.0073 0.0072
glg 0.0305 0.0335 0.0339
glv 0.0009 0.0004 0.0004
got 0.0000 0.0000 0.0000
grn 0.0007 0.0006 0.0007
guj 0.0125 0.0111 0.0115
hat 0.0019 0.0019 0.0021
hau 0.0032 0.0029 0.0032
haw 0.0006 0.0007 0.0008
heb 0.2571 0.2654 0.2732
hin 0.2027 0.2004 0.2151
hmn 0.0006 0.0006 0.0006
hrv 0.2295 0.2339 0.2362
hun 0.4990 0.5082 0.5037
hye 0.0328 0.0328 0.0351
ibo 0.0006 0.0007 0.0007
iku 0.0002 0.0003 0.0002
ile 0.0003 0.0006 0.0003
ina 0.0005 0.0005 0.0005
ind 1.2009 1.1759 1.1679
ipk 0.0001 0.0001 0.0001
isl 0.0388 0.0391 0.0388
ita 2.4181 2.4060 2.3652
jav 0.0023 0.0022 0.0022
jpn 4.8624 4.9152 4.8498
kal 0.0008 0.0008 0.0008
kan 0.0138 0.0130 0.0142
kas 0.0000 0.0000 0.0000
kat 0.0444 0.0435 0.0436
kaz 0.0318 0.0317 0.0354
kha 0.0003 0.0003 0.0003
khm 0.0106 0.0102 0.0110
kin 0.0023 0.0020 0.0021
kir 0.0111 0.0096 0.0103
kor 0.8028 0.7865 0.7406
kur 0.0069 0.0068 0.0057
lao 0.0039 0.0035 0.0042
lat 0.1061 0.1025 0.1140
lav 0.0854 0.0896 0.0902
lif 0.0000 0.0000 0.0000
lin 0.0003 0.0002 0.0003
lit 0.1659 0.1673 0.1710
ltz 0.0041 0.0038 0.0037
lug 0.0001 0.0002 0.0002
mal 0.0253 0.0233 0.0247
mar 0.0290 0.0273 0.0294
mfe 0.0001 0.0001 0.0001
mkd 0.0387 0.0381 0.0392
mlg 0.0041 0.0050 0.0047
mlt 0.0032 0.0031 0.0033
mon 0.0153 0.0154 0.0148
mri 0.0013 0.0014 0.0014
msa 0.0774 0.0767 0.0787
mya 0.0148 0.0132 0.0138
nau 0.0000 0.0000 0.0000
nep 0.0553 0.0522 0.0521
nld 1.7982 1.8083 1.8372
nno 0.0135 0.0143 0.0156
nor 0.3119 0.3135 0.3182
nso 0.0001 0.0001 0.0001
nya 0.0005 0.0004 0.0006
oci 0.0037 0.0033 0.0033
ori 0.0061 0.0058 0.0060
orm 0.0007 0.0004 0.0006
pan 0.0068 0.0068 0.0073
pol 1.6923 1.8744 1.7983
por 2.3679 2.3369 2.3413
pus 0.0041 0.0039 0.0040
que 0.0005 0.0005 0.0005
roh 0.0010 0.0011 0.0011
ron 0.6522 0.6374 0.6591
run 0.0001 0.0001 0.0001
rus 5.9294 5.7614 5.8921
sag 0.0007 0.0001 0.0006
san 0.0032 0.0032 0.0033
sco 0.0006 0.0006 0.0007
sin 0.0092 0.0086 0.0090
slk 0.3684 0.3706 0.3657
slv 0.1552 0.1605 0.1686
smo 0.0006 0.0007 0.0007
sna 0.0007 0.0007 0.0007
snd 0.0016 0.0015 0.0016
som 0.0048 0.0045 0.0053
sot 0.0005 0.0005 0.0006
spa 4.4426 4.5422 4.7108
sqi 0.0492 0.0486 0.0502
srp 0.2157 0.2133 0.2196
ssw 0.0000 0.0000 0.0000
sun 0.0012 0.0011 0.0012
sux 0.0000 0.0000 0.0000
swa 0.0095 0.0102 0.0099
swe 0.6621 0.6736 0.6509
syr 0.0004 0.0003 0.0003
tam 0.0437 0.0447 0.0439
tat 0.0082 0.0075 0.0076
tel 0.0195 0.0213 0.0210
tgk 0.0069 0.0065 0.0061
tgl 0.0087 0.0084 0.0087
tha 0.4533 0.4269 0.4218
tir 0.0007 0.0008 0.0008
ton 0.0001 0.0001 0.0001
tsn 0.0001 0.0002 0.0001
tso 0.0001 0.0000 0.0001
tuk 0.0022 0.0021 0.0022
tur 1.1405 1.1274 1.2016
uig 0.0012 0.0014 0.0014
ukr 0.6240 0.6079 0.6589
urd 0.0300 0.0289 0.0296
uzb 0.0228 0.0217 0.0232
ven 0.0000 0.0000 0.0000
vie 1.0498 1.0213 1.0392
vol 0.0005 0.0005 0.0007
war 0.0021 0.0020 0.0027
wol 0.0001 0.0001 0.0002
xho 0.0007 0.0007 0.0007
yid 0.0015 0.0014 0.0014
yor 0.0008 0.0008 0.0009
zha 0.0001 0.0001 0.0001
zho 5.4135 4.8778 4.8571
zul 0.0011 0.0011 0.0013