Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2025-26

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2025-18 CC-MAIN-2025-21 CC-MAIN-2025-26
language
<unknown> 2.9817 2.9210 3.0176
aar 0.0001 0.0001 0.0001
abk 0.0005 0.0005 0.0005
afr 0.0100 0.0100 0.0086
aka 0.0001 0.0002 0.0001
amh 0.0031 0.0032 0.0034
ara 0.6722 0.6990 0.6784
asm 0.0025 0.0026 0.0029
aym 0.0001 0.0001 0.0001
aze 0.0602 0.0640 0.0612
bak 0.0019 0.0017 0.0017
bel 0.0148 0.0179 0.0167
ben 0.1064 0.1169 0.1085
bih 0.0006 0.0006 0.0006
bis 0.0001 0.0001 0.0001
bod 0.0013 0.0012 0.0013
bos 0.0559 0.0572 0.0503
bre 0.0027 0.0027 0.0022
bul 0.2964 0.2480 0.2558
cat 0.1893 0.1910 0.1793
ceb 0.0019 0.0025 0.0024
ces 1.0479 0.9914 1.0060
chr 0.0000 0.0000 0.0000
cos 0.0019 0.0021 0.0022
crs 0.0001 0.0001 0.0001
cym 0.0114 0.0121 0.0118
dan 0.4792 0.4760 0.4313
deu 5.5691 5.5819 5.5269
div 0.0025 0.0023 0.0024
dzo 0.0002 0.0002 0.0002
ell 0.5651 0.5736 0.5046
eng 43.9499 43.7876 45.2738
epo 0.0073 0.0094 0.0090
est 0.1324 0.1346 0.1306
eus 0.0335 0.0335 0.0336
fao 0.0045 0.0046 0.0044
fas 0.7087 0.7516 0.5224
fij 0.0001 0.0001 0.0001
fin 0.3649 0.3648 0.3306
fra 4.3271 4.2537 4.1197
fry 0.0026 0.0023 0.0023
gla 0.0012 0.0015 0.0015
gle 0.0073 0.0072 0.0072
glg 0.0335 0.0339 0.0279
glv 0.0004 0.0004 0.0006
got 0.0000 0.0000 0.0000
grn 0.0006 0.0007 0.0006
guj 0.0111 0.0115 0.0116
hat 0.0019 0.0021 0.0021
hau 0.0029 0.0032 0.0027
haw 0.0007 0.0008 0.0007
heb 0.2654 0.2732 0.2317
hin 0.2004 0.2151 0.2086
hmn 0.0006 0.0006 0.0006
hrv 0.2339 0.2362 0.2021
hun 0.5082 0.5037 0.4795
hye 0.0328 0.0351 0.0339
ibo 0.0007 0.0007 0.0008
iku 0.0003 0.0002 0.0002
ile 0.0006 0.0003 0.0003
ina 0.0005 0.0005 0.0005
ind 1.1759 1.1679 0.9868
ipk 0.0001 0.0001 0.0001
isl 0.0391 0.0388 0.0367
ita 2.4060 2.3652 2.1873
jav 0.0022 0.0022 0.0025
jpn 4.9152 4.8498 5.0156
kal 0.0008 0.0008 0.0008
kan 0.0130 0.0142 0.0141
kas 0.0000 0.0000 0.0000
kat 0.0435 0.0436 0.0421
kaz 0.0317 0.0354 0.0370
kha 0.0003 0.0003 0.0003
khm 0.0102 0.0110 0.0104
kin 0.0020 0.0021 0.0020
kir 0.0096 0.0103 0.0104
kor 0.7865 0.7406 0.7608
kur 0.0068 0.0057 0.0055
lao 0.0035 0.0042 0.0039
lat 0.1025 0.1140 0.0936
lav 0.0896 0.0902 0.0899
lif 0.0000 0.0000 0.0000
lin 0.0002 0.0003 0.0003
lit 0.1673 0.1710 0.1661
ltz 0.0038 0.0037 0.0038
lug 0.0002 0.0002 0.0002
mal 0.0233 0.0247 0.0237
mar 0.0273 0.0294 0.0287
mfe 0.0001 0.0001 0.0001
mkd 0.0381 0.0392 0.0355
mlg 0.0050 0.0047 0.0051
mlt 0.0031 0.0033 0.0033
mon 0.0154 0.0148 0.0160
mri 0.0014 0.0014 0.0013
msa 0.0767 0.0787 0.0722
mya 0.0132 0.0138 0.0131
nau 0.0000 0.0000 0.0000
nep 0.0522 0.0521 0.0479
nld 1.8083 1.8372 1.7381
nno 0.0143 0.0156 0.0147
nor 0.3135 0.3182 0.3067
nso 0.0001 0.0001 0.0001
nya 0.0004 0.0006 0.0006
oci 0.0033 0.0033 0.0032
ori 0.0058 0.0060 0.0056
orm 0.0004 0.0006 0.0005
pan 0.0068 0.0073 0.0074
pol 1.8744 1.7983 1.7087
por 2.3369 2.3413 2.1981
pus 0.0039 0.0040 0.0034
que 0.0005 0.0005 0.0006
roh 0.0011 0.0011 0.0009
ron 0.6374 0.6591 0.4985
run 0.0001 0.0001 0.0001
rus 5.7614 5.8921 5.9836
sag 0.0001 0.0006 0.0004
san 0.0032 0.0033 0.0032
sco 0.0006 0.0007 0.0007
sin 0.0086 0.0090 0.0085
slk 0.3706 0.3657 0.3829
slv 0.1605 0.1686 0.1306
smo 0.0007 0.0007 0.0007
sna 0.0007 0.0007 0.0007
snd 0.0015 0.0016 0.0019
som 0.0045 0.0053 0.0049
sot 0.0005 0.0006 0.0006
spa 4.5422 4.7108 4.2069
sqi 0.0486 0.0502 0.0468
srp 0.2133 0.2196 0.2144
ssw 0.0000 0.0000 0.0000
sun 0.0011 0.0012 0.0014
sux 0.0000 0.0000 0.0000
swa 0.0102 0.0099 0.0104
swe 0.6736 0.6509 0.6100
syr 0.0003 0.0003 0.0003
tam 0.0447 0.0439 0.0415
tat 0.0075 0.0076 0.0077
tel 0.0213 0.0210 0.0187
tgk 0.0065 0.0061 0.0068
tgl 0.0084 0.0087 0.0083
tha 0.4269 0.4218 0.3819
tir 0.0008 0.0008 0.0008
ton 0.0001 0.0001 0.0001
tsn 0.0002 0.0001 0.0002
tso 0.0000 0.0001 0.0001
tuk 0.0021 0.0022 0.0027
tur 1.1274 1.2016 1.1173
uig 0.0014 0.0014 0.0012
ukr 0.6079 0.6589 0.6726
urd 0.0289 0.0296 0.0292
uzb 0.0217 0.0232 0.0243
ven 0.0000 0.0000 0.0000
vie 1.0213 1.0392 0.9956
vol 0.0005 0.0007 0.0007
war 0.0020 0.0027 0.0029
wol 0.0001 0.0002 0.0002
xho 0.0007 0.0007 0.0008
yid 0.0014 0.0014 0.0016
yor 0.0008 0.0009 0.0010
zha 0.0001 0.0001 0.0001
zho 4.8778 4.8571 5.3525
zul 0.0011 0.0013 0.0012