Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2025-51

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2025-43 CC-MAIN-2025-47 CC-MAIN-2025-51
language
<unknown> 2.5819 2.9445 3.0730
aar 0.0001 0.0001 0.0001
abk 0.0006 0.0006 0.0007
afr 0.0082 0.0092 0.0079
aka 0.0001 0.0002 0.0002
amh 0.0034 0.0036 0.0035
ara 0.6604 0.6575 0.6672
asm 0.0025 0.0029 0.0028
aym 0.0001 0.0001 0.0001
aze 0.0542 0.0572 0.0584
bak 0.0008 0.0027 0.0010
bel 0.0133 0.0169 0.0154
ben 0.1112 0.1140 0.1100
bih 0.0006 0.0008 0.0006
bis 0.0001 0.0001 0.0001
bod 0.0011 0.0011 0.0012
bos 0.0494 0.0548 0.0546
bre 0.0031 0.0020 0.0028
bul 0.2577 0.2792 0.2632
cat 0.1775 0.1928 0.1844
ceb 0.0018 0.0021 0.0023
ces 1.0675 1.1343 1.1086
chr 0.0000 0.0000 0.0000
cos 0.0021 0.0024 0.0023
crs 0.0001 0.0001 0.0001
cym 0.0100 0.0103 0.0105
dan 0.5058 0.4980 0.4853
deu 5.6512 5.7417 5.7391
div 0.0021 0.0021 0.0025
dzo 0.0001 0.0001 0.0001
ell 0.4899 0.5136 0.5192
eng 44.8292 42.0781 41.4078
epo 0.0068 0.0076 0.0077
est 0.1156 0.1374 0.1358
eus 0.0303 0.0356 0.0351
fao 0.0047 0.0052 0.0049
fas 0.7378 0.8042 0.8481
fij 0.0001 0.0001 0.0001
fin 0.3372 0.3488 0.3386
fra 4.4414 4.4007 4.4488
fry 0.0014 0.0034 0.0018
gla 0.0014 0.0018 0.0018
gle 0.0057 0.0073 0.0056
glg 0.0260 0.0291 0.0265
glv 0.0004 0.0005 0.0005
got 0.0000 0.0000 0.0000
grn 0.0008 0.0008 0.0007
guj 0.0116 0.0126 0.0123
hat 0.0023 0.0020 0.0028
hau 0.0025 0.0031 0.0028
haw 0.0007 0.0008 0.0007
heb 0.2449 0.2359 0.2389
hin 0.1972 0.2086 0.2135
hmn 0.0006 0.0007 0.0007
hrv 0.1918 0.2058 0.2027
hun 0.4713 0.5026 0.4888
hye 0.0296 0.0309 0.0297
ibo 0.0007 0.0009 0.0009
iku 0.0002 0.0002 0.0003
ile 0.0003 0.0003 0.0003
ina 0.0005 0.0005 0.0005
ind 1.0124 1.0491 1.0383
ipk 0.0001 0.0001 0.0001
isl 0.0385 0.0382 0.0380
ita 2.0349 2.1831 2.2579
jav 0.0017 0.0038 0.0019
jpn 5.2703 5.5747 5.4564
kal 0.0008 0.0009 0.0009
kan 0.0141 0.0161 0.0159
kas 0.0000 0.0000 0.0000
kat 0.0386 0.0416 0.0420
kaz 0.0332 0.0357 0.0389
kha 0.0003 0.0004 0.0004
khm 0.0107 0.0098 0.0094
kin 0.0021 0.0022 0.0024
kir 0.0095 0.0100 0.0102
kor 0.7145 0.8091 0.7969
kur 0.0060 0.0073 0.0055
lao 0.0038 0.0041 0.0043
lat 0.0998 0.1017 0.0997
lav 0.0859 0.0923 0.0902
lif 0.0000 0.0000 0.0000
lin 0.0002 0.0003 0.0003
lit 0.1626 0.1669 0.1655
ltz 0.0028 0.0048 0.0031
lug 0.0001 0.0001 0.0002
mal 0.0219 0.0259 0.0255
mar 0.0267 0.0312 0.0294
mfe 0.0002 0.0001 0.0002
mkd 0.0337 0.0349 0.0355
mlg 0.0037 0.0032 0.0046
mlt 0.0032 0.0028 0.0025
mon 0.0143 0.0160 0.0147
mri 0.0013 0.0012 0.0012
msa 0.0715 0.0790 0.0794
mya 0.0136 0.0155 0.0142
nau 0.0000 0.0000 0.0000
nep 0.0494 0.0518 0.0541
nld 1.7675 1.7293 1.6940
nno 0.0134 0.0155 0.0141
nor 0.2986 0.3069 0.3058
nso 0.0001 0.0001 0.0001
nya 0.0006 0.0007 0.0007
oci 0.0020 0.0043 0.0027
ori 0.0056 0.0063 0.0065
orm 0.0006 0.0007 0.0007
pan 0.0064 0.0083 0.0076
pol 1.8221 1.9306 1.9136
por 2.2523 2.3370 2.3545
pus 0.0038 0.0040 0.0043
que 0.0006 0.0007 0.0004
roh 0.0010 0.0012 0.0015
ron 0.5160 0.5245 0.4866
run 0.0001 0.0001 0.0001
rus 5.8427 6.4822 6.4826
sag 0.0003 0.0004 0.0003
san 0.0025 0.0025 0.0023
sco 0.0013 0.0006 0.0006
sin 0.0083 0.0083 0.0093
slk 0.3796 0.4083 0.3951
slv 0.1147 0.1231 0.1214
smo 0.0006 0.0007 0.0007
sna 0.0008 0.0009 0.0009
snd 0.0014 0.0018 0.0018
som 0.0046 0.0049 0.0048
sot 0.0006 0.0006 0.0007
spa 4.4619 4.4292 4.4118
sqi 0.0447 0.0457 0.0488
srp 0.2092 0.2353 0.2383
ssw 0.0000 0.0000 0.0000
sun 0.0012 0.0013 0.0012
sux 0.0000 0.0000 0.0000
swa 0.0097 0.0110 0.0094
swe 0.6579 0.6481 0.6507
syr 0.0003 0.0003 0.0003
tam 0.0431 0.0488 0.0465
tat 0.0064 0.0073 0.0072
tel 0.0185 0.0201 0.0194
tgk 0.0054 0.0078 0.0061
tgl 0.0076 0.0093 0.0078
tha 0.3853 0.3874 0.3944
tir 0.0009 0.0010 0.0009
ton 0.0001 0.0001 0.0001
tsn 0.0001 0.0001 0.0001
tso 0.0001 0.0001 0.0001
tuk 0.0011 0.0014 0.0015
tur 1.1516 1.1411 1.1590
uig 0.0012 0.0015 0.0018
ukr 0.6431 0.6768 0.7472
urd 0.0267 0.0297 0.0296
uzb 0.0207 0.0244 0.0262
ven 0.0000 0.0000 0.0000
vie 1.0278 1.0838 1.0775
vol 0.0007 0.0009 0.0008
war 0.0015 0.0019 0.0017
wol 0.0002 0.0002 0.0002
xho 0.0008 0.0010 0.0009
yid 0.0018 0.0018 0.0020
yor 0.0010 0.0014 0.0013
zha 0.0001 0.0001 0.0001
zho 5.0878 5.5505 6.1767
zul 0.0013 0.0015 0.0014