Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2026-04

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2025-47 CC-MAIN-2025-51 CC-MAIN-2026-04
language
<unknown> 2.9445 3.0730 2.9452
aar 0.0001 0.0001 0.0001
abk 0.0006 0.0007 0.0009
afr 0.0092 0.0079 0.0095
aka 0.0002 0.0002 0.0004
amh 0.0036 0.0035 0.0044
ara 0.6575 0.6672 0.6630
asm 0.0029 0.0028 0.0035
aym 0.0001 0.0001 0.0001
aze 0.0572 0.0584 0.0582
bak 0.0027 0.0010 0.0020
bel 0.0169 0.0154 0.0161
ben 0.1140 0.1100 0.1104
bih 0.0008 0.0006 0.0013
bis 0.0001 0.0001 0.0001
bod 0.0011 0.0012 0.0019
bos 0.0548 0.0546 0.0583
bre 0.0020 0.0028 0.0026
bul 0.2792 0.2632 0.2568
cat 0.1928 0.1844 0.2039
ceb 0.0021 0.0023 0.0020
ces 1.1343 1.1086 1.1411
chr 0.0000 0.0000 0.0001
cos 0.0024 0.0023 0.0033
crs 0.0001 0.0001 0.0001
cym 0.0103 0.0105 0.0107
dan 0.4980 0.4853 0.5082
deu 5.7417 5.7391 5.9575
div 0.0021 0.0025 0.0026
dzo 0.0001 0.0001 0.0002
ell 0.5136 0.5192 0.5367
eng 42.0781 41.4078 41.6958
epo 0.0076 0.0077 0.0081
est 0.1374 0.1358 0.1400
eus 0.0356 0.0351 0.0365
fao 0.0052 0.0049 0.0054
fas 0.8042 0.8481 0.1949
fij 0.0001 0.0001 0.0001
fin 0.3488 0.3386 0.3632
fra 4.4007 4.4488 4.6724
fry 0.0034 0.0018 0.0024
gla 0.0018 0.0018 0.0019
gle 0.0073 0.0056 0.0062
glg 0.0291 0.0265 0.0359
glv 0.0005 0.0005 0.0007
got 0.0000 0.0000 0.0001
grn 0.0008 0.0007 0.0009
guj 0.0126 0.0123 0.0125
hat 0.0020 0.0028 0.0022
hau 0.0031 0.0028 0.0039
haw 0.0008 0.0007 0.0008
heb 0.2359 0.2389 0.2544
hin 0.2086 0.2135 0.2238
hmn 0.0007 0.0007 0.0006
hrv 0.2058 0.2027 0.2164
hun 0.5026 0.4888 0.5139
hye 0.0309 0.0297 0.0320
ibo 0.0009 0.0009 0.0019
iku 0.0002 0.0003 0.0004
ile 0.0003 0.0003 0.0003
ina 0.0005 0.0005 0.0007
ind 1.0491 1.0383 1.1485
ipk 0.0001 0.0001 0.0001
isl 0.0382 0.0380 0.0354
ita 2.1831 2.2579 2.4109
jav 0.0038 0.0019 0.0045
jpn 5.5747 5.4564 5.7733
kal 0.0009 0.0009 0.0010
kan 0.0161 0.0159 0.0195
kas 0.0000 0.0000 0.0000
kat 0.0416 0.0420 0.0438
kaz 0.0357 0.0389 0.0376
kha 0.0004 0.0004 0.0003
khm 0.0098 0.0094 0.0112
kin 0.0022 0.0024 0.0026
kir 0.0100 0.0102 0.0106
kor 0.8091 0.7969 0.7923
kur 0.0073 0.0055 0.0065
lao 0.0041 0.0043 0.0053
lat 0.1017 0.0997 0.1164
lav 0.0923 0.0902 0.0900
lif 0.0000 0.0000 0.0000
lin 0.0003 0.0003 0.0005
lit 0.1669 0.1655 0.1749
ltz 0.0048 0.0031 0.0039
lug 0.0001 0.0002 0.0005
mal 0.0259 0.0255 0.0285
mar 0.0312 0.0294 0.0326
mfe 0.0001 0.0002 0.0002
mkd 0.0349 0.0355 0.0362
mlg 0.0032 0.0046 0.0037
mlt 0.0028 0.0025 0.0031
mon 0.0160 0.0147 0.0167
mri 0.0012 0.0012 0.0015
msa 0.0790 0.0794 0.0831
mya 0.0155 0.0142 0.0185
nau 0.0000 0.0000 0.0000
nep 0.0518 0.0541 0.0574
nld 1.7293 1.6940 1.7923
nno 0.0155 0.0141 0.0143
nor 0.3069 0.3058 0.3194
nso 0.0001 0.0001 0.0001
nya 0.0007 0.0007 0.0008
oci 0.0043 0.0027 0.0036
ori 0.0063 0.0065 0.0082
orm 0.0007 0.0007 0.0008
pan 0.0083 0.0076 0.0089
pol 1.9306 1.9136 2.0273
por 2.3370 2.3545 2.4562
pus 0.0040 0.0043 0.0051
que 0.0007 0.0004 0.0010
roh 0.0012 0.0015 0.0015
ron 0.5245 0.4866 0.5339
run 0.0001 0.0001 0.0001
rus 6.4822 6.4826 6.2629
sag 0.0004 0.0003 0.0011
san 0.0025 0.0023 0.0047
sco 0.0006 0.0006 0.0006
sin 0.0083 0.0093 0.0103
slk 0.4083 0.3951 0.3947
slv 0.1231 0.1214 0.1318
smo 0.0007 0.0007 0.0007
sna 0.0009 0.0009 0.0012
snd 0.0018 0.0018 0.0022
som 0.0049 0.0048 0.0059
sot 0.0006 0.0007 0.0007
spa 4.4292 4.4118 4.6206
sqi 0.0457 0.0488 0.0502
srp 0.2353 0.2383 0.2505
ssw 0.0000 0.0000 0.0000
sun 0.0013 0.0012 0.0016
sux 0.0000 0.0000 0.0000
swa 0.0110 0.0094 0.0126
swe 0.6481 0.6507 0.6889
syr 0.0003 0.0003 0.0004
tam 0.0488 0.0465 0.0497
tat 0.0073 0.0072 0.0073
tel 0.0201 0.0194 0.0220
tgk 0.0078 0.0061 0.0069
tgl 0.0093 0.0078 0.0098
tha 0.3874 0.3944 0.3928
tir 0.0010 0.0009 0.0008
ton 0.0001 0.0001 0.0002
tsn 0.0001 0.0001 0.0004
tso 0.0001 0.0001 0.0001
tuk 0.0014 0.0015 0.0036
tur 1.1411 1.1590 1.1990
uig 0.0015 0.0018 0.0020
ukr 0.6768 0.7472 0.6956
urd 0.0297 0.0296 0.0319
uzb 0.0244 0.0262 0.0253
ven 0.0000 0.0000 0.0000
vie 1.0838 1.0775 1.0981
vol 0.0009 0.0008 0.0014
war 0.0019 0.0017 0.0017
wol 0.0002 0.0002 0.0003
xho 0.0010 0.0009 0.0010
yid 0.0018 0.0020 0.0024
yor 0.0014 0.0013 0.0016
zha 0.0001 0.0001 0.0001
zho 5.5505 6.1767 4.9284
zul 0.0015 0.0014 0.0019