Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2026-08

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2025-51 CC-MAIN-2026-04 CC-MAIN-2026-08
language
<unknown> 3.0730 2.9452 3.1475
aar 0.0001 0.0001 0.0001
abk 0.0007 0.0009 0.0007
afr 0.0079 0.0095 0.0073
aka 0.0002 0.0004 0.0003
amh 0.0035 0.0044 0.0040
ara 0.6672 0.6630 0.6367
asm 0.0028 0.0035 0.0029
aym 0.0001 0.0001 0.0001
aze 0.0584 0.0582 0.0568
bak 0.0010 0.0020 0.0035
bel 0.0154 0.0161 0.0158
ben 0.1100 0.1104 0.1038
bih 0.0006 0.0013 0.0007
bis 0.0001 0.0001 0.0002
bod 0.0012 0.0019 0.0013
bos 0.0546 0.0583 0.0543
bre 0.0028 0.0026 0.0032
bul 0.2632 0.2568 0.2639
cat 0.1844 0.2039 0.2073
ceb 0.0023 0.0020 0.0022
ces 1.1086 1.1411 1.1228
chr 0.0000 0.0001 0.0000
cos 0.0023 0.0033 0.0028
crs 0.0001 0.0001 0.0001
cym 0.0105 0.0107 0.0104
dan 0.4853 0.5082 0.4901
deu 5.7391 5.9575 5.7651
div 0.0025 0.0026 0.0023
dzo 0.0001 0.0002 0.0001
ell 0.5192 0.5367 0.5054
eng 41.4078 41.6958 42.6029
epo 0.0077 0.0081 0.0107
est 0.1358 0.1400 0.1371
eus 0.0351 0.0365 0.0416
fao 0.0049 0.0054 0.0048
fas 0.8481 0.1949 0.8777
fij 0.0001 0.0001 0.0001
fin 0.3386 0.3632 0.3425
fra 4.4488 4.6724 4.4567
fry 0.0018 0.0024 0.0027
gla 0.0018 0.0019 0.0019
gle 0.0056 0.0062 0.0065
glg 0.0265 0.0359 0.0358
glv 0.0005 0.0007 0.0006
got 0.0000 0.0001 0.0000
grn 0.0007 0.0009 0.0009
guj 0.0123 0.0125 0.0115
hat 0.0028 0.0022 0.0028
hau 0.0028 0.0039 0.0033
haw 0.0007 0.0008 0.0008
heb 0.2389 0.2544 0.2303
hin 0.2135 0.2238 0.2106
hmn 0.0007 0.0006 0.0007
hrv 0.2027 0.2164 0.1937
hun 0.4888 0.5139 0.4952
hye 0.0297 0.0320 0.0323
ibo 0.0009 0.0019 0.0013
iku 0.0003 0.0004 0.0003
ile 0.0003 0.0003 0.0004
ina 0.0005 0.0007 0.0007
ind 1.0383 1.1485 1.0059
ipk 0.0001 0.0001 0.0001
isl 0.0380 0.0354 0.0395
ita 2.2579 2.4109 2.2823
jav 0.0019 0.0045 0.0030
jpn 5.4564 5.7733 5.6591
kal 0.0009 0.0010 0.0011
kan 0.0159 0.0195 0.0193
kas 0.0000 0.0000 0.0000
kat 0.0420 0.0438 0.0429
kaz 0.0389 0.0376 0.0387
kha 0.0004 0.0003 0.0003
khm 0.0094 0.0112 0.0095
kin 0.0024 0.0026 0.0022
kir 0.0102 0.0106 0.0113
kor 0.7969 0.7923 0.8145
kur 0.0055 0.0065 0.0066
lao 0.0043 0.0053 0.0042
lat 0.0997 0.1164 0.1018
lav 0.0902 0.0900 0.0855
lif 0.0000 0.0000 0.0000
lin 0.0003 0.0005 0.0004
lit 0.1655 0.1749 0.1693
ltz 0.0031 0.0039 0.0034
lug 0.0002 0.0005 0.0003
mal 0.0255 0.0285 0.0275
mar 0.0294 0.0326 0.0314
mfe 0.0002 0.0002 0.0002
mkd 0.0355 0.0362 0.0342
mlg 0.0046 0.0037 0.0056
mlt 0.0025 0.0031 0.0029
mon 0.0147 0.0167 0.0154
mri 0.0012 0.0015 0.0012
msa 0.0794 0.0831 0.0787
mya 0.0142 0.0185 0.0178
nau 0.0000 0.0000 0.0000
nep 0.0541 0.0574 0.0533
nld 1.6940 1.7923 1.6783
nno 0.0141 0.0143 0.0139
nor 0.3058 0.3194 0.3060
nso 0.0001 0.0001 0.0001
nya 0.0007 0.0008 0.0007
oci 0.0027 0.0036 0.0036
ori 0.0065 0.0082 0.0071
orm 0.0007 0.0008 0.0009
pan 0.0076 0.0089 0.0076
pol 1.9136 2.0273 1.9012
por 2.3545 2.4562 2.4098
pus 0.0043 0.0051 0.0044
que 0.0004 0.0010 0.0011
roh 0.0015 0.0015 0.0014
ron 0.4866 0.5339 0.4662
run 0.0001 0.0001 0.0001
rus 6.4826 6.2629 6.1577
sag 0.0003 0.0011 0.0016
san 0.0023 0.0047 0.0052
sco 0.0006 0.0006 0.0007
sin 0.0093 0.0103 0.0099
slk 0.3951 0.3947 0.3924
slv 0.1214 0.1318 0.1229
smo 0.0007 0.0007 0.0007
sna 0.0009 0.0012 0.0008
snd 0.0018 0.0022 0.0024
som 0.0048 0.0059 0.0051
sot 0.0007 0.0007 0.0006
spa 4.4118 4.6206 4.4682
sqi 0.0488 0.0502 0.0499
srp 0.2383 0.2505 0.2306
ssw 0.0000 0.0000 0.0000
sun 0.0012 0.0016 0.0019
sux 0.0000 0.0000 0.0000
swa 0.0094 0.0126 0.0126
swe 0.6507 0.6889 0.6517
syr 0.0003 0.0004 0.0003
tam 0.0465 0.0497 0.0468
tat 0.0072 0.0073 0.0082
tel 0.0194 0.0220 0.0215
tgk 0.0061 0.0069 0.0064
tgl 0.0078 0.0098 0.0098
tha 0.3944 0.3928 0.3740
tir 0.0009 0.0008 0.0007
ton 0.0001 0.0002 0.0001
tsn 0.0001 0.0004 0.0003
tso 0.0001 0.0001 0.0001
tuk 0.0015 0.0036 0.0039
tur 1.1590 1.1990 1.1616
uig 0.0018 0.0020 0.0018
ukr 0.7472 0.6956 0.6678
urd 0.0296 0.0319 0.0321
uzb 0.0262 0.0253 0.0254
ven 0.0000 0.0000 0.0000
vie 1.0775 1.0981 1.0294
vol 0.0008 0.0014 0.0008
war 0.0017 0.0017 0.0019
wol 0.0002 0.0003 0.0003
xho 0.0009 0.0010 0.0009
yid 0.0020 0.0024 0.0022
yor 0.0013 0.0016 0.0015
zha 0.0001 0.0001 0.0001
zho 6.1767 4.9284 4.9960
zul 0.0014 0.0019 0.0012