Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2025-30

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2025-21 CC-MAIN-2025-26 CC-MAIN-2025-30
language
<unknown> 2.9210 3.0176 2.9989
aar 0.0001 0.0001 0.0001
abk 0.0005 0.0005 0.0005
afr 0.0100 0.0086 0.0083
aka 0.0002 0.0001 0.0002
amh 0.0032 0.0034 0.0033
ara 0.6990 0.6784 0.6825
asm 0.0026 0.0029 0.0024
aym 0.0001 0.0001 0.0001
aze 0.0640 0.0612 0.0593
bak 0.0017 0.0017 0.0014
bel 0.0179 0.0167 0.0156
ben 0.1169 0.1085 0.1041
bih 0.0006 0.0006 0.0005
bis 0.0001 0.0001 0.0001
bod 0.0012 0.0013 0.0013
bos 0.0572 0.0503 0.0521
bre 0.0027 0.0022 0.0015
bul 0.2480 0.2558 0.2590
cat 0.1910 0.1793 0.1775
ceb 0.0025 0.0024 0.0017
ces 0.9914 1.0060 1.0122
chr 0.0000 0.0000 0.0000
cos 0.0021 0.0022 0.0020
crs 0.0001 0.0001 0.0001
cym 0.0121 0.0118 0.0106
dan 0.4760 0.4313 0.4678
deu 5.5819 5.5269 5.5837
div 0.0023 0.0024 0.0023
dzo 0.0002 0.0002 0.0001
ell 0.5736 0.5046 0.5014
eng 43.7876 45.2738 44.6146
epo 0.0094 0.0090 0.0079
est 0.1346 0.1306 0.1191
eus 0.0335 0.0336 0.0344
fao 0.0046 0.0044 0.0047
fas 0.7516 0.5224 0.7373
fij 0.0001 0.0001 0.0001
fin 0.3648 0.3306 0.3354
fra 4.2537 4.1197 4.0933
fry 0.0023 0.0023 0.0020
gla 0.0015 0.0015 0.0016
gle 0.0072 0.0072 0.0068
glg 0.0339 0.0279 0.0290
glv 0.0004 0.0006 0.0004
got 0.0000 0.0000 0.0000
grn 0.0007 0.0006 0.0007
guj 0.0115 0.0116 0.0111
hat 0.0021 0.0021 0.0019
hau 0.0032 0.0027 0.0027
haw 0.0008 0.0007 0.0007
heb 0.2732 0.2317 0.2385
hin 0.2151 0.2086 0.1996
hmn 0.0006 0.0006 0.0006
hrv 0.2362 0.2021 0.2103
hun 0.5037 0.4795 0.4779
hye 0.0351 0.0339 0.0326
ibo 0.0007 0.0008 0.0008
iku 0.0002 0.0002 0.0002
ile 0.0003 0.0003 0.0003
ina 0.0005 0.0005 0.0004
ind 1.1679 0.9868 0.9542
ipk 0.0001 0.0001 0.0001
isl 0.0388 0.0367 0.0389
ita 2.3652 2.1873 2.4126
jav 0.0022 0.0025 0.0019
jpn 4.8498 5.0156 5.2783
kal 0.0008 0.0008 0.0008
kan 0.0142 0.0141 0.0147
kas 0.0000 0.0000 0.0000
kat 0.0436 0.0421 0.0393
kaz 0.0354 0.0370 0.0331
kha 0.0003 0.0003 0.0003
khm 0.0110 0.0104 0.0109
kin 0.0021 0.0020 0.0020
kir 0.0103 0.0104 0.0101
kor 0.7406 0.7608 0.7753
kur 0.0057 0.0055 0.0060
lao 0.0042 0.0039 0.0036
lat 0.1140 0.0936 0.0868
lav 0.0902 0.0899 0.0895
lif 0.0000 0.0000 0.0000
lin 0.0003 0.0003 0.0003
lit 0.1710 0.1661 0.1624
ltz 0.0037 0.0038 0.0035
lug 0.0002 0.0002 0.0002
mal 0.0247 0.0237 0.0237
mar 0.0294 0.0287 0.0267
mfe 0.0001 0.0001 0.0001
mkd 0.0392 0.0355 0.0359
mlg 0.0047 0.0051 0.0037
mlt 0.0033 0.0033 0.0032
mon 0.0148 0.0160 0.0149
mri 0.0014 0.0013 0.0013
msa 0.0787 0.0722 0.0727
mya 0.0138 0.0131 0.0128
nau 0.0000 0.0000 0.0000
nep 0.0521 0.0479 0.0480
nld 1.8372 1.7381 1.7131
nno 0.0156 0.0147 0.0134
nor 0.3182 0.3067 0.3075
nso 0.0001 0.0001 0.0001
nya 0.0006 0.0006 0.0006
oci 0.0033 0.0032 0.0030
ori 0.0060 0.0056 0.0057
orm 0.0006 0.0005 0.0005
pan 0.0073 0.0074 0.0067
pol 1.7983 1.7087 1.6697
por 2.3413 2.1981 2.1612
pus 0.0040 0.0034 0.0033
que 0.0005 0.0006 0.0006
roh 0.0011 0.0009 0.0009
ron 0.6591 0.4985 0.4942
run 0.0001 0.0001 0.0001
rus 5.8921 5.9836 5.8351
sag 0.0006 0.0004 0.0003
san 0.0033 0.0032 0.0029
sco 0.0007 0.0007 0.0007
sin 0.0090 0.0085 0.0083
slk 0.3657 0.3829 0.3697
slv 0.1686 0.1306 0.1274
smo 0.0007 0.0007 0.0007
sna 0.0007 0.0007 0.0007
snd 0.0016 0.0019 0.0018
som 0.0053 0.0049 0.0045
sot 0.0006 0.0006 0.0006
spa 4.7108 4.2069 4.2873
sqi 0.0502 0.0468 0.0455
srp 0.2196 0.2144 0.2116
ssw 0.0000 0.0000 0.0000
sun 0.0012 0.0014 0.0013
sux 0.0000 0.0000 0.0000
swa 0.0099 0.0104 0.0099
swe 0.6509 0.6100 0.6121
syr 0.0003 0.0003 0.0003
tam 0.0439 0.0415 0.0428
tat 0.0076 0.0077 0.0077
tel 0.0210 0.0187 0.0177
tgk 0.0061 0.0068 0.0066
tgl 0.0087 0.0083 0.0081
tha 0.4218 0.3819 0.3682
tir 0.0008 0.0008 0.0007
ton 0.0001 0.0001 0.0001
tsn 0.0001 0.0002 0.0001
tso 0.0001 0.0001 0.0001
tuk 0.0022 0.0027 0.0025
tur 1.2016 1.1173 1.1006
uig 0.0014 0.0012 0.0012
ukr 0.6589 0.6726 0.6469
urd 0.0296 0.0292 0.0290
uzb 0.0232 0.0243 0.0238
ven 0.0000 0.0000 0.0000
vie 1.0392 0.9956 0.9519
vol 0.0007 0.0007 0.0006
war 0.0027 0.0029 0.0025
wol 0.0002 0.0002 0.0001
xho 0.0007 0.0008 0.0009
yid 0.0014 0.0016 0.0017
yor 0.0009 0.0010 0.0011
zha 0.0001 0.0001 0.0001
zho 4.8571 5.3525 5.5983
zul 0.0013 0.0012 0.0014