Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2025-33

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2025-26 CC-MAIN-2025-30 CC-MAIN-2025-33
language
<unknown> 3.0176 2.9989 2.7925
aar 0.0001 0.0001 0.0001
abk 0.0005 0.0005 0.0006
afr 0.0086 0.0083 0.0086
aka 0.0001 0.0002 0.0002
amh 0.0034 0.0033 0.0032
ara 0.6784 0.6825 0.6383
asm 0.0029 0.0024 0.0025
aym 0.0001 0.0001 0.0001
aze 0.0612 0.0593 0.0576
bak 0.0017 0.0014 0.0015
bel 0.0167 0.0156 0.0150
ben 0.1085 0.1041 0.1040
bih 0.0006 0.0005 0.0005
bis 0.0001 0.0001 0.0001
bod 0.0013 0.0013 0.0013
bos 0.0503 0.0521 0.0530
bre 0.0022 0.0015 0.0033
bul 0.2558 0.2590 0.2584
cat 0.1793 0.1775 0.1732
ceb 0.0024 0.0017 0.0019
ces 1.0060 1.0122 1.0202
chr 0.0000 0.0000 0.0000
cos 0.0022 0.0020 0.0022
crs 0.0001 0.0001 0.0001
cym 0.0118 0.0106 0.0100
dan 0.4313 0.4678 0.4822
deu 5.5269 5.5837 5.8191
div 0.0024 0.0023 0.0024
dzo 0.0002 0.0001 0.0001
ell 0.5046 0.5014 0.5255
eng 45.2738 44.6146 44.2668
epo 0.0090 0.0079 0.0078
est 0.1306 0.1191 0.1182
eus 0.0336 0.0344 0.0308
fao 0.0044 0.0047 0.0047
fas 0.5224 0.7373 0.7886
fij 0.0001 0.0001 0.0001
fin 0.3306 0.3354 0.3422
fra 4.1197 4.0933 4.4559
fry 0.0023 0.0020 0.0017
gla 0.0015 0.0016 0.0015
gle 0.0072 0.0068 0.0070
glg 0.0279 0.0290 0.0272
glv 0.0006 0.0004 0.0004
got 0.0000 0.0000 0.0000
grn 0.0006 0.0007 0.0008
guj 0.0116 0.0111 0.0106
hat 0.0021 0.0019 0.0025
hau 0.0027 0.0027 0.0024
haw 0.0007 0.0007 0.0007
heb 0.2317 0.2385 0.2450
hin 0.2086 0.1996 0.1927
hmn 0.0006 0.0006 0.0007
hrv 0.2021 0.2103 0.2181
hun 0.4795 0.4779 0.4917
hye 0.0339 0.0326 0.0326
ibo 0.0008 0.0008 0.0008
iku 0.0002 0.0002 0.0002
ile 0.0003 0.0003 0.0004
ina 0.0005 0.0004 0.0005
ind 0.9868 0.9542 0.9690
ipk 0.0001 0.0001 0.0001
isl 0.0367 0.0389 0.0412
ita 2.1873 2.4126 2.1221
jav 0.0025 0.0019 0.0025
jpn 5.0156 5.2783 5.1095
kal 0.0008 0.0008 0.0008
kan 0.0141 0.0147 0.0140
kas 0.0000 0.0000 0.0000
kat 0.0421 0.0393 0.0401
kaz 0.0370 0.0331 0.0349
kha 0.0003 0.0003 0.0003
khm 0.0104 0.0109 0.0099
kin 0.0020 0.0020 0.0020
kir 0.0104 0.0101 0.0106
kor 0.7608 0.7753 0.7565
kur 0.0055 0.0060 0.0057
lao 0.0039 0.0036 0.0037
lat 0.0936 0.0868 0.0937
lav 0.0899 0.0895 0.0885
lif 0.0000 0.0000 0.0000
lin 0.0003 0.0003 0.0003
lit 0.1661 0.1624 0.1676
ltz 0.0038 0.0035 0.0034
lug 0.0002 0.0002 0.0001
mal 0.0237 0.0237 0.0226
mar 0.0287 0.0267 0.0249
mfe 0.0001 0.0001 0.0002
mkd 0.0355 0.0359 0.0373
mlg 0.0051 0.0037 0.0042
mlt 0.0033 0.0032 0.0030
mon 0.0160 0.0149 0.0142
mri 0.0013 0.0013 0.0012
msa 0.0722 0.0727 0.0748
mya 0.0131 0.0128 0.0136
nau 0.0000 0.0000 0.0000
nep 0.0479 0.0480 0.0457
nld 1.7381 1.7131 1.8132
nno 0.0147 0.0134 0.0137
nor 0.3067 0.3075 0.3132
nso 0.0001 0.0001 0.0001
nya 0.0006 0.0006 0.0006
oci 0.0032 0.0030 0.0031
ori 0.0056 0.0057 0.0057
orm 0.0005 0.0005 0.0006
pan 0.0074 0.0067 0.0071
pol 1.7087 1.6697 1.7159
por 2.1981 2.1612 2.1796
pus 0.0034 0.0033 0.0038
que 0.0006 0.0006 0.0006
roh 0.0009 0.0009 0.0011
ron 0.4985 0.4942 0.5323
run 0.0001 0.0001 0.0001
rus 5.9836 5.8351 6.1113
sag 0.0004 0.0003 0.0003
san 0.0032 0.0029 0.0030
sco 0.0007 0.0007 0.0006
sin 0.0085 0.0083 0.0086
slk 0.3829 0.3697 0.3928
slv 0.1306 0.1274 0.1343
smo 0.0007 0.0007 0.0007
sna 0.0007 0.0007 0.0007
snd 0.0019 0.0018 0.0017
som 0.0049 0.0045 0.0044
sot 0.0006 0.0006 0.0006
spa 4.2069 4.2873 4.3575
sqi 0.0468 0.0455 0.0462
srp 0.2144 0.2116 0.2141
ssw 0.0000 0.0000 0.0000
sun 0.0014 0.0013 0.0014
sux 0.0000 0.0000 0.0000
swa 0.0104 0.0099 0.0105
swe 0.6100 0.6121 0.6267
syr 0.0003 0.0003 0.0002
tam 0.0415 0.0428 0.0426
tat 0.0077 0.0077 0.0074
tel 0.0187 0.0177 0.0167
tgk 0.0068 0.0066 0.0066
tgl 0.0083 0.0081 0.0081
tha 0.3819 0.3682 0.3743
tir 0.0008 0.0007 0.0007
ton 0.0001 0.0001 0.0001
tsn 0.0002 0.0001 0.0001
tso 0.0001 0.0001 0.0001
tuk 0.0027 0.0025 0.0011
tur 1.1173 1.1006 1.1029
uig 0.0012 0.0012 0.0012
ukr 0.6726 0.6469 0.6857
urd 0.0292 0.0290 0.0274
uzb 0.0243 0.0238 0.0237
ven 0.0000 0.0000 0.0000
vie 0.9956 0.9519 1.0326
vol 0.0007 0.0006 0.0006
war 0.0029 0.0025 0.0024
wol 0.0002 0.0001 0.0001
xho 0.0008 0.0009 0.0008
yid 0.0016 0.0017 0.0017
yor 0.0010 0.0011 0.0011
zha 0.0001 0.0001 0.0001
zho 5.3525 5.5983 5.2056
zul 0.0012 0.0014 0.0014