Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2025-05

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2024-46 CC-MAIN-2024-51 CC-MAIN-2025-05
language
<unknown> 3.0185 3.0651 2.6949
aar 0.0001 0.0001 0.0001
abk 0.0005 0.0005 0.0005
afr 0.0097 0.0095 0.0087
aka 0.0001 0.0001 0.0001
amh 0.0028 0.0025 0.0028
ara 0.6825 0.6837 0.6640
asm 0.0026 0.0025 0.0025
aym 0.0001 0.0001 0.0001
aze 0.0632 0.0615 0.0572
bak 0.0028 0.0025 0.0026
bel 0.0159 0.0148 0.0143
ben 0.1157 0.1134 0.1089
bih 0.0005 0.0005 0.0005
bis 0.0001 0.0001 0.0001
bod 0.0014 0.0015 0.0014
bos 0.0517 0.0525 0.0520
bre 0.0022 0.0034 0.0018
bul 0.2913 0.2983 0.2985
cat 0.1998 0.1990 0.1876
ceb 0.0019 0.0018 0.0015
ces 1.0182 0.9955 1.0225
chr 0.0000 0.0000 0.0000
cos 0.0021 0.0019 0.0019
crs 0.0001 0.0001 0.0001
cym 0.0121 0.0110 0.0109
dan 0.4702 0.4437 0.4850
deu 5.3362 5.3963 5.5857
div 0.0023 0.0025 0.0022
dzo 0.0002 0.0002 0.0002
ell 0.5791 0.5779 0.5740
eng 42.9924 42.7983 43.3694
epo 0.0087 0.0071 0.0074
est 0.1332 0.1325 0.1345
eus 0.0360 0.0367 0.0347
fao 0.0045 0.0042 0.0045
fas 0.7387 0.7441 0.7250
fij 0.0001 0.0001 0.0001
fin 0.3459 0.3510 0.3678
fra 4.3541 4.4110 4.5221
fry 0.0020 0.0027 0.0020
gla 0.0013 0.0013 0.0013
gle 0.0065 0.0069 0.0066
glg 0.0325 0.0323 0.0320
glv 0.0004 0.0003 0.0005
got 0.0000 0.0000 0.0000
grn 0.0008 0.0008 0.0007
guj 0.0123 0.0117 0.0120
hat 0.0019 0.0019 0.0018
hau 0.0026 0.0027 0.0026
haw 0.0007 0.0006 0.0006
heb 0.2518 0.2501 0.2701
hin 0.2066 0.1995 0.1951
hmn 0.0006 0.0006 0.0005
hrv 0.2248 0.2210 0.2238
hun 0.5680 0.5171 0.5023
hye 0.0340 0.0335 0.0318
ibo 0.0006 0.0007 0.0006
iku 0.0002 0.0002 0.0002
ile 0.0004 0.0003 0.0004
ina 0.0006 0.0005 0.0006
ind 1.1186 1.1051 1.1676
ipk 0.0001 0.0001 0.0001
isl 0.0400 0.0408 0.0423
ita 2.4952 2.4139 2.4152
jav 0.0021 0.0023 0.0022
jpn 5.1463 5.2819 5.4046
kal 0.0009 0.0008 0.0008
kan 0.0142 0.0133 0.0125
kas 0.0000 0.0000 0.0000
kat 0.0412 0.0399 0.0396
kaz 0.0272 0.0284 0.0272
kha 0.0004 0.0004 0.0004
khm 0.0105 0.0102 0.0104
kin 0.0021 0.0022 0.0019
kir 0.0091 0.0103 0.0097
kor 0.7228 0.7580 0.7183
kur 0.0071 0.0068 0.0063
lao 0.0035 0.0032 0.0033
lat 0.1270 0.1039 0.1195
lav 0.0902 0.0898 0.0888
lif 0.0000 0.0000 0.0000
lin 0.0003 0.0002 0.0003
lit 0.1599 0.1618 0.1659
ltz 0.0039 0.0038 0.0038
lug 0.0002 0.0001 0.0002
mal 0.0269 0.0254 0.0228
mar 0.0274 0.0271 0.0258
mfe 0.0001 0.0002 0.0001
mkd 0.0383 0.0370 0.0361
mlg 0.0029 0.0032 0.0028
mlt 0.0044 0.0034 0.0030
mon 0.0152 0.0155 0.0146
mri 0.0011 0.0012 0.0013
msa 0.0770 0.0771 0.0781
mya 0.0130 0.0128 0.0129
nau 0.0000 0.0000 0.0000
nep 0.0522 0.0521 0.0519
nld 1.8271 1.8093 1.9167
nno 0.0138 0.0164 0.0162
nor 0.3004 0.3023 0.3142
nso 0.0001 0.0001 0.0001
nya 0.0005 0.0005 0.0005
oci 0.0033 0.0039 0.0034
ori 0.0058 0.0061 0.0056
orm 0.0005 0.0004 0.0006
pan 0.0080 0.0075 0.0069
pol 1.8484 1.9072 1.8248
por 2.3292 2.3361 2.3259
pus 0.0032 0.0033 0.0030
que 0.0006 0.0005 0.0006
roh 0.0011 0.0011 0.0010
ron 0.6165 0.6095 0.6189
run 0.0001 0.0001 0.0000
rus 6.2093 6.1830 6.0460
sag 0.0004 0.0003 0.0006
san 0.0033 0.0031 0.0030
sco 0.0007 0.0006 0.0005
sin 0.0088 0.0093 0.0098
slk 0.3708 0.3594 0.3617
slv 0.1625 0.1577 0.1504
smo 0.0006 0.0006 0.0006
sna 0.0006 0.0007 0.0007
snd 0.0015 0.0014 0.0014
som 0.0050 0.0047 0.0046
sot 0.0006 0.0006 0.0006
spa 4.6154 4.5824 4.6417
sqi 0.0496 0.0457 0.0452
srp 0.2211 0.2203 0.2174
ssw 0.0000 0.0000 0.0000
sun 0.0010 0.0010 0.0010
sux 0.0000 0.0000 0.0000
swa 0.0091 0.0083 0.0085
swe 0.6578 0.6438 0.6547
syr 0.0004 0.0003 0.0003
tam 0.0449 0.0437 0.0422
tat 0.0076 0.0084 0.0069
tel 0.0199 0.0201 0.0180
tgk 0.0067 0.0070 0.0063
tgl 0.0088 0.0085 0.0078
tha 0.4228 0.4200 0.4554
tir 0.0007 0.0007 0.0008
ton 0.0001 0.0001 0.0001
tsn 0.0001 0.0001 0.0001
tso 0.0001 0.0001 0.0001
tuk 0.0021 0.0021 0.0017
tur 1.2479 1.2537 1.1750
uig 0.0011 0.0012 0.0010
ukr 0.6097 0.6181 0.6046
urd 0.0300 0.0292 0.0276
uzb 0.0228 0.0221 0.0199
ven 0.0000 0.0000 0.0001
vie 1.0347 1.0133 1.0427
vol 0.0005 0.0004 0.0005
war 0.0020 0.0021 0.0019
wol 0.0001 0.0001 0.0001
xho 0.0021 0.0008 0.0008
yid 0.0015 0.0015 0.0014
yor 0.0009 0.0009 0.0009
zha 0.0001 0.0001 0.0001
zho 5.1252 5.2720 4.6719
zul 0.0025 0.0013 0.0012