Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2026-25

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2026-17 CC-MAIN-2026-21 CC-MAIN-2026-25
language
<unknown> 3.1136 3.2437 3.1758
aar 0.0001 0.0001 0.0001
abk 0.0006 0.0005 0.0006
afr 0.0083 0.0078 0.0089
aka 0.0002 0.0002 0.0002
amh 0.0045 0.0042 0.0041
ara 0.6598 0.6526 0.6582
asm 0.0036 0.0027 0.0030
aym 0.0001 0.0001 0.0001
aze 0.0609 0.0612 0.0621
bak 0.0018 0.0033 0.0035
bel 0.0165 0.0159 0.0154
ben 0.1140 0.1076 0.1096
bih 0.0008 0.0007 0.0007
bis 0.0001 0.0002 0.0002
bod 0.0012 0.0014 0.0011
bos 0.0615 0.0614 0.0622
bre 0.0028 0.0016 0.0022
bul 0.2639 0.3301 0.3008
cat 0.2010 0.2058 0.2116
ceb 0.0020 0.0017 0.0022
ces 1.1493 1.1589 1.1714
chr 0.0000 0.0000 0.0000
cos 0.0028 0.0027 0.0029
crs 0.0001 0.0001 0.0001
cym 0.0113 0.0103 0.0101
dan 0.5324 0.5270 0.5347
deu 5.9033 5.9710 5.8913
div 0.0024 0.0023 0.0025
dzo 0.0001 0.0001 0.0001
ell 0.5787 0.5559 0.5153
eng 41.0204 40.8514 40.8168
epo 0.0082 0.0078 0.0068
est 0.1417 0.1428 0.1407
eus 0.0406 0.0380 0.0391
fao 0.0053 0.0053 0.0054
fas 0.2286 0.2893 0.5191
fij 0.0001 0.0001 0.0001
fin 0.3833 0.3877 0.3788
fra 4.7551 4.7469 4.7658
fry 0.0020 0.0023 0.0019
gla 0.0019 0.0019 0.0018
gle 0.0071 0.0072 0.0066
glg 0.0325 0.0325 0.0332
glv 0.0006 0.0007 0.0007
got 0.0000 0.0000 0.0000
grn 0.0008 0.0008 0.0008
guj 0.0129 0.0122 0.0125
hat 0.0022 0.0027 0.0023
hau 0.0036 0.0031 0.0030
haw 0.0007 0.0008 0.0008
heb 0.2608 0.2552 0.2678
hin 0.2259 0.2206 0.2258
hmn 0.0007 0.0007 0.0008
hrv 0.2178 0.2251 0.2211
hun 0.5477 0.5359 0.5319
hye 0.0327 0.0322 0.0308
ibo 0.0012 0.0012 0.0013
iku 0.0005 0.0005 0.0004
ile 0.0003 0.0004 0.0004
ina 0.0007 0.0007 0.0007
ind 1.2181 1.1482 1.1602
ipk 0.0001 0.0001 0.0001
isl 0.0347 0.0359 0.0390
ita 2.3284 2.4701 2.4336
jav 0.0035 0.0027 0.0033
jpn 5.1572 5.4735 5.4849
kal 0.0009 0.0009 0.0009
kan 0.0177 0.0179 0.0181
kas 0.0000 0.0000 0.0000
kat 0.0448 0.0445 0.0462
kaz 0.0355 0.0353 0.0405
kha 0.0003 0.0003 0.0004
khm 0.0106 0.0116 0.0106
kin 0.0028 0.0026 0.0028
kir 0.0113 0.0123 0.0122
kor 0.8230 0.8197 0.8342
kur 0.0068 0.0067 0.0062
lao 0.0058 0.0054 0.0050
lat 0.1172 0.1076 0.1018
lav 0.0921 0.0907 0.0906
lif 0.0000 0.0000 0.0000
lin 0.0003 0.0004 0.0005
lit 0.1753 0.1751 0.1798
ltz 0.0035 0.0041 0.0040
lug 0.0002 0.0003 0.0003
mal 0.0255 0.0256 0.0249
mar 0.0315 0.0300 0.0305
mfe 0.0001 0.0002 0.0002
mkd 0.0410 0.0389 0.0387
mlg 0.0056 0.0046 0.0044
mlt 0.0034 0.0032 0.0032
mon 0.0151 0.0157 0.0163
mri 0.0014 0.0015 0.0017
msa 0.0839 0.0861 0.0894
mya 0.0164 0.0165 0.0154
nau 0.0000 0.0000 0.0000
nep 0.0626 0.0575 0.0632
nld 1.8420 1.8258 1.8427
nno 0.0147 0.0139 0.0137
nor 0.3405 0.3303 0.3332
nso 0.0001 0.0001 0.0001
nya 0.0007 0.0008 0.0008
oci 0.0038 0.0037 0.0038
ori 0.0073 0.0071 0.0074
orm 0.0006 0.0006 0.0007
pan 0.0095 0.0085 0.0088
pol 2.0935 2.0603 2.0313
por 2.5116 2.4810 2.5055
pus 0.0040 0.0041 0.0042
que 0.0010 0.0008 0.0008
roh 0.0018 0.0018 0.0013
ron 0.6064 0.5765 0.5819
run 0.0001 0.0001 0.0001
rus 6.5262 6.4058 6.5756
sag 0.0006 0.0005 0.0005
san 0.0038 0.0030 0.0029
sco 0.0007 0.0007 0.0007
sin 0.0099 0.0094 0.0095
slk 0.4118 0.4013 0.4209
slv 0.1535 0.1511 0.1492
smo 0.0008 0.0008 0.0008
sna 0.0008 0.0009 0.0009
snd 0.0020 0.0018 0.0019
som 0.0058 0.0052 0.0053
sot 0.0007 0.0008 0.0007
spa 4.7324 4.7388 4.6772
sqi 0.0511 0.0497 0.0511
srp 0.2610 0.2649 0.2480
ssw 0.0000 0.0001 0.0000
sun 0.0015 0.0016 0.0013
sux 0.0000 0.0000 0.0000
swa 0.0123 0.0110 0.0105
swe 0.7308 0.7152 0.7336
syr 0.0003 0.0003 0.0003
tam 0.0464 0.0460 0.0489
tat 0.0071 0.0074 0.0079
tel 0.0226 0.0203 0.0206
tgk 0.0067 0.0059 0.0060
tgl 0.0103 0.0104 0.0107
tha 0.3940 0.3901 0.3750
tir 0.0012 0.0008 0.0006
ton 0.0001 0.0001 0.0001
tsn 0.0002 0.0002 0.0002
tso 0.0001 0.0001 0.0001
tuk 0.0036 0.0037 0.0034
tur 1.2985 1.2807 1.2865
uig 0.0022 0.0015 0.0015
ukr 0.8012 0.8066 0.8002
urd 0.0322 0.0315 0.0335
uzb 0.0247 0.0254 0.0274
ven 0.0000 0.0000 0.0000
vie 1.1284 1.0742 1.0335
vol 0.0014 0.0005 0.0013
war 0.0020 0.0016 0.0017
wol 0.0002 0.0002 0.0002
xho 0.0009 0.0009 0.0008
yid 0.0017 0.0015 0.0016
yor 0.0016 0.0015 0.0015
zha 0.0001 0.0001 0.0001
zho 4.8564 4.7259 4.5771
zul 0.0014 0.0013 0.0014