Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2026-17

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2026-08 CC-MAIN-2026-12 CC-MAIN-2026-17
language
<unknown> 3.1475 3.0996 3.1136
aar 0.0001 0.0001 0.0001
abk 0.0007 0.0006 0.0006
afr 0.0073 0.0091 0.0083
aka 0.0003 0.0002 0.0002
amh 0.0040 0.0039 0.0045
ara 0.6367 0.6522 0.6598
asm 0.0029 0.0038 0.0036
aym 0.0001 0.0001 0.0001
aze 0.0568 0.0605 0.0609
bak 0.0035 0.0046 0.0018
bel 0.0158 0.0180 0.0165
ben 0.1038 0.1097 0.1140
bih 0.0007 0.0009 0.0008
bis 0.0002 0.0001 0.0001
bod 0.0013 0.0015 0.0012
bos 0.0543 0.0617 0.0615
bre 0.0032 0.0021 0.0028
bul 0.2639 0.2711 0.2639
cat 0.2073 0.2088 0.2010
ceb 0.0022 0.0021 0.0020
ces 1.1228 1.1453 1.1493
chr 0.0000 0.0000 0.0000
cos 0.0028 0.0027 0.0028
crs 0.0001 0.0001 0.0001
cym 0.0104 0.0108 0.0113
dan 0.4901 0.5249 0.5324
deu 5.7651 5.9818 5.9033
div 0.0023 0.0023 0.0024
dzo 0.0001 0.0001 0.0001
ell 0.5054 0.5494 0.5787
eng 42.6029 41.0588 41.0204
epo 0.0107 0.0104 0.0082
est 0.1371 0.1444 0.1417
eus 0.0416 0.0393 0.0406
fao 0.0048 0.0054 0.0053
fas 0.8777 0.1982 0.2286
fij 0.0001 0.0001 0.0001
fin 0.3425 0.3705 0.3833
fra 4.4567 4.6052 4.7551
fry 0.0027 0.0026 0.0020
gla 0.0019 0.0018 0.0019
gle 0.0065 0.0069 0.0071
glg 0.0358 0.0325 0.0325
glv 0.0006 0.0005 0.0006
got 0.0000 0.0000 0.0000
grn 0.0009 0.0007 0.0008
guj 0.0115 0.0126 0.0129
hat 0.0028 0.0025 0.0022
hau 0.0033 0.0040 0.0036
haw 0.0008 0.0007 0.0007
heb 0.2303 0.2369 0.2608
hin 0.2106 0.2175 0.2259
hmn 0.0007 0.0007 0.0007
hrv 0.1937 0.2144 0.2178
hun 0.4952 0.5299 0.5477
hye 0.0323 0.0344 0.0327
ibo 0.0013 0.0011 0.0012
iku 0.0003 0.0004 0.0005
ile 0.0004 0.0004 0.0003
ina 0.0007 0.0006 0.0007
ind 1.0059 1.0993 1.2181
ipk 0.0001 0.0001 0.0001
isl 0.0395 0.0383 0.0347
ita 2.2823 2.3823 2.3284
jav 0.0030 0.0036 0.0035
jpn 5.6591 5.7207 5.1572
kal 0.0011 0.0011 0.0009
kan 0.0193 0.0179 0.0177
kas 0.0000 0.0000 0.0000
kat 0.0429 0.0460 0.0448
kaz 0.0387 0.0380 0.0355
kha 0.0003 0.0003 0.0003
khm 0.0095 0.0094 0.0106
kin 0.0022 0.0028 0.0028
kir 0.0113 0.0127 0.0113
kor 0.8145 0.8378 0.8230
kur 0.0066 0.0065 0.0068
lao 0.0042 0.0042 0.0058
lat 0.1018 0.1016 0.1172
lav 0.0855 0.0918 0.0921
lif 0.0000 0.0000 0.0000
lin 0.0004 0.0004 0.0003
lit 0.1693 0.1757 0.1753
ltz 0.0034 0.0040 0.0035
lug 0.0003 0.0002 0.0002
mal 0.0275 0.0276 0.0255
mar 0.0314 0.0314 0.0315
mfe 0.0002 0.0002 0.0001
mkd 0.0342 0.0397 0.0410
mlg 0.0056 0.0053 0.0056
mlt 0.0029 0.0031 0.0034
mon 0.0154 0.0161 0.0151
mri 0.0012 0.0012 0.0014
msa 0.0787 0.0824 0.0839
mya 0.0178 0.0168 0.0164
nau 0.0000 0.0000 0.0000
nep 0.0533 0.0529 0.0626
nld 1.6783 1.8094 1.8420
nno 0.0139 0.0146 0.0147
nor 0.3060 0.3370 0.3405
nso 0.0001 0.0001 0.0001
nya 0.0007 0.0007 0.0007
oci 0.0036 0.0040 0.0038
ori 0.0071 0.0071 0.0073
orm 0.0009 0.0006 0.0006
pan 0.0076 0.0091 0.0095
pol 1.9012 2.0425 2.0935
por 2.4098 2.5268 2.5116
pus 0.0044 0.0042 0.0040
que 0.0011 0.0008 0.0010
roh 0.0014 0.0017 0.0018
ron 0.4662 0.5622 0.6064
run 0.0001 0.0001 0.0001
rus 6.1577 6.4899 6.5262
sag 0.0016 0.0007 0.0006
san 0.0052 0.0037 0.0038
sco 0.0007 0.0007 0.0007
sin 0.0099 0.0095 0.0099
slk 0.3924 0.4072 0.4118
slv 0.1229 0.1450 0.1535
smo 0.0007 0.0008 0.0008
sna 0.0008 0.0009 0.0008
snd 0.0024 0.0017 0.0020
som 0.0051 0.0056 0.0058
sot 0.0006 0.0006 0.0007
spa 4.4682 4.6581 4.7324
sqi 0.0499 0.0525 0.0511
srp 0.2306 0.2658 0.2610
ssw 0.0000 0.0000 0.0000
sun 0.0019 0.0017 0.0015
sux 0.0000 0.0000 0.0000
swa 0.0126 0.0140 0.0123
swe 0.6517 0.7275 0.7308
syr 0.0003 0.0003 0.0003
tam 0.0468 0.0487 0.0464
tat 0.0082 0.0089 0.0071
tel 0.0215 0.0250 0.0226
tgk 0.0064 0.0070 0.0067
tgl 0.0098 0.0097 0.0103
tha 0.3740 0.3727 0.3940
tir 0.0007 0.0006 0.0012
ton 0.0001 0.0001 0.0001
tsn 0.0003 0.0001 0.0002
tso 0.0001 0.0001 0.0001
tuk 0.0039 0.0041 0.0036
tur 1.1616 1.2224 1.2985
uig 0.0018 0.0017 0.0022
ukr 0.6678 0.7152 0.8012
urd 0.0321 0.0314 0.0322
uzb 0.0254 0.0258 0.0247
ven 0.0000 0.0000 0.0000
vie 1.0294 1.0914 1.1284
vol 0.0008 0.0015 0.0014
war 0.0019 0.0022 0.0020
wol 0.0003 0.0002 0.0002
xho 0.0009 0.0009 0.0009
yid 0.0022 0.0019 0.0017
yor 0.0015 0.0017 0.0016
zha 0.0001 0.0001 0.0001
zho 4.9960 4.9855 4.8564
zul 0.0012 0.0012 0.0014