Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2024-46

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2024-38 CC-MAIN-2024-42 CC-MAIN-2024-46
language
<unknown> 2.6706 3.2780 3.0185
aar 0.0001 0.0001 0.0001
abk 0.0005 0.0005 0.0005
afr 0.0084 0.0103 0.0097
aka 0.0001 0.0001 0.0001
amh 0.0028 0.0030 0.0028
ara 0.6568 0.6709 0.6825
asm 0.0023 0.0024 0.0026
aym 0.0001 0.0001 0.0001
aze 0.0661 0.0687 0.0632
bak 0.0028 0.0029 0.0028
bel 0.0159 0.0162 0.0159
ben 0.1075 0.1186 0.1157
bih 0.0007 0.0006 0.0005
bis 0.0001 0.0001 0.0001
bod 0.0011 0.0015 0.0014
bos 0.0484 0.0523 0.0517
bre 0.0019 0.0034 0.0022
bul 0.2941 0.2992 0.2913
cat 0.2003 0.2085 0.1998
ceb 0.0017 0.0020 0.0019
ces 1.1019 1.0630 1.0182
chr 0.0000 0.0000 0.0000
cos 0.0019 0.0020 0.0021
crs 0.0001 0.0001 0.0001
cym 0.0100 0.0117 0.0121
dan 0.4489 0.4640 0.4702
deu 5.4471 5.3038 5.3362
div 0.0021 0.0023 0.0023
dzo 0.0001 0.0001 0.0002
ell 0.5387 0.5728 0.5791
eng 44.1210 43.4241 42.9924
epo 0.0082 0.0084 0.0087
est 0.1374 0.1326 0.1332
eus 0.0333 0.0401 0.0360
fao 0.0045 0.0048 0.0045
fas 0.7190 0.7051 0.7387
fij 0.0001 0.0001 0.0001
fin 0.3538 0.3444 0.3459
fra 4.4292 4.3960 4.3541
fry 0.0020 0.0029 0.0020
gla 0.0013 0.0014 0.0013
gle 0.0070 0.0071 0.0065
glg 0.0344 0.0365 0.0325
glv 0.0004 0.0003 0.0004
got 0.0000 0.0000 0.0000
grn 0.0008 0.0007 0.0008
guj 0.0113 0.0113 0.0123
hat 0.0017 0.0019 0.0019
hau 0.0023 0.0027 0.0026
haw 0.0005 0.0007 0.0007
heb 0.2379 0.2473 0.2518
hin 0.1967 0.2089 0.2066
hmn 0.0005 0.0006 0.0006
hrv 0.2005 0.2149 0.2248
hun 0.5725 0.5649 0.5680
hye 0.0329 0.0340 0.0340
ibo 0.0006 0.0007 0.0006
iku 0.0002 0.0002 0.0002
ile 0.0005 0.0004 0.0004
ina 0.0005 0.0005 0.0006
ind 1.0532 1.1235 1.1186
ipk 0.0001 0.0001 0.0001
isl 0.0390 0.0398 0.0400
ita 2.5224 2.5282 2.4952
jav 0.0020 0.0022 0.0021
jpn 5.1119 5.0419 5.1463
kal 0.0008 0.0009 0.0009
kan 0.0145 0.0142 0.0142
kas 0.0000 0.0000 0.0000
kat 0.0391 0.0422 0.0412
kaz 0.0253 0.0282 0.0272
kha 0.0003 0.0004 0.0004
khm 0.0103 0.0106 0.0105
kin 0.0020 0.0023 0.0021
kir 0.0086 0.0098 0.0091
kor 0.6712 0.7388 0.7228
kur 0.0069 0.0074 0.0071
lao 0.0038 0.0037 0.0035
lat 0.1144 0.1007 0.1270
lav 0.0905 0.0942 0.0902
lif 0.0000 0.0000 0.0000
lin 0.0003 0.0003 0.0003
lit 0.1618 0.1668 0.1599
ltz 0.0037 0.0040 0.0039
lug 0.0002 0.0002 0.0002
mal 0.0244 0.0269 0.0269
mar 0.0241 0.0258 0.0274
mfe 0.0001 0.0001 0.0001
mkd 0.0376 0.0383 0.0383
mlg 0.0031 0.0036 0.0029
mlt 0.0043 0.0049 0.0044
mon 0.0149 0.0161 0.0152
mri 0.0009 0.0012 0.0011
msa 0.0739 0.0787 0.0770
mya 0.0131 0.0140 0.0130
nau 0.0000 0.0000 0.0000
nep 0.0443 0.0493 0.0522
nld 1.9149 1.8145 1.8271
nno 0.0135 0.0130 0.0138
nor 0.3091 0.3060 0.3004
nso 0.0001 0.0001 0.0001
nya 0.0005 0.0006 0.0005
oci 0.0035 0.0034 0.0033
ori 0.0053 0.0057 0.0058
orm 0.0005 0.0005 0.0005
pan 0.0068 0.0079 0.0080
pol 1.8868 1.8065 1.8484
por 2.2141 2.3146 2.3292
pus 0.0032 0.0035 0.0032
que 0.0006 0.0005 0.0006
roh 0.0010 0.0010 0.0011
ron 0.5556 0.5978 0.6165
run 0.0001 0.0001 0.0001
rus 6.1556 6.0444 6.2093
sag 0.0004 0.0004 0.0004
san 0.0030 0.0034 0.0033
sco 0.0006 0.0007 0.0007
sin 0.0085 0.0090 0.0088
slk 0.4168 0.3705 0.3708
slv 0.1556 0.1558 0.1625
smo 0.0006 0.0007 0.0006
sna 0.0006 0.0006 0.0006
snd 0.0016 0.0017 0.0015
som 0.0045 0.0050 0.0050
sot 0.0005 0.0006 0.0006
spa 4.4769 4.5387 4.6154
sqi 0.0479 0.0497 0.0496
srp 0.2245 0.2161 0.2211
ssw 0.0000 0.0000 0.0000
sun 0.0010 0.0010 0.0010
sux 0.0000 0.0000 0.0000
swa 0.0093 0.0096 0.0091
swe 0.6859 0.6649 0.6578
syr 0.0003 0.0003 0.0004
tam 0.0439 0.0473 0.0449
tat 0.0073 0.0087 0.0076
tel 0.0181 0.0220 0.0199
tgk 0.0060 0.0064 0.0067
tgl 0.0090 0.0088 0.0088
tha 0.4139 0.4071 0.4228
tir 0.0008 0.0007 0.0007
ton 0.0001 0.0001 0.0001
tsn 0.0001 0.0001 0.0001
tso 0.0000 0.0001 0.0001
tuk 0.0019 0.0021 0.0021
tur 1.2328 1.2422 1.2479
uig 0.0010 0.0010 0.0011
ukr 0.5629 0.6037 0.6097
urd 0.0298 0.0306 0.0300
uzb 0.0264 0.0293 0.0228
ven 0.0000 0.0000 0.0000
vie 1.0332 1.0454 1.0347
vol 0.0005 0.0005 0.0005
war 0.0019 0.0023 0.0020
wol 0.0001 0.0001 0.0001
xho 0.0018 0.0023 0.0021
yid 0.0015 0.0017 0.0015
yor 0.0008 0.0010 0.0009
zha 0.0001 0.0001 0.0001
zho 4.6266 4.8129 5.1252
zul 0.0021 0.0025 0.0025