Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2026-17
tld
ae	0.0010	0.0101	0.0123	0.0099	0.0266	0.0452	0.0743
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.1447
app	NaN	NaN	NaN	NaN	0.0054	0.0991	0.1502
ar	0.0818	0.2379	0.0991	0.0782	0.2121	0.3143	0.3572
at	0.0025	0.3795	0.0632	0.1555	0.4176	0.4889	0.4929
au	0.6008	0.9929	0.4579	0.5643	0.9371	0.2561	0.9060
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0407	0.0562
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0565
be	0.0024	0.3970	0.0564	0.1547	0.4498	0.6205	0.5564
bg	0.0010	0.0379	0.0078	0.0161	0.1108	0.1413	0.1411
biz	0.5548	0.3744	0.0384	0.0532	0.2749	0.1651	0.1356
blog	NaN	NaN	NaN	NaN	0.0886	0.1750	0.0423
br	0.3366	0.7638	0.2175	0.2958	1.1821	0.3424	1.7511
by	0.0023	0.0352	0.0009	0.0138	0.2154	0.1632	0.2193
ca	0.0141	0.6896	0.4689	0.5205	0.7431	0.9764	0.8631
cat	0.0004	0.0495	0.0103	0.0150	0.0926	0.1412	0.1229
cc	0.0035	0.0956	0.0404	0.1105	0.1024	0.1143	0.1727
ch	0.0033	0.5263	0.1018	0.2150	0.5639	0.6393	0.6620
cl	0.0010	0.0834	0.0660	0.0633	0.1189	0.2032	0.2402
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0653
cn	1.0882	0.4206	0.0157	0.3095	0.8912	0.7129	1.1141
co	0.0165	0.0453	0.0328	0.0638	0.4111	0.4344	0.4437
com	71.2776	55.7739	74.6893	69.1709	46.4954	48.5718	43.0835
cz	0.0065	0.7823	0.0480	0.2278	1.0365	1.1044	1.1445
de	0.0523	4.8419	0.7005	1.5104	4.0367	4.4966	4.4824
dev	NaN	NaN	NaN	NaN	0.0000	0.0189	0.0520
dk	0.0033	0.3703	0.0803	0.1524	0.3844	0.4507	0.5416
edu	1.2782	0.6178	3.0893	2.9472	0.6385	1.5058	0.8516
ee	0.0003	0.0481	0.0058	0.0134	0.1142	0.1539	0.1632
es	0.0339	0.6735	0.1764	0.2350	0.8842	1.0312	0.9327
eu	0.0045	0.4587	0.1181	0.1841	0.7728	0.7487	0.7473
fi	0.0009	0.1756	0.0262	0.0514	0.2874	0.3940	0.3680
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0452
fr	0.0197	1.3196	0.2698	0.4410	1.6453	1.9843	1.9828
gov	0.3797	0.2691	1.6173	1.5328	0.2410	0.4898	0.4072
gr	0.0014	0.1162	0.0574	0.0765	0.3998	0.5672	0.5375
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1074	0.1202
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1503	0.1646
hu	0.0025	0.3731	0.0466	0.0971	0.4631	0.5871	0.5229
id	0.0006	0.0648	0.0556	0.0675	0.1580	0.2769	0.4535
ie	0.0017	0.1182	0.0746	0.0920	0.1359	0.2019	0.1462
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0430	0.2268
in	0.0100	0.2149	0.1058	0.1037	0.4125	0.5466	0.6916
info	1.8063	1.3288	0.1828	0.2468	1.4361	0.7173	0.6015
int	0.0000	0.0135	0.0739	0.0816	0.0166	0.0328	0.0188
io	NaN	0.0049	0.0128	0.0189	0.1391	0.2229	0.3323
ir	0.0007	0.0553	0.0141	0.0144	0.3396	0.3407	0.1045
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0523
it	0.0439	1.3305	0.2254	0.4405	1.6564	2.0824	1.7880
jp	0.0518	1.1743	0.1047	0.6075	2.1451	1.5354	2.3647
kr	0.0009	0.0780	0.0451	0.0846	0.3447	0.3294	0.4309
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1160	0.1437
lt	0.0003	0.0999	0.0063	0.0218	0.1428	0.1666	0.1830
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1007	0.1061
ma	0.0008	0.0081	0.0009	0.0028	0.0206	0.0330	0.0516
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0562
me	0.0000	0.0586	0.0367	0.0557	0.3158	0.2102	0.1820
mx	0.0786	0.1460	0.0752	0.0898	0.1991	0.1443	0.2994
my	0.0302	0.0465	0.0285	0.0413	0.0788	0.1082	0.1262
net	9.1996	5.4501	3.2462	3.4269	4.3645	3.7162	3.0569
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0890
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0633
nl	0.0073	1.4578	0.1612	0.4426	1.4049	1.8683	1.5077
no	0.0063	0.2375	0.0612	0.0717	0.2697	0.3572	0.3401
nu	0.0001	0.0661	0.0271	0.0208	0.0746	0.0571	0.0505
nz	0.0322	0.2274	0.0710	0.0815	0.2161	0.0694	0.1989
online	NaN	NaN	NaN	0.0013	0.0662	0.1162	0.1450
org	8.1008	6.0302	9.8266	10.5466	5.4654	6.5231	5.6526
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0892
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0558	0.0591
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0813
pl	0.1857	1.8377	0.0851	0.2665	1.5367	1.6926	1.9501
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0862	0.0949
pt	0.0178	0.1074	0.0414	0.0590	0.2079	0.2815	0.3051
ro	0.0191	0.5855	0.0252	0.0918	0.4788	0.5701	0.6007
rs	0.0002	0.0389	0.0074	0.0186	0.0934	0.1484	0.1941
ru	0.0533	1.7328	0.0891	0.6050	6.1098	4.3328	5.0205
se	0.0019	0.5328	0.1349	0.1918	0.7078	0.6305	0.6869
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0732
shop	NaN	NaN	NaN	0.0000	0.0243	0.1146	0.2094
si	0.0027	0.0568	0.0071	0.0105	0.0895	0.1520	0.1450
sk	0.0010	0.1600	0.0107	0.0502	0.2658	0.3710	0.4073
store	NaN	NaN	NaN	0.0000	0.0090	0.0503	0.0647
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0838	0.0897
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0807	0.1172
tk	0.0000	0.0244	0.0015	0.0021	0.0980	0.0441	0.0024
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0947
tr	0.0623	0.1155	0.0503	0.0769	0.1942	0.0918	0.4316
tv	0.0013	0.2583	0.1455	0.1339	0.2392	0.2082	0.2101
tw	0.0923	0.1091	0.0505	0.0985	0.3121	0.1671	0.4419
ua	0.2189	0.4141	0.0099	0.0538	0.9978	0.3662	0.9063
uk	4.0402	3.5017	1.5931	1.6469	2.5171	0.4003	2.1624
us	0.0046	0.4174	0.3289	0.2699	0.3468	0.2397	0.1713
uy	0.0097	0.0156	0.0025	0.0125	0.0224	0.0330	0.0546
vn	0.0136	0.0797	0.0500	0.0666	0.3596	0.5066	0.6119
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0162
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1504	0.1180
za	0.0126	0.1613	0.0737	0.1455	0.2097	0.0354	0.2119