Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2026-39
tld
ae	0.0010	0.0101	0.0123	0.0099	0.0266	0.0452	0.0809
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.2244
app	NaN	NaN	NaN	NaN	0.0054	0.0991	0.1763
ar	0.0818	0.2379	0.0991	0.0782	0.2121	0.3142	0.3807
at	0.0025	0.3795	0.0632	0.1555	0.4176	0.4889	0.4854
au	0.6008	0.9930	0.4578	0.5643	0.9371	0.2560	1.0359
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0529
be	0.0024	0.3970	0.0564	0.1547	0.4498	0.6205	0.5447
bg	0.0010	0.0379	0.0078	0.0161	0.1108	0.1412	0.1674
biz	0.5548	0.3745	0.0384	0.0532	0.2749	0.1651	0.1333
blog	NaN	NaN	NaN	NaN	0.0886	0.1750	0.0426
br	0.3366	0.7638	0.2175	0.2958	1.1821	0.3423	1.7684
by	0.0023	0.0352	0.0009	0.0138	0.2154	0.1632	0.2637
ca	0.0141	0.6896	0.4689	0.5205	0.7431	0.9763	0.8686
cat	0.0004	0.0495	0.0103	0.0150	0.0926	0.1412	0.1229
cc	0.0035	0.0956	0.0404	0.1105	0.1024	0.1143	0.1552
ch	0.0033	0.5263	0.1018	0.2150	0.5639	0.6392	0.6610
cl	0.0010	0.0834	0.0660	0.0633	0.1189	0.2032	0.2383
click	NaN	NaN	NaN	0.0001	0.0057	0.0200	0.0577
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0633
cn	1.0882	0.4206	0.0157	0.3095	0.8912	0.7129	0.9038
co	0.0165	0.0453	0.0328	0.0638	0.4111	0.4343	0.4709
com	71.2780	55.7748	74.6857	69.1686	46.4959	48.5670	43.3242
cz	0.0065	0.7823	0.0480	0.2278	1.0365	1.1043	1.1229
de	0.0523	4.8420	0.7004	1.5103	4.0368	4.4962	4.3396
dev	NaN	NaN	NaN	NaN	0.0000	0.0189	0.0648
dk	0.0033	0.3703	0.0803	0.1524	0.3844	0.4506	0.5268
edu	1.2782	0.6178	3.0891	2.9471	0.6385	1.5056	0.7467
ee	0.0003	0.0481	0.0058	0.0134	0.1142	0.1539	0.1733
es	0.0339	0.6736	0.1764	0.2350	0.8842	1.0311	0.9506
eu	0.0045	0.4587	0.1181	0.1841	0.7728	0.7487	0.7307
fi	0.0009	0.1756	0.0262	0.0514	0.2874	0.3940	0.3596
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0442
fr	0.0197	1.3197	0.2698	0.4409	1.6453	1.9841	1.9477
ge	0.0005	0.0064	0.0069	0.0089	0.0325	0.0380	0.0525
gov	0.3797	0.2691	1.6172	1.5327	0.2410	0.4898	0.4085
gr	0.0014	0.1162	0.0574	0.0765	0.3998	0.5671	0.4809
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1074	0.1178
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1503	0.1595
hu	0.0025	0.3731	0.0466	0.0971	0.4631	0.5870	0.4970
id	0.0006	0.0648	0.0556	0.0675	0.1580	0.2769	0.4214
ie	0.0017	0.1183	0.0746	0.0920	0.1359	0.2019	0.1526
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0430	0.2244
in	0.0100	0.2149	0.1058	0.1037	0.4125	0.5465	0.6561
info	1.8063	1.3288	0.1827	0.2468	1.4361	0.7173	0.5731
int	0.0000	0.0135	0.0739	0.0816	0.0166	0.0328	0.0168
io	NaN	0.0049	0.0128	0.0189	0.1391	0.2229	0.3856
ir	0.0007	0.0553	0.0141	0.0144	0.3396	0.3407	0.3823
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0525
it	0.0439	1.3306	0.2254	0.4405	1.6564	2.0822	1.9133
jp	0.0518	1.1743	0.1047	0.6075	2.1451	1.5353	2.3576
kr	0.0009	0.0780	0.0451	0.0845	0.3447	0.3293	0.4444
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1160	0.1880
lt	0.0003	0.0999	0.0063	0.0218	0.1428	0.1665	0.1803
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1007	0.1037
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0586
me	0.0000	0.0586	0.0367	0.0557	0.3158	0.2102	0.1814
mx	0.0786	0.1460	0.0752	0.0897	0.1991	0.1443	0.2846
my	0.0302	0.0465	0.0285	0.0413	0.0788	0.1082	0.1216
net	9.1997	5.4502	3.2461	3.4268	4.3645	3.7158	2.9236
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0867
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0572
nl	0.0073	1.4578	0.1612	0.4425	1.4050	1.8681	1.4048
no	0.0063	0.2375	0.0612	0.0717	0.2697	0.3572	0.3323
nu	0.0001	0.0661	0.0271	0.0208	0.0746	0.0571	0.0533
nz	0.0322	0.2274	0.0710	0.0815	0.2161	0.0693	0.2026
online	NaN	NaN	NaN	0.0013	0.0662	0.1162	0.1335
org	8.1008	6.0303	9.8261	10.5462	5.4654	6.5225	5.8088
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0894
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0558	0.0549
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0799
pl	0.1857	1.8377	0.0850	0.2665	1.5367	1.6924	1.8791
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0862	0.0976
pt	0.0178	0.1074	0.0414	0.0590	0.2079	0.2815	0.2848
ro	0.0191	0.5855	0.0252	0.0918	0.4788	0.5700	0.5665
rs	0.0002	0.0389	0.0074	0.0186	0.0935	0.1484	0.1930
ru	0.0533	1.7328	0.0891	0.6050	6.1098	4.3324	5.0810
se	0.0019	0.5328	0.1348	0.1918	0.7078	0.6304	0.6808
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0761
shop	NaN	NaN	NaN	0.0000	0.0243	0.1146	0.1431
si	0.0027	0.0569	0.0071	0.0105	0.0895	0.1519	0.1412
sk	0.0010	0.1600	0.0107	0.0502	0.2658	0.3710	0.3868
store	NaN	NaN	NaN	0.0000	0.0090	0.0503	0.0569
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0838	0.0858
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0806	0.1200
tk	0.0000	0.0244	0.0015	0.0021	0.0980	0.0441	0.0017
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0778
tr	0.0623	0.1155	0.0503	0.0769	0.1942	0.0918	0.4466
tv	0.0013	0.2583	0.1455	0.1339	0.2392	0.2082	0.2000
tw	0.0923	0.1091	0.0505	0.0985	0.3121	0.1670	0.4113
ua	0.2189	0.4141	0.0099	0.0538	0.9978	0.3662	0.9120
uk	4.0403	3.5017	1.5930	1.6468	2.5171	0.4002	2.1420
us	0.0046	0.4174	0.3288	0.2699	0.3468	0.2397	0.1664
uy	0.0097	0.0156	0.0025	0.0125	0.0224	0.0330	0.0516
uz	0.0001	0.0062	0.0001	0.0004	0.0206	0.0257	0.0543
vn	0.0136	0.0797	0.0500	0.0666	0.3596	0.5066	0.5393
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0137
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1504	0.1035
za	0.0126	0.1613	0.0737	0.1455	0.2097	0.0354	0.2157