Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2026-25
tld
ae	0.0010	0.0101	0.0123	0.0099	0.0266	0.0452	0.0746
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.1671
app	NaN	NaN	NaN	NaN	0.0054	0.0991	0.1426
ar	0.0818	0.2379	0.0991	0.0782	0.2121	0.3142	0.3573
at	0.0025	0.3795	0.0632	0.1555	0.4175	0.4889	0.4902
au	0.6008	0.9930	0.4578	0.5643	0.9369	0.2560	0.8593
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0407	0.0523
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0596
be	0.0024	0.3970	0.0564	0.1547	0.4497	0.6205	0.5669
bg	0.0010	0.0379	0.0078	0.0161	0.1108	0.1413	0.1625
biz	0.5548	0.3745	0.0384	0.0532	0.2749	0.1651	0.1338
blog	NaN	NaN	NaN	NaN	0.0886	0.1750	0.0489
br	0.3366	0.7638	0.2175	0.2958	1.1820	0.3423	1.7677
by	0.0023	0.0352	0.0009	0.0138	0.2154	0.1632	0.2330
ca	0.0141	0.6896	0.4689	0.5205	0.7430	0.9764	0.8512
cat	0.0004	0.0495	0.0103	0.0150	0.0926	0.1412	0.1296
cc	0.0035	0.0956	0.0404	0.1105	0.1023	0.1143	0.1657
ch	0.0033	0.5263	0.1018	0.2150	0.5638	0.6392	0.6588
cl	0.0010	0.0834	0.0660	0.0633	0.1189	0.2032	0.2339
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0640
cn	1.0882	0.4206	0.0157	0.3095	0.8911	0.7129	1.0081
co	0.0165	0.0453	0.0328	0.0638	0.4111	0.4344	0.4532
com	71.2778	55.7749	74.6849	69.1667	46.4899	48.5694	43.0333
cz	0.0065	0.7823	0.0480	0.2278	1.0364	1.1044	1.1671
de	0.0523	4.8420	0.7004	1.5103	4.0362	4.4964	4.4812
dev	NaN	NaN	NaN	NaN	0.0000	0.0189	0.0552
dk	0.0033	0.3703	0.0803	0.1524	0.3843	0.4506	0.5237
edu	1.2782	0.6178	3.0891	2.9471	0.6384	1.5057	0.8043
ee	0.0003	0.0481	0.0058	0.0134	0.1142	0.1539	0.1656
es	0.0339	0.6736	0.1764	0.2350	0.8841	1.0312	0.9369
eu	0.0045	0.4587	0.1181	0.1841	0.7727	0.7487	0.7621
fi	0.0009	0.1756	0.0262	0.0514	0.2874	0.3940	0.3661
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0408
fr	0.0197	1.3197	0.2698	0.4409	1.6451	1.9842	1.9991
ge	0.0005	0.0064	0.0069	0.0089	0.0325	0.0380	0.0529
gov	0.3797	0.2691	1.6172	1.5327	0.2409	0.4898	0.4227
gr	0.0014	0.1162	0.0574	0.0765	0.3998	0.5671	0.4693
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1074	0.1229
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1503	0.1709
hu	0.0025	0.3731	0.0466	0.0971	0.4631	0.5870	0.5110
id	0.0006	0.0648	0.0556	0.0675	0.1579	0.2769	0.4450
ie	0.0017	0.1183	0.0746	0.0920	0.1359	0.2019	0.1472
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0430	0.2379
in	0.0100	0.2149	0.1058	0.1037	0.4125	0.5466	0.6958
info	1.8063	1.3288	0.1827	0.2468	1.4360	0.7173	0.5967
int	0.0000	0.0135	0.0739	0.0816	0.0166	0.0328	0.0181
io	NaN	0.0049	0.0128	0.0189	0.1390	0.2229	0.3472
ir	0.0007	0.0553	0.0141	0.0144	0.3395	0.3407	0.2976
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0559
it	0.0439	1.3306	0.2254	0.4405	1.6562	2.0823	1.9041
jp	0.0518	1.1743	0.1047	0.6075	2.1449	1.5353	2.5079
kr	0.0009	0.0780	0.0451	0.0845	0.3447	0.3293	0.4438
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1160	0.1595
lt	0.0003	0.0999	0.0063	0.0218	0.1428	0.1666	0.1908
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1007	0.1060
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0607
me	0.0000	0.0586	0.0367	0.0557	0.3157	0.2102	0.1847
mx	0.0786	0.1460	0.0752	0.0897	0.1991	0.1443	0.3032
my	0.0302	0.0465	0.0285	0.0413	0.0788	0.1082	0.1305
net	9.1996	5.4502	3.2460	3.4267	4.3639	3.7160	3.0634
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0895
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0585
nl	0.0073	1.4578	0.1612	0.4425	1.4048	1.8682	1.5062
no	0.0063	0.2375	0.0612	0.0717	0.2697	0.3572	0.3294
nu	0.0001	0.0661	0.0271	0.0208	0.0746	0.0571	0.0524
nz	0.0322	0.2274	0.0710	0.0815	0.2161	0.0693	0.1993
online	NaN	NaN	NaN	0.0013	0.0662	0.1162	0.1364
org	8.1008	6.0303	9.8260	10.5459	5.4647	6.5228	5.6307
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0822
ph	0.0157	0.0316	0.0106	0.0096	0.0388	0.0558	0.0584
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0780
pl	0.1857	1.8377	0.0850	0.2665	1.5365	1.6925	1.8956
pro	0.0000	0.0082	0.0011	0.0019	0.0705	0.0862	0.0926
pt	0.0178	0.1074	0.0414	0.0590	0.2079	0.2815	0.2990
ro	0.0191	0.5855	0.0252	0.0918	0.4788	0.5701	0.5798
rs	0.0002	0.0389	0.0074	0.0186	0.0934	0.1484	0.1829
ru	0.0533	1.7328	0.0891	0.6049	6.1090	4.3326	5.0487
se	0.0019	0.5328	0.1348	0.1918	0.7077	0.6304	0.6925
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0738
shop	NaN	NaN	NaN	0.0000	0.0243	0.1146	0.1484
si	0.0027	0.0569	0.0071	0.0105	0.0895	0.1519	0.1416
sk	0.0010	0.1600	0.0107	0.0502	0.2657	0.3710	0.4160
store	NaN	NaN	NaN	0.0000	0.0090	0.0503	0.0585
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0838	0.0836
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0807	0.1111
tk	0.0000	0.0244	0.0015	0.0021	0.0980	0.0441	0.0020
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0888
tr	0.0623	0.1155	0.0503	0.0769	0.1942	0.0918	0.4332
tv	0.0013	0.2583	0.1454	0.1339	0.2392	0.2082	0.2062
tw	0.0923	0.1091	0.0505	0.0985	0.3121	0.1670	0.4259
ua	0.2189	0.4141	0.0099	0.0538	0.9977	0.3662	0.9046
uk	4.0403	3.5018	1.5930	1.6468	2.5168	0.4002	2.1098
us	0.0046	0.4174	0.3288	0.2699	0.3468	0.2397	0.1679
uy	0.0097	0.0156	0.0025	0.0125	0.0224	0.0330	0.0546
vn	0.0136	0.0797	0.0500	0.0666	0.3595	0.5066	0.5662
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0139
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1504	0.0974
za	0.0126	0.1613	0.0737	0.1455	0.2097	0.0354	0.2228