Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2025-51
tld
ae	0.0010	0.0101	0.0123	0.0099	0.0266	0.0452	0.0683
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.1089
app	NaN	NaN	NaN	NaN	0.0054	0.0991	0.0990
ar	0.0818	0.2379	0.0991	0.0782	0.2121	0.3143	0.3793
at	0.0025	0.3795	0.0632	0.1555	0.4175	0.4890	0.4800
au	0.6008	0.9930	0.4578	0.5643	0.9369	0.2561	0.9183
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0407	0.0561
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0548
be	0.0024	0.3970	0.0564	0.1547	0.4497	0.6206	0.5293
bg	0.0010	0.0379	0.0078	0.0161	0.1108	0.1413	0.1392
biz	0.5548	0.3745	0.0384	0.0532	0.2749	0.1651	0.1392
blog	NaN	NaN	NaN	NaN	0.0886	0.1750	0.0472
br	0.3366	0.7638	0.2175	0.2958	1.1820	0.3424	1.7172
by	0.0023	0.0352	0.0009	0.0138	0.2154	0.1633	0.2258
ca	0.0141	0.6896	0.4689	0.5205	0.7430	0.9766	0.8337
cat	0.0004	0.0495	0.0103	0.0150	0.0926	0.1413	0.1159
cc	0.0035	0.0956	0.0404	0.1105	0.1023	0.1143	0.1632
ch	0.0033	0.5263	0.1018	0.2150	0.5638	0.6394	0.6578
cl	0.0010	0.0834	0.0660	0.0633	0.1189	0.2032	0.2443
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0665
cn	1.0882	0.4206	0.0157	0.3095	0.8911	0.7130	1.7967
co	0.0165	0.0453	0.0328	0.0638	0.4111	0.4344	0.4611
com	71.2778	55.7749	74.6849	69.1667	46.4899	48.5786	43.0430
cz	0.0065	0.7823	0.0480	0.2278	1.0364	1.1046	1.1087
de	0.0523	4.8420	0.7004	1.5103	4.0362	4.4973	4.3618
dk	0.0033	0.3703	0.0803	0.1524	0.3843	0.4507	0.5090
edu	1.2782	0.6178	3.0891	2.9471	0.6384	1.5060	0.9335
ee	0.0003	0.0481	0.0058	0.0134	0.1142	0.1539	0.1593
es	0.0339	0.6736	0.1764	0.2350	0.8841	1.0314	0.9205
eu	0.0045	0.4587	0.1181	0.1841	0.7727	0.7488	0.6986
fi	0.0009	0.1756	0.0262	0.0514	0.2874	0.3941	0.3448
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0625
fr	0.0197	1.3197	0.2698	0.4409	1.6451	1.9846	1.8804
ge	0.0005	0.0064	0.0069	0.0089	0.0325	0.0380	0.0524
gov	0.3797	0.2691	1.6172	1.5327	0.2409	0.4899	0.4369
gr	0.0014	0.1162	0.0574	0.0765	0.3998	0.5673	0.5389
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1074	0.1167
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1503	0.1747
hu	0.0025	0.3731	0.0466	0.0971	0.4631	0.5872	0.5006
id	0.0006	0.0648	0.0556	0.0675	0.1579	0.2769	0.4380
ie	0.0017	0.1183	0.0746	0.0920	0.1359	0.2019	0.1458
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0430	0.2318
in	0.0100	0.2149	0.1058	0.1037	0.4125	0.5467	0.6771
info	1.8063	1.3288	0.1827	0.2468	1.4360	0.7174	0.6463
int	0.0000	0.0135	0.0739	0.0816	0.0166	0.0328	0.0206
io	NaN	0.0049	0.0128	0.0189	0.1390	0.2229	0.3075
ir	0.0007	0.0553	0.0141	0.0144	0.3395	0.3408	0.4774
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0580
it	0.0439	1.3306	0.2254	0.4405	1.6562	2.0826	1.8224
jp	0.0518	1.1743	0.1047	0.6075	2.1449	1.5356	2.5059
kr	0.0009	0.0780	0.0451	0.0845	0.3447	0.3294	0.4355
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1160	0.1602
lt	0.0003	0.0999	0.0063	0.0218	0.1428	0.1666	0.1802
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1007	0.1095
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0554
me	0.0000	0.0586	0.0367	0.0557	0.3157	0.2102	0.1796
mx	0.0786	0.1460	0.0752	0.0897	0.1991	0.1443	0.2965
my	0.0302	0.0465	0.0285	0.0413	0.0788	0.1082	0.1276
net	9.1996	5.4502	3.2460	3.4267	4.3639	3.7167	3.2349
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0868
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0632
nl	0.0073	1.4578	0.1612	0.4425	1.4048	1.8686	1.4486
no	0.0063	0.2375	0.0612	0.0717	0.2697	0.3573	0.3191
nu	0.0001	0.0661	0.0271	0.0208	0.0746	0.0571	0.0489
nz	0.0322	0.2274	0.0710	0.0815	0.2161	0.0694	0.1941
online	NaN	NaN	NaN	0.0013	0.0662	0.1162	0.1341
org	8.1008	6.0303	9.8260	10.5459	5.4647	6.5240	5.3135
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0920
ph	0.0157	0.0316	0.0106	0.0096	0.0388	0.0558	0.0540
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0817
pl	0.1857	1.8377	0.0850	0.2665	1.5365	1.6928	1.9006
pro	0.0000	0.0082	0.0011	0.0019	0.0705	0.0862	0.0951
pt	0.0178	0.1074	0.0414	0.0590	0.2079	0.2816	0.3226
ro	0.0191	0.5855	0.0252	0.0918	0.4788	0.5702	0.5968
rs	0.0002	0.0389	0.0074	0.0186	0.0934	0.1485	0.1893
ru	0.0533	1.7328	0.0891	0.6049	6.1090	4.3334	4.9032
se	0.0019	0.5328	0.1348	0.1918	0.7077	0.6306	0.6493
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0708
shop	NaN	NaN	NaN	0.0000	0.0243	0.1146	0.1491
si	0.0027	0.0569	0.0071	0.0105	0.0895	0.1520	0.1344
sk	0.0010	0.1600	0.0107	0.0502	0.2657	0.3711	0.4001
store	NaN	NaN	NaN	0.0000	0.0090	0.0503	0.0599
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0839	0.0879
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0807	0.1225
tk	0.0000	0.0244	0.0015	0.0021	0.0980	0.0441	0.0028
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0813
tr	0.0623	0.1155	0.0503	0.0769	0.1942	0.0918	0.3964
tv	0.0013	0.2583	0.1454	0.1339	0.2392	0.2082	0.2068
tw	0.0923	0.1091	0.0505	0.0985	0.3121	0.1671	0.4309
ua	0.2189	0.4141	0.0099	0.0538	0.9977	0.3663	0.8561
uk	4.0403	3.5018	1.5930	1.6468	2.5168	0.4003	2.0766
us	0.0046	0.4174	0.3288	0.2699	0.3468	0.2397	0.1661
uy	0.0097	0.0156	0.0025	0.0125	0.0224	0.0330	0.0526
vn	0.0136	0.0797	0.0500	0.0666	0.3595	0.5067	0.5832
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0163
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1504	0.1250
za	0.0126	0.1613	0.0737	0.1455	0.2097	0.0354	0.2340