Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2026-30
tld
ae	0.0010	0.0101	0.0123	0.0099	0.0266	0.0452	0.0777
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.1882
app	NaN	NaN	NaN	NaN	0.0054	0.0991	0.1426
ar	0.0818	0.2379	0.0991	0.0782	0.2121	0.3142	0.3563
at	0.0025	0.3795	0.0632	0.1555	0.4176	0.4889	0.5057
au	0.6008	0.9930	0.4578	0.5643	0.9371	0.2560	0.8480
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0588
be	0.0024	0.3970	0.0564	0.1547	0.4498	0.6205	0.5683
bg	0.0010	0.0379	0.0078	0.0161	0.1108	0.1412	0.1535
biz	0.5548	0.3745	0.0384	0.0532	0.2749	0.1651	0.1322
blog	NaN	NaN	NaN	NaN	0.0886	0.1750	0.0476
br	0.3366	0.7638	0.2175	0.2958	1.1821	0.3423	1.7629
by	0.0023	0.0352	0.0009	0.0138	0.2154	0.1632	0.2430
ca	0.0141	0.6896	0.4689	0.5205	0.7431	0.9763	0.8396
cat	0.0004	0.0495	0.0103	0.0150	0.0926	0.1412	0.1258
cc	0.0035	0.0956	0.0404	0.1105	0.1024	0.1143	0.1539
ch	0.0033	0.5263	0.1018	0.2150	0.5639	0.6392	0.6769
cl	0.0010	0.0834	0.0660	0.0633	0.1189	0.2032	0.2307
click	NaN	NaN	NaN	0.0001	0.0057	0.0200	0.0523
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0654
cn	1.0882	0.4206	0.0157	0.3095	0.8912	0.7129	0.9861
co	0.0165	0.0453	0.0328	0.0638	0.4111	0.4343	0.4607
com	71.2780	55.7748	74.6857	69.1686	46.4959	48.5670	42.8561
cz	0.0065	0.7823	0.0480	0.2278	1.0365	1.1043	1.1659
de	0.0523	4.8420	0.7004	1.5103	4.0368	4.4962	4.5357
dev	NaN	NaN	NaN	NaN	0.0000	0.0189	0.0586
dk	0.0033	0.3703	0.0803	0.1524	0.3844	0.4506	0.5260
edu	1.2782	0.6178	3.0891	2.9471	0.6385	1.5056	0.7839
ee	0.0003	0.0481	0.0058	0.0134	0.1142	0.1539	0.1706
es	0.0339	0.6736	0.1764	0.2350	0.8842	1.0311	0.9218
eu	0.0045	0.4587	0.1181	0.1841	0.7728	0.7487	0.7533
fi	0.0009	0.1756	0.0262	0.0514	0.2874	0.3940	0.3720
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0407
fr	0.0197	1.3197	0.2698	0.4409	1.6453	1.9841	2.0087
ge	0.0005	0.0064	0.0069	0.0089	0.0325	0.0380	0.0519
gov	0.3797	0.2691	1.6172	1.5327	0.2410	0.4898	0.4303
gr	0.0014	0.1162	0.0574	0.0765	0.3998	0.5671	0.5139
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1074	0.1218
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1503	0.1728
hu	0.0025	0.3731	0.0466	0.0971	0.4631	0.5870	0.5074
id	0.0006	0.0648	0.0556	0.0675	0.1580	0.2769	0.4256
ie	0.0017	0.1183	0.0746	0.0920	0.1359	0.2019	0.1418
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0430	0.2215
in	0.0100	0.2149	0.1058	0.1037	0.4125	0.5465	0.6941
info	1.8063	1.3288	0.1827	0.2468	1.4361	0.7173	0.5820
int	0.0000	0.0135	0.0739	0.0816	0.0166	0.0328	0.0163
io	NaN	0.0049	0.0128	0.0189	0.1391	0.2229	0.3605
ir	0.0007	0.0553	0.0141	0.0144	0.3396	0.3407	0.3825
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0504
it	0.0439	1.3306	0.2254	0.4405	1.6564	2.0822	1.9422
jp	0.0518	1.1743	0.1047	0.6075	2.1451	1.5353	2.4403
kr	0.0009	0.0780	0.0451	0.0845	0.3447	0.3293	0.4542
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1160	0.1968
lt	0.0003	0.0999	0.0063	0.0218	0.1428	0.1665	0.1837
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1007	0.1058
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0640
me	0.0000	0.0586	0.0367	0.0557	0.3158	0.2102	0.1865
mx	0.0786	0.1460	0.0752	0.0897	0.1991	0.1443	0.2940
my	0.0302	0.0465	0.0285	0.0413	0.0788	0.1082	0.1258
net	9.1997	5.4502	3.2461	3.4268	4.3645	3.7158	2.9872
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0860
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0597
nl	0.0073	1.4578	0.1612	0.4425	1.4050	1.8681	1.4740
no	0.0063	0.2375	0.0612	0.0717	0.2697	0.3572	0.3309
nu	0.0001	0.0661	0.0271	0.0208	0.0746	0.0571	0.0520
nz	0.0322	0.2274	0.0710	0.0815	0.2161	0.0693	0.2003
online	NaN	NaN	NaN	0.0013	0.0662	0.1162	0.1332
org	8.1008	6.0303	9.8261	10.5462	5.4654	6.5225	5.6599
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0844
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0558	0.0613
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0881
pl	0.1857	1.8377	0.0850	0.2665	1.5367	1.6924	1.8992
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0862	0.0961
pt	0.0178	0.1074	0.0414	0.0590	0.2079	0.2815	0.3048
ro	0.0191	0.5855	0.0252	0.0918	0.4788	0.5700	0.5635
rs	0.0002	0.0389	0.0074	0.0186	0.0935	0.1484	0.1794
ru	0.0533	1.7328	0.0891	0.6050	6.1098	4.3324	5.2105
se	0.0019	0.5328	0.1348	0.1918	0.7078	0.6304	0.6896
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0753
shop	NaN	NaN	NaN	0.0000	0.0243	0.1146	0.1459
si	0.0027	0.0569	0.0071	0.0105	0.0895	0.1519	0.1342
sk	0.0010	0.1600	0.0107	0.0502	0.2658	0.3710	0.3985
store	NaN	NaN	NaN	0.0000	0.0090	0.0503	0.0517
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0838	0.0866
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0806	0.1220
tk	0.0000	0.0244	0.0015	0.0021	0.0980	0.0441	0.0021
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0769
tr	0.0623	0.1155	0.0503	0.0769	0.1942	0.0918	0.4936
tv	0.0013	0.2583	0.1455	0.1339	0.2392	0.2082	0.2011
tw	0.0923	0.1091	0.0505	0.0985	0.3121	0.1670	0.4242
ua	0.2189	0.4141	0.0099	0.0538	0.9978	0.3662	0.8994
uk	4.0403	3.5017	1.5930	1.6468	2.5171	0.4002	2.0139
us	0.0046	0.4174	0.3288	0.2699	0.3468	0.2397	0.1618
uy	0.0097	0.0156	0.0025	0.0125	0.0224	0.0330	0.0544
uz	0.0001	0.0062	0.0001	0.0004	0.0206	0.0257	0.0535
vn	0.0136	0.0797	0.0500	0.0666	0.3596	0.5066	0.5909
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0140
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1504	0.0901
za	0.0126	0.1613	0.0737	0.1455	0.2097	0.0354	0.2147