Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2025-18
tld
ae	0.0010	0.0102	0.0123	0.0099	0.0266	0.0452	0.0671
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.0754
app	NaN	NaN	NaN	NaN	0.0054	0.0992	0.1585
ar	0.0818	0.2380	0.0991	0.0782	0.2122	0.3144	0.3169
at	0.0025	0.3796	0.0632	0.1556	0.4177	0.4892	0.4405
au	0.6008	0.9933	0.4578	0.5643	0.9373	0.2562	1.1919
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0407	0.0557
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0516
be	0.0024	0.3972	0.0564	0.1547	0.4499	0.6209	0.5087
bg	0.0010	0.0379	0.0078	0.0161	0.1109	0.1413	0.1542
biz	0.5548	0.3746	0.0384	0.0532	0.2750	0.1652	0.1438
blog	NaN	NaN	NaN	NaN	0.0886	0.1751	0.0382
br	0.3366	0.7640	0.2175	0.2958	1.1824	0.3426	1.6096
by	0.0023	0.0352	0.0009	0.0138	0.2155	0.1633	0.1866
ca	0.0141	0.6899	0.4689	0.5206	0.7433	0.9770	0.9482
cat	0.0004	0.0495	0.0103	0.0150	0.0927	0.1413	0.1123
cc	0.0035	0.0957	0.0404	0.1105	0.1024	0.1144	0.1407
ch	0.0033	0.5265	0.1018	0.2150	0.5640	0.6397	0.6070
cl	0.0010	0.0834	0.0660	0.0633	0.1189	0.2033	0.2330
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0652
cn	1.0883	0.4207	0.0157	0.3096	0.8914	0.7134	0.9357
co	0.0165	0.0453	0.0328	0.0638	0.4112	0.4346	0.4609
com	71.2851	55.7930	74.6880	69.1775	46.5077	48.6016	44.4007
cz	0.0065	0.7825	0.0480	0.2279	1.0368	1.1051	1.0589
de	0.0523	4.8436	0.7005	1.5105	4.0378	4.4994	4.2180
dk	0.0033	0.3704	0.0803	0.1524	0.3845	0.4509	0.4726
edu	1.2783	0.6180	3.0892	2.9475	0.6387	1.5067	1.1859
ee	0.0003	0.0481	0.0058	0.0134	0.1143	0.1540	0.1528
es	0.0339	0.6738	0.1764	0.2350	0.8845	1.0319	0.9479
eu	0.0045	0.4589	0.1181	0.1841	0.7730	0.7492	0.7003
fi	0.0009	0.1756	0.0262	0.0514	0.2875	0.3942	0.3488
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0643
fr	0.0197	1.3201	0.2698	0.4410	1.6457	1.9856	1.7651
ge	0.0005	0.0064	0.0069	0.0089	0.0326	0.0380	0.0514
gov	0.3797	0.2692	1.6173	1.5329	0.2410	0.4901	0.4308
gr	0.0014	0.1162	0.0574	0.0765	0.3999	0.5675	0.5273
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1075	0.1211
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1504	0.1768
hu	0.0025	0.3732	0.0466	0.0971	0.4633	0.5874	0.4780
id	0.0006	0.0648	0.0556	0.0675	0.1580	0.2771	0.4163
ie	0.0017	0.1183	0.0746	0.0920	0.1360	0.2020	0.1711
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0431	0.2280
in	0.0100	0.2150	0.1058	0.1037	0.4126	0.5469	0.6332
info	1.8065	1.3292	0.1827	0.2468	1.4365	0.7178	0.6125
int	0.0000	0.0136	0.0739	0.0816	0.0166	0.0328	0.0245
io	NaN	0.0049	0.0128	0.0189	0.1391	0.2230	0.3000
ir	0.0007	0.0553	0.0141	0.0144	0.3397	0.3409	0.3673
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0576
it	0.0439	1.3310	0.2254	0.4406	1.6568	2.0836	1.8455
jp	0.0518	1.1747	0.1047	0.6075	2.1457	1.5364	2.2779
kr	0.0009	0.0781	0.0451	0.0846	0.3448	0.3296	0.4190
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1161	0.1402
link	NaN	NaN	NaN	0.0002	0.0199	0.0281	0.0680
lt	0.0003	0.0999	0.0063	0.0218	0.1429	0.1667	0.1751
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1008	0.1052
me	0.0000	0.0586	0.0367	0.0557	0.3159	0.2103	0.1801
mx	0.0786	0.1461	0.0752	0.0898	0.1991	0.1444	0.3101
my	0.0302	0.0465	0.0285	0.0414	0.0788	0.1083	0.1244
net	9.2006	5.4519	3.2462	3.4272	4.3656	3.7185	3.4653
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0823
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0591
nl	0.0073	1.4583	0.1612	0.4426	1.4053	1.8694	1.5058
no	0.0063	0.2376	0.0612	0.0717	0.2698	0.3574	0.3196
nu	0.0001	0.0662	0.0271	0.0208	0.0746	0.0572	0.0525
nz	0.0322	0.2275	0.0710	0.0815	0.2161	0.0694	0.2405
online	NaN	NaN	NaN	0.0013	0.0662	0.1163	0.1490
org	8.1016	6.0322	9.8264	10.5476	5.4668	6.5271	5.6536
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0821
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0558	0.0642
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0863
pl	0.1857	1.8383	0.0851	0.2665	1.5371	1.6936	1.8085
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0862	0.0951
pt	0.0178	0.1075	0.0414	0.0590	0.2080	0.2817	0.3049
ro	0.0191	0.5857	0.0252	0.0918	0.4789	0.5704	0.6420
rs	0.0002	0.0389	0.0074	0.0186	0.0935	0.1485	0.1511
ru	0.0533	1.7334	0.0891	0.6050	6.1114	4.3354	4.3304
se	0.0019	0.5330	0.1349	0.1918	0.7080	0.6309	0.6056
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0832
shop	NaN	NaN	NaN	0.0000	0.0243	0.1146	0.2239
si	0.0027	0.0569	0.0071	0.0105	0.0896	0.1520	0.1507
sk	0.0010	0.1601	0.0107	0.0502	0.2658	0.3713	0.3696
store	NaN	NaN	NaN	0.0000	0.0090	0.0504	0.0881
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0839	0.0740
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0807	0.1310
tk	0.0000	0.0244	0.0015	0.0021	0.0981	0.0441	0.0036
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0871
tr	0.0623	0.1156	0.0503	0.0769	0.1943	0.0918	0.3397
tv	0.0013	0.2584	0.1455	0.1339	0.2393	0.2083	0.2038
tw	0.0923	0.1092	0.0505	0.0985	0.3122	0.1672	0.3748
ua	0.2190	0.4143	0.0099	0.0538	0.9981	0.3664	0.6799
uk	4.0407	3.5029	1.5931	1.6470	2.5178	0.4005	2.3511
us	0.0046	0.4176	0.3288	0.2699	0.3469	0.2398	0.1896
vn	0.0136	0.0797	0.0500	0.0666	0.3597	0.5069	0.5147
ws	0.0006	0.0841	0.0109	0.0081	0.0287	0.0174	0.0183
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1505	0.1249
za	0.0126	0.1613	0.0737	0.1455	0.2098	0.0354	0.2353