Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2025-26
tld
ae	0.0010	0.0102	0.0123	0.0099	0.0266	0.0452	0.0726
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.0885
app	NaN	NaN	NaN	NaN	0.0054	0.0991	0.1041
ar	0.0818	0.2380	0.0991	0.0782	0.2122	0.3144	0.3617
at	0.0025	0.3796	0.0632	0.1556	0.4176	0.4892	0.4516
au	0.6008	0.9932	0.4579	0.5644	0.9373	0.2562	1.0669
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0407	0.0568
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0564
be	0.0024	0.3971	0.0564	0.1547	0.4499	0.6209	0.5130
bg	0.0010	0.0379	0.0078	0.0161	0.1109	0.1413	0.1387
biz	0.5549	0.3745	0.0384	0.0532	0.2750	0.1652	0.1490
blog	NaN	NaN	NaN	NaN	0.0886	0.1751	0.0460
br	0.3366	0.7639	0.2175	0.2958	1.1824	0.3426	1.6232
by	0.0023	0.0352	0.0009	0.0138	0.2155	0.1633	0.2007
ca	0.0141	0.6898	0.4690	0.5206	0.7433	0.9770	0.9190
cat	0.0004	0.0495	0.0103	0.0150	0.0927	0.1413	0.1160
cc	0.0035	0.0957	0.0404	0.1105	0.1024	0.1144	0.1603
ch	0.0033	0.5265	0.1018	0.2150	0.5640	0.6396	0.5883
cl	0.0010	0.0834	0.0660	0.0633	0.1189	0.2033	0.2431
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0672
cn	1.0883	0.4207	0.0157	0.3096	0.8914	0.7134	1.0957
co	0.0165	0.0453	0.0328	0.0638	0.4112	0.4346	0.4507
com	71.2851	55.7871	74.6919	69.1813	46.5062	48.5995	44.5669
cz	0.0065	0.7825	0.0480	0.2279	1.0368	1.1051	1.0140
de	0.0523	4.8431	0.7005	1.5106	4.0376	4.4992	4.3205
dk	0.0033	0.3704	0.0803	0.1525	0.3845	0.4509	0.4478
edu	1.2783	0.6180	3.0894	2.9477	0.6386	1.5066	1.0928
ee	0.0003	0.0481	0.0058	0.0134	0.1143	0.1540	0.1558
es	0.0339	0.6737	0.1764	0.2350	0.8844	1.0318	0.9222
eu	0.0045	0.4588	0.1181	0.1842	0.7730	0.7492	0.6926
fi	0.0009	0.1756	0.0262	0.0514	0.2875	0.3942	0.3482
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0593
fr	0.0197	1.3200	0.2698	0.4410	1.6457	1.9855	1.6924
gov	0.3797	0.2691	1.6174	1.5330	0.2410	0.4901	0.4543
gr	0.0014	0.1162	0.0574	0.0765	0.3999	0.5675	0.5514
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1075	0.1263
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1504	0.1908
hu	0.0025	0.3731	0.0466	0.0971	0.4633	0.5874	0.4769
id	0.0006	0.0648	0.0556	0.0675	0.1580	0.2770	0.4528
ie	0.0017	0.1183	0.0746	0.0920	0.1360	0.2020	0.1697
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0431	0.2379
in	0.0100	0.2150	0.1058	0.1037	0.4126	0.5469	0.6777
info	1.8065	1.3291	0.1828	0.2468	1.4365	0.7177	0.6327
int	0.0000	0.0136	0.0739	0.0816	0.0166	0.0328	0.0210
io	NaN	0.0049	0.0128	0.0189	0.1391	0.2230	0.2947
ir	0.0007	0.0553	0.0141	0.0144	0.3396	0.3409	0.2742
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0582
it	0.0439	1.3308	0.2255	0.4406	1.6568	2.0835	1.7863
jp	0.0518	1.1746	0.1047	0.6076	2.1456	1.5363	2.2697
kr	0.0009	0.0781	0.0451	0.0846	0.3448	0.3295	0.4167
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1161	0.1613
link	NaN	NaN	NaN	0.0002	0.0199	0.0280	0.0646
lt	0.0003	0.0999	0.0063	0.0218	0.1429	0.1667	0.1807
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1008	0.1135
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0541
me	0.0000	0.0586	0.0367	0.0557	0.3158	0.2103	0.1857
mx	0.0786	0.1460	0.0752	0.0898	0.1991	0.1444	0.3141
my	0.0302	0.0465	0.0285	0.0414	0.0788	0.1083	0.1275
net	9.2006	5.4514	3.2464	3.4274	4.3655	3.7183	3.4396
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0902
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0657
nl	0.0073	1.4582	0.1612	0.4426	1.4053	1.8694	1.5219
no	0.0063	0.2376	0.0612	0.0717	0.2698	0.3574	0.3231
nu	0.0001	0.0662	0.0271	0.0208	0.0746	0.0572	0.0498
nz	0.0322	0.2275	0.0710	0.0815	0.2161	0.0694	0.2222
online	NaN	NaN	NaN	0.0013	0.0662	0.1163	0.1526
org	8.1016	6.0316	9.8269	10.5482	5.4666	6.5268	5.2138
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0909
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0558	0.0601
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0906
pl	0.1857	1.8381	0.0851	0.2666	1.5371	1.6935	1.7651
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0862	0.1008
pt	0.0178	0.1074	0.0414	0.0590	0.2080	0.2817	0.3069
ro	0.0191	0.5856	0.0252	0.0918	0.4789	0.5704	0.6976
rs	0.0002	0.0389	0.0074	0.0186	0.0935	0.1485	0.1742
ru	0.0533	1.7332	0.0891	0.6051	6.1112	4.3353	4.5063
se	0.0019	0.5329	0.1349	0.1919	0.7080	0.6308	0.6147
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0813
shop	NaN	NaN	NaN	0.0000	0.0243	0.1146	0.2305
si	0.0027	0.0569	0.0071	0.0105	0.0896	0.1520	0.1525
sk	0.0010	0.1601	0.0107	0.0502	0.2658	0.3713	0.3874
store	NaN	NaN	NaN	0.0000	0.0090	0.0504	0.0773
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0839	0.0806
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0807	0.1221
tk	0.0000	0.0244	0.0015	0.0021	0.0981	0.0441	0.0036
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0934
tr	0.0623	0.1156	0.0503	0.0769	0.1943	0.0918	0.3961
tv	0.0013	0.2583	0.1455	0.1339	0.2393	0.2083	0.2169
tw	0.0923	0.1091	0.0505	0.0985	0.3122	0.1672	0.3859
ua	0.2190	0.4142	0.0099	0.0538	0.9981	0.3664	0.7591
uk	4.0407	3.5025	1.5932	1.6471	2.5177	0.4005	2.1889
us	0.0046	0.4175	0.3289	0.2699	0.3469	0.2398	0.1877
vn	0.0136	0.0797	0.0500	0.0667	0.3597	0.5069	0.5721
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0187
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1505	0.1423
za	0.0126	0.1613	0.0737	0.1455	0.2098	0.0354	0.2427