Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2025-13
tld
ae	0.0010	0.0102	0.0123	0.0099	0.0266	0.0452	0.0683
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.0740
app	NaN	NaN	NaN	NaN	0.0054	0.0992	0.1408
ar	0.0818	0.2380	0.0991	0.0782	0.2122	0.3144	0.3347
at	0.0025	0.3796	0.0632	0.1556	0.4177	0.4892	0.4275
au	0.6008	0.9933	0.4578	0.5643	0.9373	0.2562	1.2003
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0407	0.0553
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0516
be	0.0024	0.3972	0.0564	0.1547	0.4499	0.6209	0.5165
bg	0.0010	0.0379	0.0078	0.0161	0.1109	0.1413	0.1573
biz	0.5548	0.3746	0.0384	0.0532	0.2750	0.1652	0.1380
blog	NaN	NaN	NaN	NaN	0.0886	0.1751	0.0363
br	0.3366	0.7640	0.2175	0.2958	1.1824	0.3426	1.6369
by	0.0023	0.0352	0.0009	0.0138	0.2155	0.1633	0.1858
ca	0.0141	0.6899	0.4689	0.5206	0.7433	0.9770	0.9548
cat	0.0004	0.0495	0.0103	0.0150	0.0927	0.1413	0.1079
cc	0.0035	0.0957	0.0404	0.1105	0.1024	0.1144	0.1535
ch	0.0033	0.5265	0.1018	0.2150	0.5640	0.6397	0.5994
cl	0.0010	0.0834	0.0660	0.0633	0.1189	0.2033	0.2453
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0616
cn	1.0883	0.4207	0.0157	0.3096	0.8914	0.7134	1.0582
co	0.0165	0.0453	0.0328	0.0638	0.4112	0.4346	0.4613
com	71.2851	55.7930	74.6880	69.1775	46.5077	48.6016	44.7621
cz	0.0065	0.7825	0.0480	0.2279	1.0368	1.1051	1.0595
de	0.0523	4.8436	0.7005	1.5105	4.0378	4.4994	3.8695
dk	0.0033	0.3704	0.0803	0.1524	0.3845	0.4509	0.4577
edu	1.2783	0.6180	3.0892	2.9475	0.6387	1.5067	1.2296
ee	0.0003	0.0481	0.0058	0.0134	0.1143	0.1540	0.1502
es	0.0339	0.6738	0.1764	0.2350	0.8845	1.0319	0.9068
eu	0.0045	0.4589	0.1181	0.1841	0.7730	0.7492	0.6726
fi	0.0009	0.1756	0.0262	0.0514	0.2875	0.3942	0.3475
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0730
fr	0.0197	1.3201	0.2698	0.4410	1.6457	1.9856	1.6826
ge	0.0005	0.0064	0.0069	0.0089	0.0326	0.0380	0.0527
gov	0.3797	0.2692	1.6173	1.5329	0.2410	0.4901	0.4497
gr	0.0014	0.1162	0.0574	0.0765	0.3999	0.5675	0.5586
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1075	0.1221
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1504	0.1744
hu	0.0025	0.3732	0.0466	0.0971	0.4633	0.5874	0.4704
id	0.0006	0.0648	0.0556	0.0675	0.1580	0.2771	0.4371
ie	0.0017	0.1183	0.0746	0.0920	0.1360	0.2020	0.1736
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0431	0.2215
in	0.0100	0.2150	0.1058	0.1037	0.4126	0.5469	0.6729
info	1.8065	1.3292	0.1827	0.2468	1.4365	0.7178	0.6003
int	0.0000	0.0136	0.0739	0.0816	0.0166	0.0328	0.0230
io	NaN	0.0049	0.0128	0.0189	0.1391	0.2230	0.2865
ir	0.0007	0.0553	0.0141	0.0144	0.3397	0.3409	0.3859
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0584
it	0.0439	1.3310	0.2254	0.4406	1.6568	2.0836	1.8668
jp	0.0518	1.1747	0.1047	0.6075	2.1457	1.5364	2.2225
kr	0.0009	0.0781	0.0451	0.0846	0.3448	0.3296	0.4258
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1161	0.1429
link	NaN	NaN	NaN	0.0002	0.0199	0.0281	0.0838
lt	0.0003	0.0999	0.0063	0.0218	0.1429	0.1667	0.1742
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1008	0.1018
me	0.0000	0.0586	0.0367	0.0557	0.3159	0.2103	0.1793
mx	0.0786	0.1461	0.0752	0.0898	0.1991	0.1444	0.3132
my	0.0302	0.0465	0.0285	0.0414	0.0788	0.1083	0.1258
net	9.2006	5.4519	3.2462	3.4272	4.3656	3.7185	3.4501
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0843
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0599
nl	0.0073	1.4583	0.1612	0.4426	1.4053	1.8694	1.5045
no	0.0063	0.2376	0.0612	0.0717	0.2698	0.3574	0.3156
nu	0.0001	0.0662	0.0271	0.0208	0.0746	0.0572	0.0519
nz	0.0322	0.2275	0.0710	0.0815	0.2161	0.0694	0.2443
online	NaN	NaN	NaN	0.0013	0.0662	0.1163	0.1443
org	8.1016	6.0322	9.8264	10.5476	5.4668	6.5271	5.6014
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0823
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0558	0.0622
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0915
pl	0.1857	1.8383	0.0851	0.2665	1.5371	1.6936	1.6275
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0862	0.0971
pt	0.0178	0.1075	0.0414	0.0590	0.2080	0.2817	0.3164
ro	0.0191	0.5857	0.0252	0.0918	0.4789	0.5704	0.6664
rs	0.0002	0.0389	0.0074	0.0186	0.0935	0.1485	0.1507
ru	0.0533	1.7334	0.0891	0.6050	6.1114	4.3354	4.4794
se	0.0019	0.5330	0.1349	0.1918	0.7080	0.6309	0.6056
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0870
shop	NaN	NaN	NaN	0.0000	0.0243	0.1146	0.2340
si	0.0027	0.0569	0.0071	0.0105	0.0896	0.1520	0.1465
sk	0.0010	0.1601	0.0107	0.0502	0.2658	0.3713	0.3691
store	NaN	NaN	NaN	0.0000	0.0090	0.0504	0.0978
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0839	0.0778
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0807	0.1285
tk	0.0000	0.0244	0.0015	0.0021	0.0981	0.0441	0.0037
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0926
tr	0.0623	0.1156	0.0503	0.0769	0.1943	0.0918	0.3447
tv	0.0013	0.2584	0.1455	0.1339	0.2393	0.2083	0.1949
tw	0.0923	0.1092	0.0505	0.0985	0.3122	0.1672	0.3853
ua	0.2190	0.4143	0.0099	0.0538	0.9981	0.3664	0.6977
uk	4.0407	3.5029	1.5931	1.6470	2.5178	0.4005	2.2003
us	0.0046	0.4176	0.3288	0.2699	0.3469	0.2398	0.1860
vn	0.0136	0.0797	0.0500	0.0666	0.3597	0.5069	0.5244
ws	0.0006	0.0841	0.0109	0.0081	0.0287	0.0174	0.0182
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1505	0.1408
za	0.0126	0.1613	0.0737	0.1455	0.2098	0.0354	0.2358