Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2026-08
tld
ae	0.0010	0.0101	0.0123	0.0099	0.0266	0.0452	0.0735
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.1223
app	NaN	NaN	NaN	NaN	0.0054	0.0991	0.1191
ar	0.0818	0.2379	0.0991	0.0782	0.2121	0.3142	0.3654
at	0.0025	0.3795	0.0632	0.1555	0.4174	0.4888	0.4798
au	0.6008	0.9929	0.4578	0.5642	0.9368	0.2560	0.9030
az	0.0002	0.0060	0.0012	0.0031	0.0392	0.0407	0.0562
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0553
be	0.0024	0.3970	0.0564	0.1546	0.4496	0.6204	0.5383
bg	0.0010	0.0379	0.0078	0.0161	0.1108	0.1412	0.1418
biz	0.5548	0.3744	0.0384	0.0532	0.2749	0.1650	0.1452
blog	NaN	NaN	NaN	NaN	0.0885	0.1750	0.0476
br	0.3366	0.7637	0.2175	0.2957	1.1817	0.3423	1.7611
by	0.0023	0.0352	0.0009	0.0138	0.2154	0.1632	0.2221
ca	0.0141	0.6896	0.4689	0.5205	0.7429	0.9763	0.8644
cat	0.0004	0.0495	0.0103	0.0150	0.0926	0.1412	0.1273
cc	0.0035	0.0956	0.0404	0.1105	0.1023	0.1143	0.1574
ch	0.0033	0.5263	0.1018	0.2150	0.5637	0.6391	0.6611
cl	0.0010	0.0834	0.0660	0.0633	0.1188	0.2032	0.2413
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0668
cn	1.0881	0.4206	0.0157	0.3095	0.8909	0.7128	1.3685
co	0.0165	0.0453	0.0328	0.0638	0.4110	0.4343	0.4288
com	71.2772	55.7703	74.6842	69.1648	46.4803	48.5625	43.1816
cz	0.0065	0.7822	0.0480	0.2278	1.0362	1.1042	1.1200
de	0.0523	4.8416	0.7004	1.5103	4.0354	4.4958	4.4192
dk	0.0033	0.3703	0.0803	0.1524	0.3843	0.4506	0.5107
edu	1.2782	0.6178	3.0890	2.9470	0.6383	1.5055	0.8893
ee	0.0003	0.0481	0.0058	0.0134	0.1142	0.1539	0.1601
es	0.0339	0.6735	0.1764	0.2349	0.8839	1.0310	0.9774
eu	0.0045	0.4587	0.1181	0.1841	0.7725	0.7486	0.7192
fi	0.0009	0.1755	0.0262	0.0514	0.2873	0.3939	0.3580
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0491
fr	0.0197	1.3196	0.2697	0.4409	1.6448	1.9840	1.8963
ge	0.0005	0.0064	0.0069	0.0089	0.0325	0.0380	0.0537
gov	0.3797	0.2691	1.6172	1.5326	0.2409	0.4897	0.4178
gr	0.0014	0.1162	0.0574	0.0765	0.3997	0.5671	0.5414
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1074	0.1179
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1503	0.1717
hu	0.0025	0.3730	0.0466	0.0971	0.4630	0.5870	0.5017
id	0.0006	0.0648	0.0556	0.0675	0.1579	0.2768	0.4386
ie	0.0017	0.1182	0.0746	0.0920	0.1359	0.2019	0.1455
il	0.0136	0.0864	0.0216	0.0395	0.1693	0.0430	0.2293
in	0.0100	0.2149	0.1058	0.1037	0.4124	0.5465	0.6675
info	1.8063	1.3287	0.1827	0.2468	1.4357	0.7172	0.6117
int	0.0000	0.0135	0.0739	0.0816	0.0166	0.0328	0.0201
io	NaN	0.0049	0.0128	0.0189	0.1390	0.2228	0.3103
ir	0.0007	0.0553	0.0141	0.0144	0.3395	0.3407	0.4722
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0586
it	0.0439	1.3304	0.2254	0.4405	1.6558	2.0820	1.8506
jp	0.0518	1.1742	0.1047	0.6074	2.1444	1.5351	2.5983
kr	0.0009	0.0780	0.0451	0.0845	0.3446	0.3293	0.4535
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1160	0.1507
lt	0.0003	0.0999	0.0063	0.0218	0.1428	0.1665	0.1812
lv	0.0013	0.0609	0.0048	0.0140	0.0986	0.1007	0.1040
ma	0.0008	0.0081	0.0009	0.0028	0.0206	0.0330	0.0515
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0549
me	0.0000	0.0586	0.0367	0.0557	0.3157	0.2101	0.1795
mx	0.0786	0.1460	0.0752	0.0897	0.1990	0.1443	0.3123
my	0.0302	0.0464	0.0285	0.0413	0.0788	0.1082	0.1241
net	9.1996	5.4497	3.2460	3.4266	4.3630	3.7155	3.1728
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0894
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0669
nl	0.0073	1.4577	0.1612	0.4425	1.4045	1.8679	1.4645
no	0.0063	0.2375	0.0612	0.0717	0.2696	0.3571	0.3176
nu	0.0001	0.0661	0.0271	0.0208	0.0746	0.0571	0.0518
nz	0.0322	0.2274	0.0710	0.0815	0.2160	0.0693	0.1952
online	NaN	NaN	NaN	0.0013	0.0662	0.1162	0.1306
org	8.1007	6.0298	9.8259	10.5457	5.4636	6.5219	5.6619
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0851
ph	0.0157	0.0316	0.0106	0.0096	0.0388	0.0558	0.0569
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0745
pl	0.1857	1.8376	0.0850	0.2665	1.5362	1.6922	1.9008
pro	0.0000	0.0082	0.0011	0.0019	0.0705	0.0862	0.0881
pt	0.0178	0.1074	0.0414	0.0590	0.2078	0.2815	0.3268
ro	0.0191	0.5854	0.0252	0.0918	0.4787	0.5700	0.5892
rs	0.0002	0.0389	0.0074	0.0186	0.0934	0.1484	0.1848
ru	0.0533	1.7327	0.0891	0.6049	6.1078	4.3320	4.7607
se	0.0019	0.5328	0.1348	0.1918	0.7076	0.6304	0.6580
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0729
shop	NaN	NaN	NaN	0.0000	0.0243	0.1145	0.1500
si	0.0027	0.0568	0.0071	0.0105	0.0895	0.1519	0.1402
sk	0.0010	0.1600	0.0107	0.0502	0.2657	0.3710	0.3942
store	NaN	NaN	NaN	0.0000	0.0090	0.0503	0.0536
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0838	0.0817
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0806	0.1178
tk	0.0000	0.0244	0.0015	0.0021	0.0980	0.0441	0.0026
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0769
tr	0.0623	0.1155	0.0503	0.0769	0.1942	0.0918	0.4087
tv	0.0013	0.2583	0.1454	0.1339	0.2391	0.2082	0.2073
tw	0.0923	0.1091	0.0505	0.0985	0.3120	0.1670	0.4301
ua	0.2189	0.4141	0.0099	0.0538	0.9975	0.3661	0.7465
uk	4.0402	3.5015	1.5930	1.6467	2.5163	0.4002	2.0686
us	0.0046	0.4174	0.3288	0.2699	0.3467	0.2397	0.1609
uy	0.0097	0.0156	0.0025	0.0125	0.0224	0.0330	0.0528
vn	0.0136	0.0797	0.0500	0.0666	0.3595	0.5065	0.5804
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0169
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1504	0.1180
za	0.0126	0.1613	0.0737	0.1455	0.2097	0.0354	0.1983