Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2026-43
tld
ae	0.0010	0.0101	0.0123	0.0099	0.0266	0.0452	0.0818
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.2489
app	NaN	NaN	NaN	NaN	0.0054	0.0991	0.1915
ar	0.0818	0.2379	0.0991	0.0782	0.2121	0.3142	0.3617
at	0.0025	0.3795	0.0632	0.1555	0.4175	0.4888	0.4955
au	0.6008	0.9930	0.4578	0.5643	0.9369	0.2560	1.0451
az	0.0002	0.0060	0.0012	0.0031	0.0392	0.0407	0.0523
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0376	0.0543
be	0.0024	0.3970	0.0564	0.1547	0.4497	0.6204	0.5525
bg	0.0010	0.0379	0.0078	0.0161	0.1108	0.1412	0.1337
biz	0.5548	0.3745	0.0384	0.0532	0.2749	0.1650	0.1280
blog	NaN	NaN	NaN	NaN	0.0886	0.1750	0.0441
br	0.3366	0.7638	0.2175	0.2958	1.1819	0.3423	1.7266
by	0.0023	0.0352	0.0009	0.0138	0.2154	0.1632	0.2374
ca	0.0141	0.6896	0.4689	0.5205	0.7430	0.9762	0.8913
cat	0.0004	0.0495	0.0103	0.0150	0.0926	0.1412	0.1307
cc	0.0035	0.0956	0.0404	0.1105	0.1023	0.1143	0.1554
ch	0.0033	0.5263	0.1018	0.2150	0.5638	0.6391	0.6731
cl	0.0010	0.0834	0.0660	0.0633	0.1188	0.2031	0.2301
click	NaN	NaN	NaN	0.0001	0.0057	0.0200	0.0561
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0609
cn	1.0882	0.4206	0.0157	0.3095	0.8911	0.7128	0.9437
co	0.0165	0.0453	0.0328	0.0638	0.4110	0.4343	0.4590
com	71.2778	55.7749	74.6849	69.1667	46.4872	48.5597	43.5967
cz	0.0065	0.7823	0.0480	0.2278	1.0363	1.1042	1.1319
de	0.0523	4.8420	0.7004	1.5103	4.0360	4.4955	4.3775
dev	NaN	NaN	NaN	NaN	0.0000	0.0189	0.0728
dk	0.0033	0.3703	0.0803	0.1524	0.3843	0.4506	0.5180
edu	1.2782	0.6178	3.0891	2.9470	0.6384	1.5054	0.7595
ee	0.0003	0.0481	0.0058	0.0134	0.1142	0.1539	0.1751
es	0.0339	0.6736	0.1764	0.2350	0.8841	1.0310	0.9750
eu	0.0045	0.4587	0.1181	0.1841	0.7726	0.7485	0.7353
fi	0.0009	0.1756	0.0262	0.0514	0.2874	0.3939	0.3600
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0439
fr	0.0197	1.3197	0.2698	0.4409	1.6450	1.9839	1.9664
ge	0.0005	0.0064	0.0069	0.0089	0.0325	0.0380	0.0544
gov	0.3797	0.2691	1.6172	1.5327	0.2409	0.4897	0.3959
gr	0.0014	0.1162	0.0574	0.0765	0.3997	0.5670	0.4829
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1074	0.1189
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1503	0.1637
hu	0.0025	0.3731	0.0466	0.0971	0.4631	0.5869	0.5031
id	0.0006	0.0648	0.0556	0.0675	0.1579	0.2768	0.4120
ie	0.0017	0.1183	0.0746	0.0920	0.1359	0.2019	0.1655
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0430	0.2327
in	0.0100	0.2149	0.1058	0.1037	0.4125	0.5464	0.6548
info	1.8063	1.3288	0.1827	0.2468	1.4359	0.7172	0.5613
int	0.0000	0.0135	0.0739	0.0816	0.0166	0.0328	0.0217
io	NaN	0.0049	0.0128	0.0189	0.1390	0.2228	0.4024
ir	0.0007	0.0553	0.0141	0.0144	0.3395	0.3407	0.3385
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0522
it	0.0439	1.3306	0.2254	0.4405	1.6561	2.0818	2.0070
jp	0.0518	1.1743	0.1047	0.6075	2.1447	1.5350	2.3199
kr	0.0009	0.0780	0.0451	0.0845	0.3447	0.3293	0.4700
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1160	0.1602
lt	0.0003	0.0999	0.0063	0.0218	0.1428	0.1665	0.1835
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1007	0.1075
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0582
me	0.0000	0.0586	0.0367	0.0557	0.3157	0.2101	0.1825
mx	0.0786	0.1460	0.0752	0.0897	0.1990	0.1443	0.2832
my	0.0302	0.0465	0.0285	0.0413	0.0788	0.1082	0.1260
net	9.1996	5.4502	3.2460	3.4267	4.3637	3.7153	2.9005
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0912
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0580
nl	0.0073	1.4578	0.1612	0.4425	1.4047	1.8678	1.4253
no	0.0063	0.2375	0.0612	0.0717	0.2696	0.3571	0.3331
nu	0.0001	0.0661	0.0271	0.0208	0.0746	0.0571	0.0525
nz	0.0322	0.2274	0.0710	0.0815	0.2160	0.0693	0.2052
online	NaN	NaN	NaN	0.0013	0.0662	0.1162	0.1348
org	8.1008	6.0303	9.8260	10.5459	5.4644	6.5215	5.7706
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0860
ph	0.0157	0.0316	0.0106	0.0096	0.0388	0.0558	0.0609
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0738
pl	0.1857	1.8377	0.0850	0.2665	1.5364	1.6921	1.7317
pro	0.0000	0.0082	0.0011	0.0019	0.0705	0.0861	0.0975
pt	0.0178	0.1074	0.0414	0.0590	0.2079	0.2814	0.2914
ro	0.0191	0.5855	0.0252	0.0918	0.4787	0.5700	0.5692
rs	0.0002	0.0389	0.0074	0.0186	0.0934	0.1484	0.1981
ru	0.0533	1.7328	0.0891	0.6049	6.1087	4.3317	4.7815
se	0.0019	0.5328	0.1348	0.1918	0.7077	0.6303	0.6807
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0821
shop	NaN	NaN	NaN	0.0000	0.0243	0.1145	0.1451
si	0.0027	0.0569	0.0071	0.0105	0.0895	0.1519	0.1432
sk	0.0010	0.1600	0.0107	0.0502	0.2657	0.3710	0.3954
store	NaN	NaN	NaN	0.0000	0.0090	0.0503	0.0547
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0838	0.0783
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0806	0.1186
tk	0.0000	0.0244	0.0015	0.0021	0.0980	0.0441	0.0011
top	NaN	NaN	NaN	0.0001	0.0404	0.0695	0.0743
tr	0.0623	0.1155	0.0503	0.0769	0.1942	0.0918	0.3978
tv	0.0013	0.2583	0.1454	0.1339	0.2392	0.2081	0.2035
tw	0.0923	0.1091	0.0505	0.0985	0.3121	0.1670	0.4231
ua	0.2189	0.4141	0.0099	0.0538	0.9976	0.3661	0.8814
uk	4.0403	3.5018	1.5930	1.6468	2.5167	0.4002	2.2312
us	0.0046	0.4174	0.3288	0.2699	0.3467	0.2396	0.1808
uy	0.0097	0.0156	0.0025	0.0125	0.0224	0.0330	0.0518
vn	0.0136	0.0797	0.0500	0.0666	0.3595	0.5065	0.5175
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0132
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1504	0.1222
za	0.0126	0.1613	0.0737	0.1455	0.2097	0.0354	0.2191