Próbuje zablokować dostęp do strony robotowi ahrefs i w żaden sposób nie idzie go zablokować.
W HEAD mam tak
Kod: Zaznacz cały
<meta name="Robots" content="nofollow, noindex" />
Kod: Zaznacz cały
User-Agent: AhrefsBot
Disallow: /
Kod: Zaznacz cały
Order Deny,Allow
Deny from AhrefsBot
Allow from all
. Jak jeszcze mogę zablokować robota żeby nie indeksował strony?.Adres IP: 188.165.15.97, Host: (boson065.ahrefs.com)
Co jest nie tak zrobione że pomimo zdeklarowania braku indeksowania strona jest nadal indeksowana przez roboty?.