Som standard blokkere vi for en del tunge crawler bots, dette er for at reducere belastning af serverne som du ligger på.
I nogle tilfælde har man brug for tilladelse af enkelte blokkeret bots som fx bingbot eller AhrefsBot.
For at åbne op for alle crawler bots, tilføj disse linjer i toppen af .htaccess filen for dit domæne:
<RequireAll>
Require all granted
</RequireAll>Du kan bruge et browser plugin som hedder UserAgent til at teste om ændringen virker.
Google Chrome "User Agent Switcher" kan hentes her:
https://chrome.google.com/webstore/detail/user-agent-switcher-for-c/djflhoibgkdhkhhcedjiklpkjnoahfmg
Mozilla Firefox "User Agent Switcher" kan hentes her:
https://addons.mozilla.org/da/firefox/addon/uaswitcher/
