Całkiem zapomniałem o poinformowaniu na moim blogu o nowym narzędziu “Analizator przekierowania”. Narzędzie to dostępne jest po zalogowaniu się i umożliwia sprawdzenie czy przekierowanie użyte w adresie jest SEO Friendly czy nie jest i czy wogole jest dostępne.
Możliwe jest również przy pomocy tego narzędzia sprawdzenie dostępnosci strony.
Plany.
W planach mam oczywiście stworzenie automatycznego sprawdzania pozycji. Napisanie czegoś takiego to nie jest problem, ale jak sie okazało problemem może być wydajność takiego narzędzia. W SERP przyjąłem, że pozycja będzie określana co 10 stron, tak jak ma to miejsce w wyszukiwarkach. Głębokość wyszukiwania to 100 pozycji. Czyli jeżeli strona znajduje się na dalekich pozycjach, to google zostanie odpytane X razy o to samo. Konkurencja stosuje do tego celu 1 zapytanie ze 100 wynikami. Moje jest dokładniejsze ale rodzi pewien problem.
Otóż podczas testów, które przeprowadziłem około 3 tygodni temu, a które symulowały spore obciążenie silnika określającego pozycję w wyszukiwarce google po około 2 godzinach zostałem zablokowany jako potencjalny robot :). Co gorsza został zablokowany dostęp całej osiedlowej sieci, i każdy kto chciał skorzystać z wyszukiwarki musiał wpisywać kod z obrazka :). Blokada trwała około 4 godzin i na szczęście obyło się bez pisania gdziekolwiek czy zmiany IP. ;)
To utwierdziło mnie w 1. Architektura systemu musi być odporna na coś takiego i właśnie przez ostatnie tygodnie w wolnych chwilach była projektowana tak, aby google nie połapało się, że to robot :)
Jeżeli moje algorytmy będą wystarczające to może uda się podnieść głębokość przeszukiwania do 200 a może i 500. Z tym że głębokość 500 byłaby przeszukiwana po 50 wyników na strone.
Zobaczymy jak to wyjdzie.
Komentarze
DODAJ SWOJĄ OPINIĘ