Plik robots.txt i jego błędy

Wszystko o pozycjonowaniu stron w polskich i zagranicznych wyszukiwarkach, o robotach, katalogach, meta tagach itp. etc. Czyli jak zwiększyć oglądalność swojej strony.
Smakosz
Posty: 5
Rejestracja: 16 sie 2009, 14:59:07
Strona na CBA.pl: http://www.przepisykulinarne.c0.pl
Płeć: Mężczyzna
User Agent: Firefox Windows 1280x1024
Kontakt:

Plik robots.txt i jego błędy

Post autor: Smakosz »

Po zalogowaniu się w Google przeszedłem do Narzędzia dla webmasterów, wybrałem stronę w domenie c0.pl. Następnie Konfiguracja witryny > Dostęp robotów. Robię test pliku robots.txt i otrzymuję wyniki analizy: Plik robots.txt jest nieprawidłowy. Rzekomy tekst z pliku robots.txt to:
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>Brak strony o podanym adresie</title>
<style title="estyle" type="text/css">
<!--
body {
background-image: url(./files/img/background_top.png);
background-repeat: repeat-x;
margin-left: 0px;
margin-top: 0px;
}
a:link {
color: #003399;
}
.style3 {
font-size: x-large;
font-weight: bold;
font-family: Georgia;
}
.style4 {
font-size: 16px;
font-family: Georgia;
}
a:visited {
color: #003399;
}
a:hover {
color: #003399;
}
a:active {
color: #003399;
}
-->
</style></head>

<body>
<div align="center">

<p align="left" style="margin:0"><img src="./files/img/background_top_left_o.png" width="300" height="100" /></p>
<div style="text-align:center;padding:10px;clear:both;background:white;">
<script type="text/javascript"><!--
google_ad_client = "pub-4531929880709916";
google_alternate_ad_url = "http://cba.pl/google_adsense_script.html";
google_ad_width = 728;
google_ad_height = 90;
google_ad_format = "728x90_as";
google_ad_type = "text_image";
google_ad_channel ="4229750202";
google_color_border = "FFFFFF";
google_color_bg = "FFFFFF";
google_color_link = "0000FF";
google_color_url = "666666";
google_color_text = "000000";
//--></script>
<script type="text/javascript" src="http://pagead2.googlesyndication.com/pa ... "></script>
</div>
<p class="style3">Przepraszamy, strona nie została znaleziona.</p>
<p>&nbsp;</p>
<p class="style4">Sprawdź poprawność adresu lub zajrzyj na stronę główną <a href="http://www.cba.pl"><strong>www.cba.pl</strong></a></p>
</div>
<div style="text-align:center;padding:10px;clear:both;background:white;">
<script type="text/javascript"><!--
google_ad_client = "pub-4531929880709916";
google_alternate_ad_url = "http://cba.pl/google_adsense_script.html";
google_ad_width = 728;
google_ad_height = 90;
google_ad_format = "728x90_as";
google_ad_type = "text_image";
google_ad_channel ="4229750202";
google_color_border = "FFFFFF";
google_color_bg = "FFFFFF";
google_color_link = "0000FF";
google_color_url = "666666";
google_color_text = "000000";
//--></script>
<script type="text/javascript" src="http://pagead2.googlesyndication.com/pa ... "></script>
</div>
</body>
</html>
Zawartość mojego pliku umieszczonego w głównym katalogu to:
User-agent: *
Allow: /
Po wpisaniu adresu ... NAZWASTRONY.c0.pl/robots.txt otrzymuję właściwą zawartość pliku tekstowego. W teście jednak Google wskazuje inną zawartość. Dlaczego tek się dzieje? Czy to może mieć związek z problemem przy indeksacji w Google?
Awatar użytkownika
Gromed
Przyjaciel CBA
Posty: 2990
Rejestracja: 18 kwie 2006, 12:18:45
Lokalizacja: Toruń
Płeć: Mężczyzna
User Agent: Firefox Windows 1366x768

Re: Plik robots.txt i jego błędy

Post autor: Gromed »

u mnie poprawnie interpretuje plik robots.txt
sprawdź poprawność dużych i małych liter oraz zobacz czy link w Narzędziach dla webmasterów Google, prowadzi właściwie do robots.txt
Smakosz
Posty: 5
Rejestracja: 16 sie 2009, 14:59:07
Strona na CBA.pl: http://www.przepisykulinarne.c0.pl
Płeć: Mężczyzna
User Agent: Firefox Windows 1280x1024
Kontakt:

Re: Plik robots.txt i jego błędy

Post autor: Smakosz »

Dziękuję za odzew. Tak, link jest poprawny - klikam w niego i otwiera mi plik tekstowy robots. Wcześniej gdy nie było wogóle na serwerze pliku robots.txt, to również odczytywał jego zawartość - tekst podałem w poprzedniej wypowiedzi. Dziwne, nie było tego pliku, a Google widziało jego zawartość!!! Popatrz na screen - 9 sierpnia odczytał plik robots.txt. Jakim cudem jeśli tego pliku nie było wtedy na serwerze? Na innych serwerach gdy nie ma pliku robots.txt pokazuje, ze operacja się nie powiodła (404), a okno z zawartością pliku tekstowego jest puste. Nie rozumiem tego.

Obrazek
Awatar użytkownika
Gromed
Przyjaciel CBA
Posty: 2990
Rejestracja: 18 kwie 2006, 12:18:45
Lokalizacja: Toruń
Płeć: Mężczyzna
User Agent: Firefox Windows 1366x768

Re: Plik robots.txt i jego błędy

Post autor: Gromed »

możliwe, że po prostu odczytał stronę błędu cba.pl

poczekaj, aż ponownie zaindeksuje Ci plik robots.txt, wówczas nie powinno być problemów;
Smakosz
Posty: 5
Rejestracja: 16 sie 2009, 14:59:07
Strona na CBA.pl: http://www.przepisykulinarne.c0.pl
Płeć: Mężczyzna
User Agent: Firefox Windows 1280x1024
Kontakt:

Re: Plik robots.txt i jego błędy

Post autor: Smakosz »

Faktycznie, dopiero przy kolejnej wizycie robot właściwie pobrał zawartość robots.txt. Dzięki.
A tak przy okazji, to nie znalazłem informacji w regulaminie odnośnie tego czy można mieć jedno czy więcej konto hostingowych w CBA. Można mieć dwa niezależne serwisy o różnej tematyce?
Awatar użytkownika
Gromed
Przyjaciel CBA
Posty: 2990
Rejestracja: 18 kwie 2006, 12:18:45
Lokalizacja: Toruń
Płeć: Mężczyzna
User Agent: Firefox Windows 1366x768

Re: Plik robots.txt i jego błędy

Post autor: Gromed »

ODPOWIEDZ