Archief - Q: SEO: robots.txt

Het archief is een bevroren moment uit een vorige versie van dit forum, met andere regels en andere bazen. Deze posts weerspiegelen op geen enkele manier onze huidige ideeën, waarden of wereldbeelden en zijn op sommige plaatsen gecensureerd wegens ontoelaatbaar. Veel zijn in een andere tijdsgeest gemaakt, al dan niet ironisch - zoals in het ironische subforum Off-Topic - en zouden op dit moment niet meer gepost (mogen) worden. Toch bieden we dit archief nog graag aan als informatiedatabank en naslagwerk. Lees er hier meer over of start een gesprek met anderen.
p

passero

Legacy Member
Stel, ik heb volgende inhoud in mijn robots.txt:

Code: 
User-agent: *
Disallow: /

Gaat na verloop van tijd de site volledig vrdwijnen uit google of blijft die bestaan of wat gebeurt er? Nieuwe content zal niet meer geïndexeerd worden maar wat doet google er dan mee? Zal de site dalen aangezien je zogezegd niet meer update of zal google "slim" zijn en merken dat je niett geïndexeerd worden en dus ook braaf uw website verwijderen of wat gebeurt er?

De vraag hierover is omdat een DBA'er (die weinig verstand heeft van het webgebeuren) deze gewoon in de root van een belangrijke site heeft geplaatst. Ik vrees hier dus het ergste voor op termijn...
X

Xavez

Legacy Member
Uiteraard wordt die content verwijderd. Neemt niet weg dat de site opnieuw geïndexeerd kan worden: gewoon claimen via de Webmaster Tools van Google. Sitemapje toevoegen, zorgen dat er linkjes van andere sites naar je site staan en je bent terug vertrokken :).

Ik snap trouwens niet wat het excluden van alle searchbots met SEO te maken heeft? :p.
p

passero

Legacy Member
mja wel... ik snap ook niet goed de bedoeling eigenlijk :)
Ik heb nagevraagd waarom ze dat willen, of het om security reden is of omdat het om SEO gaat. Als het om SEO gaat zijn er wel serieus nie in gelukt... Heb hun eens uitgelegd in mail was SEO is maar nog geen antwoord gekregen ;)
X

Xavez

Legacy Member
Als je bijvoorbeeld bepaalde pagina's liever niet door zoekmachines gevonden wil hebben, zoals lijsten met namen van personen of iets dergelijks. Of als je niet wil dat bepaalde pagina's in de Google Cache te staan komen :).

Nuja...
p

passero

Legacy Member
mja daarom moet je niet uw site volledig uit google laten verdwijnen hé :)
Kdenk niet dat ze daar content mee gaan zijn...

Je moet maar eens kijken naar www.bebat.be/robots.txt Die gebruiken ook een disallow: / voor elke user agent... Probeer maar eens info te zoeken op google over hen... Echt niet handig... Ik vrees dus dat dit voor onze klant hetzelfde zal gebeuren.
Hopelijk passen ze het aan...
k

killgore

Legacy Member
passero zei:
mja daarom moet je niet uw site volledig uit google laten verdwijnen hé :)
Kdenk niet dat ze daar content mee gaan zijn...

Je moet maar eens kijken naar www.bebat.be/robots.txt Die gebruiken ook een disallow: / voor elke user agent... Probeer maar eens info te zoeken op google over hen... Echt niet handig... Ik vrees dus dat dit voor onze klant hetzelfde zal gebeuren.
Hopelijk passen ze het aan...
Klik om te vergroten...

search op bebat vzw levert nochtans direct die site als top result :p (dit dus)
X

Xavez

Legacy Member
Ik snap gewoon het probleem niet? Verwijder die robots.txt toch gewoon? :p. Het is jouw klant toch? Wie heeft die file dan geplaatst? :D
p

passero

Legacy Member
dit is de enige...
Maar stel (zoals wij erop zijn uitgekomen) dat je niet weet dat het bebat vzw noemt maar dat je bijvoorbeeld zoekt op teruggaaf batterijen of dergelijke keywords. Dan krijg je nooit een link naar bebat.be terwijl je eigenlijk dat wel zou willen...
Als ik weet dat het bebat noemt tik ik direct bebat.be in maar als je niet weet hoe het noemt en puur op keywords zoekt... Dat is dus het probleem met die robots.txt als je een disallow: / zet hé. Daarmee dat ik dit niet echt als SEO zie maar eerder als probleem
p

passero

Legacy Member
Xavez zei:
Ik snap gewoon het probleem niet? Verwijder die robots.txt toch gewoon? :p. Het is jouw klant toch? Wie heeft die file dan geplaatst? :D
Klik om te vergroten...

Wel, de DBA is verantwoordelijk voor de configuratie van de server (DB, webserver, firewall) en die heeft dat erop geplaatst. Ik mag dat niet doen en heb ook geen directe toegang tot die servers. Ik heb dit wel aangekaart maar geen reactie op gekregen dus ja...
X

Xavez

Legacy Member
Hay hay... Typisch weer :p. Eentje die zich niet aan zijn jobomschrijving kan houden :x.

Welja, best zsm verwijderen dus, voor het veel schade aanricht... Heb je een idee hoe vaak Google langs komt? :). Dan heb je ook wel een idee van hoeveel speling je hebt ongeveer...
p

passero

Legacy Member
ja wel... ik ben nu nog een volle week in congé dus ik vrees dat het dan al te laat zal zijn...
Nuja, het bedrijf is nie echt gespecialiseerd in het webgebeuren. Ze zijn daar nogal oracle minded en schrijven alles in oracle forms. Voor die bepaalde klant hebben we een front office waarvan de hardware ook door ons beheerd wordt.
De frontoffice die wij schrijven loopt eigenlijk via een https en het publieke gedeelte wordt volledig beheerd door de klant zelf. Dit is gewoon hun website. Wij verzorgen gewoon een webapp die hun leden kunnen gebruiken. Het is logisch dat dit deel niet moet geïndexeerd worden maar aangezien het op een oracle portal draait met een OID moet je inloggen dus zal google dit zowiezo niet indexeren maar dat weten ze daar blijkbaar niet...
Het archief is een bevroren moment uit een vorige versie van dit forum, met andere regels en andere bazen. Deze posts weerspiegelen op geen enkele manier onze huidige ideeën, waarden of wereldbeelden en zijn op sommige plaatsen gecensureerd wegens ontoelaatbaar. Veel zijn in een andere tijdsgeest gemaakt, al dan niet ironisch - zoals in het ironische subforum Off-Topic - en zouden op dit moment niet meer gepost (mogen) worden. Toch bieden we dit archief nog graag aan als informatiedatabank en naslagwerk. Lees er hier meer over of start een gesprek met anderen.
Terug
Bovenaan