7 berichten aan het bekijken - 1 tot 7 (van in totaal 7)
  • Q:
    Bijdrager
    vriesela

    Robots.txt met Google Adsense

    Google Adsense schrijft op zijn website:
    Hoe verleen ik toegang tot uw crawler?
    U kunt uw pagina’s toegankelijk maken voor onze crawler zonder dat andere robots toegang hebben. Hiervoor voegt u boven aan het bestand robots.txt de volgende twee tekstregels toe:
    User-agent: Mediapartners-Google*
    Disallow:

    Vervolgens kun je dit txt-bestand uploaden naar je server.
    Het is me niet helemaal duidelijk waarom dit is. Of blokkeer je daarmee juist robots van andere zoekmachines? Kun je dan niet beter “Mediapartners-Google verwijderen en alleen het sterretje laten staan?
    Of is het sowieso allemaal flauwekul…
    Als je bijvoorbeeld http://www.macosx.nl/robots.txt of http://www.volkskrant.nl/robots.txt aanlikt zie je ook iets dergelijks.

    Bijdrager
    MarcelK

    Dat sterretje staat voor alle zoekrobots. Wil je dus ‘praten’ tegen alle zoekrobots dat vul je het sterretje in. Overigens blokkeer je niet andere zoekrobots door Mediapartners-Google te gebruiken; je ‘praat’ alleen niet tegen hen.

    Bijdrager
    Kyokushinkai

    robots.txt hoef je alleen te gebruiken als je niet wilt dat je website doorzocht wordt. Bovenstaande zorgt er voor dat alleen de Google bot je website doorzoekt, en alle andere zoekmachines dus niet. De robots.txt van MacOSX.nl zorgt er waarschijnlijk voor dat een zoekrobot de beheer en statistieken pagina’s niet doorzoekt.

    Bijdrager
    vriesela

    En wat zou het betekenen wanneer ik alleen deze tekst als robots.txt plaats (ik heb dus Google-ads op mijn website):

    User-agent: Mediapartners-Google*
    Disallow:

    Bijdrager
    Kyokushinkai
    ”vriesela”

    En wat zou het betekenen wanneer ik alleen deze tekst als robots.txt plaats (ik heb dus Google-ads op mijn website):

    User-agent: Mediapartners-Google*
    Disallow:

    Zoals ik je eigen post al staat:
    “U kunt uw pagina’s toegankelijk maken voor onze crawler zonder dat andere robots toegang hebben”.

    Dus andere zoekmachines dan Google slaan je website dan over.

    Bijdrager
    robinb0s.nl
    ”Kyokushinkai”

    robots.txt hoef je alleen te gebruiken als je niet wilt dat je website doorzocht wordt. Bovenstaande zorgt er voor dat alleen de Google bot je website doorzoekt, en alle andere zoekmachines dus niet. De robots.txt van MacOSX.nl zorgt er waarschijnlijk voor dat een zoekrobot de beheer en statistieken pagina’s niet doorzoekt.

    en als je alles wel toelaat, meot je alsnog een robots.txt aanmaken, gewoon een lege file.
    dit voor meerdere redenen, en ook voor je error-log minimaal in grootte te houden

    Bijdrager
    Ward

    Wat kun je dan allemaal ‘zeggen’ tegen de robots?
    Kun je manipuleren?

7 berichten aan het bekijken - 1 tot 7 (van in totaal 7)

Je moet ingelogd zijn om een reactie op dit onderwerp te kunnen geven.