Hallo Leute,

nutzt man die Multishop-Fähigkeit von Magento darf man mit allerhand Dingen jonglieren. So auch mit der robots.txt. Meine robots.txt sieht wie folgt aus:

User-agent: *
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /customer/
Disallow: /review/
Disallow: checkout/
Disallow: /admin/
Disallow: /app/
Disallow: /skin/
Disallow: /var/
Disallow: /wishlist/
Sitemap: https://www.blubberladen.de/media/sitemap/blula/sitemap.xml

Da die robots.txt aber im root-Verzeichnis liegt und ich mehrere Shops mit einer Magento Instanz habe, müsste ich eigentlich zwei verschiedene robots.txt für beide Shops haben. Nichts leichter als das.

Mehrere robots.txt mittels .htaccess

Fügt in der .htaccess-Datei im root-Verzeichnis von Magento folgendes bei Zeile 116 ein:

############################################
## enable rewrites

    Options +FollowSymLinks
    RewriteEngine on

###########################################
## different robots.txt for both sites

    # Page1
    RewriteCond %{HTTP_HOST} blubberladen\.de$
    RewriteRule ^robots\.txt$ /robots-blula.txt [L]

    # Page 2
    RewriteCond %{HTTP_HOST} bier-kaufen\.de$
    RewriteRule ^robots\.txt$ /robots-bika.txt [L]

Bei mir sind es blubberladen.de und bier-kaufen.de (das www spielt dabei keine Rolle) die unterschieden werden sollen.  Wenn die robots.txt der entsprechenden Webseite aufgerufen wird, wird diese auf robots-bika.txt bzw. robots-blula.txt umgeleitet.

So einfach kann man mehrere robots.txt in einer Magentoinstallation einstellen.

Update 13.09.2014

Na ich bin ja einer, verbiete den Bots auf /media/ zu gehen und stell dort meine Sitemap zur Verfügung… Ist gefixt.