#una guida x la cunfigurazione del file robots.txt l'ho trovaya qui:
#http://pro.html.it/articoli/id_136/idcat_28/pag_1/pag.html

User-agent: Mediapartners-Google*
Disallow:

# Escludo dall'intero sito Teleport, aggiunto il 21/02/2002
User-agent: Teleport
Disallow: /

# Escludo Googlebot, aggiunto il 09/05/2007
User-agent: Googlebot
#Disallow: /_si/proloco/new
#Disallow: /_si/proloco/html_ita
#Disallow: /_si/proloco/html_en
#Disallow: /_si/proloco_old