#Выбираем паука-индексатора

#User-agent: googlebot

#Всем паукам
User-agent: *

#Запрещаем паукам индексировать файл subscription.htm:
Disallow: subscription.htm

#Директива может содержать и название каталога:
Disallow: /2003/