signaler

it is the space of our publications about all our events, offers and ideas

Home →  Крысы в продуктовой лавке или новый robots.txt

Оговорки: мы точно понимаем, чем является, а чем не является robots.txt.
Мы точно понимаем, что это не протокол, а инструкции ботам (если Вам больше нравится: роботам) куда нельзя заходить и к чему нельзя прикасаться.
Мы точно понимаем, что эти инструкции не обязательны и могут быть проигнорированы ботами, даже если Вы им прямо скажете: «Пошёл вон, ублюдок».
Мы исходим из того, что эти инструкции являются запрещающими знаками (по аналогии с дорожным движением), за которыми могут располагаться устройства слежения, устройства предотвращения и, наконец, санкции, вплоть до уничтожения отключения (от дорожного движения на конкретном участке) бота-нарушителя.

Исходя из этих оговорок мы пришли к разумению, что сама идеология таких запрещающих знаков должна быть изменена. И должна соответствовать сложившимся реалиям, когда:

Каждый день и час, благо дело в сети множество свободных (к загрузке) движков ботов и грабберов, владельцы сайтов и служб, отбиваются от (постоянно растущей) орды орков, не умеющих и не желающих ничего создавать, только воровать чужое. Все эти любители «поискового» воровства, даже если они декларируют благие намерения, пользуются чужим трудом, слизывая и унося то, что им не принадлежит по умолчанию.

Тем самым нарушается глобальный принцип исключения — разрешать только избранным (если Вы желаете разрешать), всех же остальных исключить из списка в самом начале пути. Почему добропорядочный владелец должен указывать всех, кого он не хочет у себя видеть, если проще дать разрешение (приглашение) только тем, кого он пожелает увидеть?

Почему на добропорядочного владельца содержания, возлагается дополнительная обязанность, каждому вору, копошащемуся в его доме, в его белье, на кухне, указывать на недопустимость такого поведения и воровства в его хозяйстве? И это вместо того, чтобы оставить за собственником возможность увеличивать и приумножать собственный достаток.

Раз уж мы допускаем «праведное» существование целой орды преступников в Сети, размножающейся от нашего попустительства и безнаказанности, так давайте хотя бы дадим владельцу имущества в руки оружие для защиты от них.

Давайте изменим правила инструктирования всех этих нежданных нахлебников и паразитов, дав возможность запретить всем, кто не указан в правилах исключения, заходить в наш сетевой дом, далее калитки robots.txt.

Давайте создадим новые правила robots.txt, благодаря которым, любой, проигнорировавший запрещающий знак «Частная Собственность», становится правонарушителем, которого мы изловим (с помощью средств отслеживания), задержим (с помощью средств блокирования) и отдадим в руки правосудия (если и блокирование не поможет).

Примером таких новых правил могло бы стать такое инструктирование в robots.txt:
User-agent: First-Allowed-Agent
Disallow: /any-prohibiting-instructions

User-agent: Second-Allowed-Agent
Disallow: /any-prohibiting-instructions

User-agent: Third-Allowed-Agent
Disallow: /any-prohibiting-instructions

При котором посещение только тех роботов и действительность только тех инструкций (для них), которые указаны в правилах, являются правомерными. Остальные преступники могут или выйти вон или рискнуть нарушить правила и расстаться со своей свободой (с нашей помощью).

Ведь если мы миримся с поисковым злом (известных поисковых систем, продающих наше содержание своим рекламодателям, в «оплату» приводящих нам не только не целевых посетителей, но и другие боты), как с банковским злом (обязывающим нас платить друг другу только в банке), почему мы должны становиться потерпевшими в случае с остальной толпой студентов-двоечников, решивших попользоваться нашим «сладким»?

Valery Krumeng, Dublin, Ireland
Worldinfocom Company

Add comment

Loading