Директива Host. Или как сказать боту, что зеркало это зеркало?!

Вы чего задумали?В связи с тем, что у некоторых сайтов существуют зеркала, т.е. привязанные к основному доменное имя второе, через которое можно зайти на сайт возникает ряд вопросов и проблем. Читать далее Директива Host. Или как сказать боту, что зеркало это зеркало?!

Настраиваем sitemap.xml и robots.txt на WordPress'е

sitemap.xmlРешив привести в порядок sitemap.xml, установил интересный плагин "XML & Google News Sitemaps".

Как ни странно, но плагин оказался очень удобным в работе.

В настройках плагина есть три основных направления: Читать далее Настраиваем sitemap.xml и robots.txt на WordPress'е

Добавляем sitemap.xml на сайт под управлением Joomla

Структура сайтаДля лучшей (и более быстрой) индексации необходимо добавить компонент xmap (joomla.org вам в помощь).

Создаем собственную карту.

xml-карта Читать далее Добавляем sitemap.xml на сайт под управлением Joomla

Запрещаем доступ поисковых ботов MSN Search и Yahoo

MSN Bot создает пиковые нагрузки на сайтеИнтересным фактом является то, что периодически на сайте стали возникать пиковые нагрузки. Проанализировав, что эти нагрузки делает пришел к неутешительным выводам: поисковики Yahoo и MSN так активно в короткий период времени сканируют сайты, что нагрузка на ЦП на хостинге запредельная.

Сначала в .htaccess ограничил доступ по ip. Логика была следующая - эти ip закрою, а другие до меня не доберутся (ну или в лучшем случае в следующем году). Но не тут то было... MSN-боты продолжали долбать (иначе и не скажешь) сайт один за другим. Читать далее Запрещаем доступ поисковых ботов MSN Search и Yahoo

Настраиваем robots.txt под Joomla

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
allow: /images/stories/news/ Читать далее Настраиваем robots.txt под Joomla

Опубликовано Рубрики JoomlaМетки Leave a comment