Оптимизация сайта для индексации

Joomlasite.net, о чем он, и самое главное - для чего он нужен?

По стилистике это блог, на котором создана и опубликована целая плеяда статей на тематику создания сайта на движке CMS Joomla от A до Я...

Вы можете не только знакомиться с ними, но и прокомментировать тот или другой материал. Или же по желанию, поделиться в социальных сетях.

Таких сайтов на подобную тему в сети немало, но я хочу показать в популярной и доходчивой форме свою методику помощи всем желающим.

Поделиться знаниями и опытом возникновения и создания этого ресурса.

И надеюсь, что найдутся люди, которым пригодится информация, чтобы без осложнений и трудностей создать свой сайт на Joomla, воспользовавшимся моими услугами.

Проект создавался на локальном сервере Open Server и затем был размещен на украинском хостинге CITYHost - одном из лучших в Украине.

Мой отзыв об этом хостинге вы можете прочесть на ресурсах - Google, Facebook, Hostings.info.

Остановлюсь на некоторых моментах настройки сайта после установления CMS Joomla:

В материале Общие настройки Панели управления уже рассказывалось о первоначальных настройках. Но еще нужно изменить некоторые настройки по умолчанию.

Открываем в ПУ раздел → Общие настройки и во вкладке Сайт изменим некоторые параметры SEO - (Рис. 1).

После изменения настроек нажимаем → Сохранить и закрыть.

Дальше в корневой папке проекта изменим расширения двух файлов: htaccess.txt на .htaccess, и web.config.txt на web.config.

И еще здесь добавим файл robots.txt, по содержанию - копия и аналог системного файла robots.txt.dist.

Для индексации сайта, без добавленного файла не работает поисковая система Яндекс?..

Google такого требования не выдвигает....

Актуальная тема - немного о SEO

Одним из оптимизаторов SEO является правильная индексация сайта поисковыми системами. И поисковики выдвигают в основном несколько объемных блоков замечаний:

Ошибки выявленные при индексации сайта поисковыми системами

Во-первых: сайт перед выставлением на хостинг не был закрыт от общего доступа. Это грубейшая ошибка, в результате которой - с индексацией получился целый каламбур...

На сайте была проведена значительная оптимизация в менеджере материалов, категориях, меню и поисковики все фиксировали.

Оказалось много страниц дублей, страниц - не найдено (404).

Эти замечания Поиска разберем подробнее:

Дубликаты страниц

Если на сайте несколько URL, которые ведут на одну и ту же страницу - такие страницы не индексируются.

Откуда на сайте появились дубли?,- это оптимизация: категорий материалов, различных меню, а также сама система Joomla создает копии страниц с адресами: подобно - /blog?view=article&id=... и др.

Не найдено(404)

Таких страниц оказалось тоже немало. Причина - менялись названия контента, редактирование категорий, меню, их алиасы... Чтобы их не было в индексе - надо запретить в robots.txt.

Пришлось много поработать над этими ошибками, чтобы исправить ситуацию.

Исправление ошибок:

1. Выключение сайта от общего доступа. Если бы, такое правило сначала было выполнено - проблем с поиском оказалось бы значительно меньше...

2. Чтобы исключить большой объем страниц в поиске, а также ссылок на файлы и папки: бесполезных, неэффективных, малозначительных - следует запретить их для индексации в файле robots.txt.

3. Хотя поисковики этот файл используют по-разному.

   Для системы поиска Яндекс запреты в этом файле являются обязательными к выполнению.

   Google использует этот файл, как рекомендательный. (См. информацию о файле ниже).

4. Чтобы не было копий, для индексации страниц материалов - оставил только один пункт горизонтального меню: Блог со списком канонических страниц.

5. Все категории, все меню - со списком материалов, отдельные статьи, были закрыты для индексации при помощи метатега Robots с атрибутом noindex, nofollow. Соответствующие материалы входящие в эти списки, при редактировании их в Менеджере материалов во вкладке Публикация - атрибут метатега Robots был изменен с По умолчанию на index, follow

   Если бы, настройки последнего метатега не были изменены, то эти страницы не были бы индексированы, т.к. они входили в состав различных блоков запрещенных к индексации.

6. При переходе на URL дублей, все они оказались перенаправлены на адреса канонических страниц Блога - через параметр Regirect в файле .htaccess.

Примеры параметров перенаправления в .htaccess:

##Begin - Custom redirects

##Перенаправление сайта https://www.joomlasite.net на другой домен https://joomlasite.net
#
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} ^DOMAIN_NAME_1.ZONE$ [NC]
RewriteRule ^(.*) http://DOMAIN_NAME_2.ZONE/$1 [L,R=301]
##

##Перенаправление дубля категории на каноническую категорию:
#
RewriteCond %{REQUEST_URI} ^/categories$
RewriteRule ^.*$ /extension [R=301,L]
##

##Несколько примеров перенаправления неканонических страниц на канонические:
#
RewriteEngine On
RewriteCond %{REQUEST_URI} ^/categories/lokalnyj-server/kak-ustanovit-i-zapustit-open-server$
RewriteRule ^.*$ /extension/lokalnyj-server/kak-ustanovit-i-zapustit-open-server [R=301,L]
##
#
RewriteCond %{REQUEST_URI} ^/categories/joomla/kak-sozdat-formu-obratnoj-svyazi$
RewriteRule ^.*$ /joomla/kak-sozdat-formu-obratnoj-svyazi [R=301,L]
##
#
RewriteCond %{REQUEST_URI} ^/categories/kategoriya-windows/sublime-text$
RewriteRule ^.*$ /windows/sublime-text [R=301,L]
##
#
RewriteCond %{REQUEST_URI} ^/extension/kategoriya-windows/tekstovyj-redaktor-notepad$
RewriteRule ^.*$ /windows/tekstovyj-redaktor-notepad [R=301,L]
##

##Пример перенаправление с URL дубля - (/blog?view=article&id=9) на каноническую страницу (/windows/sublime-text):
#
 RewriteCond %{QUERY_STRING} ^view=article&id=9$
 RewriteRule ^blog$ /windows/sublime-text? [R=301,L]
##

Пример содержания файла robots.txt:

User-agent: *
User-agent: Yandex
Disallow: /*?
Disallow: /*?start=*
Disallow: /administrator/
Disallow: /api/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /component/users/registration
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /images/
Disallow: /search
Allow: /images/img-header/

Sitemap: https://joomlasite.net/sitemap.xml

В результате хлопотливой работы, в данный момент все страницы сайта проиндексированы и ненужного балласта в поиске нет.

Хотя работа для оптимизации сайта в некоторых направлениях SEO продолжается...

• Общие настройки Панели управления