как сделать сайт пошаговая инструкция  

   

делимся знаниями в соц сетях: как сделать сайт и заработать в интернете

   

как сделать robots txt

как сделать robots txt

Мы иногда началм встречать такой казус, что люди на своем сайте даже не добавляют файл robots.txt. И я удивляюсь, что сложного найти и прописать стандартный роботс для своего сайта? Или лень, или не знают об этом.

Для чего собственно нужен robots.txt? Да элементарно, чтобы ваш сайт поисковик лучше загружал. Роботсом мы закрываем все лишние директории сайта, которые не нужны для робота или мы не хотим, чтобы робот их видел.

Прежде чем читать далее посмотрите данное видео, чтобы осталось меньше вопросов и мы могли следовать дальше.

robots.txt для WordPress:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

robots.txt для DataLife Engine (DLE):

User-agent: *
Disallow: /engine/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /admin.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*page
Disallow: /page/
Disallow: /tags/

robots.txt для Joomla:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/*
Disallow: /component/search/
Disallow: /component/content/
Disallow: /images/ — эту строчку добавлять если не нужен индекс
картинок
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Важно файл robots.txt закидывать только в основную папку сайта через фтп доступ. Создавать обычный блокнот, туда вписывать все что нужно и загружать под указанным именем. Помните что «Robots» — это уже ошибка и как запрет для индексации так и разрешение индексировать поисковыми системами ваш сайт.

Еще нужно прописывать в роботс такие моменты Host:ваш сайт или Host:www.ваш сайт — так мы указываем основное зеркало сайта.

А также Sitemap: «Ссылка на карту сайта» — если есть карта сайта, то полезно указать в роботсе.

   
   
   
   
   
   
   

электронный кошелек  

обменники электронных денег

Обменник

обменники электронных денег 

 

электронный кошелек

okpay кошелек

 электронный кошелек

 

 электронный кошелек

 

 

   

спонсоры проекта  

   

спонсоры проекта  

Сайты производителей печей для бани читать дальше. | Теплоизоляционные материалы Волгоград на сайте http://www.теплоизоляция.pw. | Шкаф и прикроватные тумбочки
   

биржи криптовалют  

биржи криптовалют

 

 

 

 

   
© как сделать сайт,как заработать в интернете,как заработать на сайте