Управление роботами с помощью директив robots.txt и другими средствами
Зачем нам необходимо управлять поведением поискового робота на сайте? Для того чтобы управлять содержимым индекса поисковых систем относительно собственного сайта. Например, мы не хотим чтобы некоторые страницы с конфиденциальной информацией попали на всеобщее обозрение и могли быть найдены по каким-либо поисковым запросам. Тогда мы можем просто закрыть от индексации отдельную страницу директивами, которые знают все поисковые системы в Интернете, но есть нюанс… Все директивы вы знать не можете чтобы исключить индексацию всеми поисковиками. Тогда вам просто необходимо указать, что сайт может индексироваться только, например, Яндексом или Гуглом, и уже только для этих двух поисковиков создавать файл robots.txt с директивами, управляющими их поведением на сайте.
В этом файле Вы можете прописать правила, по которым роботы смогут индексировать сайт, но чтобы управлять индексацией содержания страниц, необходимо соответствующие правила прописывать уже непосредственно на страницах, что можно делать массово (знают вебмастера) либо вручную на отдельных страницах.
Вы читали: Управление роботами с помощью директив robots.txt и другими средствами
Рекламная ссылка:
Статьи компании за 2010 год...
01.2010, 02.2010, 03.2010, 04.2010, 05.2010, 07-08.2010, 09-10.2010
В 2006 году аналитический центр «Бегун» опубликовал исследование «Самые дорогие ключевые слова». Данные содержали информацию о 25 самых дорогих слов контекстной рекламы в Интернете на октябрь 2006 года.
Самые дорогие слова в Интернете
В системе поиска по доменным именам PCNames Domain Search в 2006 году был создан новый инструмент глобального поиска. Он представляет информацию о возможности доступа к тому или иному домену сразу по нескольким запросам.
Новые возможности поиска домена
В ноябре 2006 года Американская Ассоциация Искусственного Интеллекта (American Association for Artificial Intelligence - AAAI)провела конференцию, на которой изобретатель сети Интернет, профессор сэр Тим Бернерс-Ли выступал с сообщением о целесообразности перехода к «семантическому интернету» - Semantic Web. Сама идея появилась около 15 лет назад.
Идеи семантического интернета
По информации одного из крупных социальных европейский сайтов Yahoo провела тесты нового способа отображения результата поиска. Планировалось после 10 результатов обычного поиска страниц выдавать 3 ответа пользователей сервиса Yahoo Answer.
Новый интеграционный интерфейс от Yahoo
О сайте
Проект ginon – это информационный Интернет источник . На страницах Вы сможете найти информацию российских и зарубежных поисковых системах, узнать самые горячие новости интернета: какими новинками разработчики будут радовать нас, теорию и практику раскрутки сайтов.
Тематика SEO- продвижение, раскрутка оптимизация обширна и интересна, учитывая пожелания.
Тематика новостей разбита в хоотичном порядке так что читатели вам немного придеться поискать.
В СЕО-новостях и юзабилити (usability) как всегда присутствуют и сообщения монстры рекламных агентств, так что вы можете узнать много полезного