Поиск и контекстная реклама в Рунете аналитический обзор, октябрь 2008
И. Ашманов, А. Тутубалин, К. Рощупкин, Л. Кудрявцева
1
Этот отчёт посвящён состоянию рынка поисковых систем и контекстной рекламы в российском сегменте Интернета. Рассматриваются доли поисковых систем, борьба Google и Яндекса за доминирование, основные события в мире поисковых систем Рунета за 2008 год. Обсуждается распространённость и распределение рекламных систем основных игроков — Яндекс.Директа, Бегуна и Google AdSense. Рассматривается понятие качества поиска и его влияние на доли рынка.
2
1. Введение
3
2. Текущее состояние поискового рынка в Рунете
4
2.1. Инструменты для оценки доли поисковиков
4
2.2. Доли поискового рынка
10
2.3. Доли рынка в тематических нишах
12
3. Рынок контекстной рекламы в Рунете
16
3.1. Распространённость систем контекстной рекламы в Рунете
18
3.2. Доля систем контекстной рекламы по трафику
20
4. Качество поиска: способы оценки и динамика
22
4.1. Влияет ли качество поиска на долю рынка?
22
4.2. Как оценить качество поиска?
25
4.3. Типы запросов и качество поиска
26
4.4. Как работают анализаторы качества поиска
26
4.5. Навигационное качество
28
4.6 Анализатор качества тематического поиска
29
4.7. Качество информационного поиска — цитаты
30
4.8. Качество исправления опечаток
31
4.9. Спамеры и оптимизаторы
33
4.10. Уровень порнографии
39
5. Основные новости и события поисковиков Рунета
41
5.1. Яндекс
42
5.2. Google
45
5.3. Рамблер
47
5.4. Поиск@Mail.ru
49
5.5. Остальные поисковые системы
50
5.6. Выводы, тенденции
52
6. Приложение: как работают анализаторы поисковых систем
56
1.
Введение С
егодня русскоговорящие пользователи Интернета для поиска сайтов и информации пользуются в основном четырьмя поисковыми системами: Ян-
дексом, Google, Рамблером и поиском на портале Mail.ru (далее — Поиск@Mail.ru). Небольшое количество пользователей ищет поиском от Microsoft (MSN и Live.com), Нигмой, Yahoo и другими, мало заметными в России, системами поиска. Рынок поиска в Рунете очень быстро меняется. Два основных игрока на нём, которые ведут борьбу за доминирование — Яндекс и Google. Google стал вторым поисковиком в конце 2007 года, обогнав Рамблер. Доля Рамблера продолжает снижаться, осенью 2008 года его обогнал поиск на Mail.ru. Остальные поисковики или слишком маленькие (Нигма, Gogo, Янга, Апорт), или их большим западным «родителям» сейчас не до Рунета (Live.com и MSN от Miscrosoft и Yahoo). 3
Описывая общую картину на каком-либо рынке, обычно начинают с долей его игроков. Доли выражаются в процентах, и по этим числам сразу понятно: кто первый, кто второй, кто аутсайдеры, насколько динамично развивается и увеличивает свою долю тот или иной игрок. Но откуда взять данные по долям поисковиков в Рунете? Верить ли им?
Инструменты для оценки 2.1. доли поисковиков 2.1.1. Количество переходов на сайты
Н
аиболее распространённым способом узнать о распределении долей поиска между основными поисковыми системами Рунета является статисти-
ка счётчика Liveinternet.ru, которая показывает количество переходов с поисковых систем на сайты, на которых стоит счётчик Liveinternet. Такие же расчёты по количеству переходов приводит и счётчик SpyLOG, но его сегодняшний сервис «Тренды» находится в статусе беты и, по нашему мнению, показывает искаженные данные. Нужно понимать, что количество переходов — показатель, который позволяет судить о доле рынка только косвенно. Тому есть несколько причин: 1. Покрытие. Счётчик Liveinternet установлен не на всех сайтах Рунета. Этот счётчик не установлен на некоторых очень крупных сайтах, а также на множестве совсем
4
2.
Текущее состояние поискового рынка в Рунете
маленьких, хозяева которых просто не знают о существовании счётчиков или не нуждаются в них. Впрочем, количество сайтов, охваченных статистикой Liveinternet, всё равно очень велико, так что можно говорить о репрезентативности данных. 2. Косвенный смысл показателя. Неизвестно, как трактовать этот показатель, ведь большое количество переходов с поисковой системы не обязательно говорит о высоком качестве её работы или популярности у пользователей. Теоретически вполне возможна ситуация, когда поисковая система А выдаёт на первом месте сайт, идеально соответствующий запросу пользователя, и в результате производит только один переход на сайт. Другая поисковая система B выдаёт некачественную, заспамленную выдачу, заставляющую пользователя просмотреть множество сайтов в поиске нужного. 5
Количество кликов в результатах поиска также прямо зависит от качества аннотаций сайтов (или сниппетов) — небольших фрагментов текста со страницы сайта, которые показываются в результатах поиска. Если аннотации очень информативны, то переходов на сайты может быть меньше. Действительно, если пользователь вводит запрос, например «столица Конго», он может прямо в результатах поиска увидеть ответ на свой
«Единственным
вопрос, а значит, не будет переходить ни на какие сайты. 3. Каких пользователей учиты-
надёжным инструментом оценки доли поисковиков в Рунете является статистика
вать? Есть ещё одно тонкое обстоятельство, которое нужно иметь в виду при анализе статистики переходов от Liveinternet. Если учитывать все переходы всех пользователей, то мы обнаружим равенство долей Google и Яндекса или даже, в некоторые периоды, превосходство Google. В то же самое время можно с уверенностью сказать, что большое количество
переходов от Liveinternet»
переходов с Google — на самом деле так называемые idiot clicks. Это словосочетание обозначает западных пользователей
Google, «залетевших» в Рунет нечаянно, случайно щёлкнув по русскому сайту в результатах поиска (например, потому, что увидели знакомое англоязычное название товара или понравившуюся картинку). Такие пользователи тут же покидают сайт, увидев непонятную им кириллицу, и, по сути, пользователями Рунета не являются. Google — большая поисковая машина с сотнями миллионов запросов в день, поэтому даже ошибки пользователей могут составлять большие числа в масштабе Рунета. 6
Учитывать idiot clicks для оценки доли поисковиков в Рунете — неправильно. Если же брать анализ переходов с поисковиков только по пользователям, имеющим российские IP-адреса, то эти данные не будут учитывать русскоязычных пользователей Рунета из-за рубежа. Мы, тем не менее, предпочитаем именно такой срез по российским пользователям, считая, что он ближе к истине. Естественно, в Яндексе для оценки своей доли рынка также берут срез по российским пользователям, а в российском Google популярна общая статистика, потому что доля Google в ней значительно больше.
2.1.2. Панель: анализ поведения пользователей
В
о второй половине 2008 года международная аналитическая компания ComScore впервые начала измерять аудиторию Рунета.
Данные собираются на основе исследования панели, то
есть выборки из 20 тысяч российских пользователей Интернета. У этих пользователей установлено специальное программное обеспечение ComScore — тулбар, который работает в браузере, запоминает посещаемые пользователем сайты и передаёт данные на сервер статистики. Аналогично тулбару ComScore работает тулбар сервиса Alexa. Alexa — это самый популярный американский измеритель трафика на сайтах, обсчитывающий посещаемость сайтов по данным активности миллионов пользователей, у которых установлен тулбар от Alexa. Данные Alexa для Рунета можно использовать, учитывая две особенности: во-первых, можно сравнивать между собой сайты, то есть 7
измерять относительные значения посещаемости, а не абсолютные, во-вторых, данные будут достоверны только для очень посещаемых сайтов Рунета. Для небольших сайтов данные будут сильно смещены, поскольку пользователей с тулбаром Alexa в России очень мало. К тому же Alexa показывает данные для всего сайта целиком, то есть можно сравнивать между собой только порталы rambler.ru и yandex.ru, а не поисковые сервисы. Методика ComScore вызывает нарекания по двум причинам: А) Малая величина выборки. 20 тысяч пользователей — слишком мало для оценки всех категорий пользователей. Скажем, тулбар Алексы установлен у миллионов пользователей. Б) Выборка явно смещена. В эту выборку попадают в основном опытные интернет-пользователи — потому что неопытный российский пользователь вряд ли установит себе на компьютер неизвестную ему (и бесполезную) программу с интерфейсом на английском языке. Насколько можно судить, в первое время её устанавливали в основном сотрудники российских офисов западных компаний, экспаты. Что заведомо даёт довольно большое смещение выборки в пользу Google. Кроме того, есть подозрения, что выборка охватывает в основном жителей Москвы и Петербурга. Отметим, что Яндекс в августе 2008 начал привлекать аудиторию для участия в панели исследований Permission Research (research.yandex.com), которая является подразделением ComScore. Это поможет получать в будущих исследованиях ComScore более точные данные по Яндексу. По такой же схеме — установка панели на компьютер — измеряет аудиторию сайтов Рунета группа компа8
ний TNS. Недостатки исследований TNS такие же, как у исследований ComScore — малая выборка и смещение в сторону продвинутых московских пользователей Интернета. И имеется такой же недостаток, как у Alexa — измерение аудитории порталов в целом, без отдельного учета популярности поиска.
2.1.3. Собственные данные поисковиков
Е
щё один источник статистики посещаемости поисковиков — их собственные данные. Но мы не уделяем этому источнику особого внимания, потому
что здесь есть сразу несколько проблем. Во-первых, данные собираются по-разному: в Яндексе используется обработка лог-файлов серверов, а в Рамблере и Mail.ru — ис-
пользование собственных счётчиков Rambler’s Top100 и top.mail.ru, поэтому сравнивать между собой такие данные некорректно. Во-вторых, получить точные данные возможно не во всех случаях, например, из общей статистики главной страницы Рамблера и его поиска нужно вручную вычленять данные только по поиску. В-третьих, Google не предоставляет вообще никакой статистики о посещаемости своих проектов. В этом смысле Google — самый закрытый поисковик. Других сколько-нибудь достоверных методик измерения доли поисковых систем в Рунете пока нет.
9
2.2. Доли поискового рынка Итак, вот какие доли поисковых систем Рунета можно получить по данным ComScore и Liveinternet (таб. 1): Таблица 1. Доли поисковых систем Рунета по данным ComScore и Liveinternet
Поисковая система
Доля по ComScore, %
Доля по Liveinternet, %
Yandex.ru
47
55
Google.ru
28
22
Rambler.ru
12
10
Mail.ru
7
9
Остальные
6
4
Как видим, ComScore показыва-
«Яндекс — лидер. В 2007 году его доля медленно падала, в 2008 падение остановилось.
ет несколько большую долю у Google, что, как говорилось выше, скорее всего, обусловлено смещённостью выборки. С другой стороны, даже такая смещённая выборка на качественном уровне даёт более-менее близкие результаты, что подтверждает гипотезу, что в Liveinternet нужно брать данные именно по российским пользователям. Наиболее интересно следить за до-
Google устойчиво растёт, в 2008 он стал игроком № 2» 10
лями поисковиков в динамике, поскольку в распределении долей происходят бурные события. Вот как по данным Liveinternet
менялось
распределение
долей переходов с поисковых систем за последние два года (рис. 1):
Как видно из этого графика, доли Google и поиска Mail. ru устойчиво растут. В 2007 году Google бурно рос, а Яндекс в 2007 году терял свою долю (с 60% до 55%), что заставило сторонников Google предрекать быструю смена лидера. Но Яндекс в 2008 году остановил падение и даже начал немного расти. Стало ясно, что Google каннибализирует именно Рамблер. Доля Рамблера последние два года постоянно падает, причём падение ускоряется. Последнее ускорение падения могло быть связано с редизайном сайта Рамблера. После редизайна в октябре 2008 года поиск на search.mail.ru стал третьим в Рунете по трафикогенерации.
Рис. 1. Переходы российских пользователей с поисковых систем Рунета, Liveinernet.ru
Яндекс
Rambler
search@Mail.ru
11
Доли рынка в тематических 2.3. нишах
L
iveinternet также позволяет брать тематические срезы по статистике переходов, то есть статистику переходов с поисковых систем на сайты определённой
тематики. Это даёт информацию к размышлению о составе и интересах аудитории каждого из поисковиков. Например, на сайты тематики «Знакомства и общение» с Яндекса переходят больше пользователей, и относительные доли конкурентов пока не меняются (рис. 2). Для сайтов категории «Товары и услуги» Яндекс пос-
тавляет ещё больше трафика по сравнению с Google (рис. 3). А вот на сайты категории «Интернет» с конца 2007 года Google раздаёт больше трафика, чем Яндекс (рис. 4). Рис. 2. Переходы с Яндекса и Google на сайты категории «Знакомства и общение», Liveinernet.ru
Яндекс
12
Рис. 3. Переходы с Яндекса и Google на сайты категории «Товары и услуги», Liveinernet.ru
Яндекс
Эти тематические срезы говорят о том, что портрет аудитории (возраст, социальное положение, привычки) у разных поисковых систем разный. Можно с уверенностью сказать, что среди пользователей Google больше компьютерных специалистов («гиков», техноманьяков), интернетчиков, профессиональная деятельность которых связана с Интернетом. Это активные пользователи, предпочитающие американские сервисы отечественным аналогам. Они проводят в Интернете много времени, в том числе по выходным (рис. 5). 13
Рис. 4. Переходы с Яндекса и Google на сайты категории «Интернет», Liveinernet.ru
Яндекс
«В аудитории Google больше доля техноманьяков и интернетчиков, а у Яндекса больше офисного планктона. Поэтому доля Яндекса по выходным падает на 5 – 10%, а доля Google соответственно растёт»
14
Напротив, среди пользователей Яндекса больше обычных пользователей, офисных сотрудников и студентов, это непрофессионалов в высоких технологиях, которые пользуются Интернетом преимущественно из офиса (поэтому по выходным дням доля Google вырастает на 5-10% за счет уменьшения доли Яндекса.
«В “развлечениях, знакомствах и товарах” Яндекс генерит больше трафика, чем Google. В категории “Интернет” Гугл уже лидер» Рис. 5. Колебания долей переходов с Яндекса и Google по выходным дням, Liveinernet.ru
Яндекс
15
Контекстная реклама — это рекламные объявления, которые зависят от тематики страницы, на которой показывается реклама.
К
онтекстная реклама бывает поисковой и контекстно-чувствительной. Поисковая контекст
ная реклама показывается на странице результатов поиска и зависит от вводимого запроса. Контекстно-чувствительная реклама показывается на сайтах, входящих в рекламные сети, и зависит от тематики веб-страницы. Заметных игроков на рынке кон-
текстной рекламы в Рунете три — Яндекс.Директ, Бегун и Google AdWords. Первые две компании вместе занимают большую часть рынка. По разным оценкам, объем рынка контекстной рекламы в России в 2008 году составит 370 – 380 миллионов долларов. Из них примерно 220 млн. достанутся Яндексу, примерно 120 млн. — Бегуну. Доходы Google здесь практически невидимы (скорее всего, они составляют максимум 10 – 15 миллионов долларов). 16
3.
Рынок контекстной рекламы в Рунете
Доходы Яндекса на 80% состоят из доходов от продаж контекстной рекламы, для Бегуна контекстная реклама являет единственным источником доходов. Летом 2008 года Google сделал энергичную попытку изменить структуру рынка и сделал предложение о покупке Бегуна компании Рамблер за 140 миллионов долларов.
«В 2007 году контекстночувствительная реклама была установлена лишь на 5% сайтов. В октябре 2008 таких сайтов стало 10%» В этой ситуации Google получил бы готовую сильную команду продавцов контекстной рекламы, несколько десятков тысяч рекламодателей Бегуна и несколько тысяч площадок, на которых установлен код этой рекламной системы. Однако в октябре 2008 г. Федеральная Антимонопольная Служба РФ заблокировала эту сделку. 17
Распространённость систем 3.1. контекстной рекламы в Рунете
В
октябре 2007 года партнёр компании «Ашманов и Партнеры» и известный исследователь Рунета Алексей Тутубалин в рамках своего проекта «Чер-
ный квадрат» (www.rukv.ru) провел исследование сайтов в доменах RU и SU, чтобы оценить распространённость систем контекстной рекламы на сайтах Рунета. Для исследования были выкачаны главные страницы и по 2 внутренних страницы с «живых» сайтов в доменах RU и SU. Затем были выявлены установленные на этих страницах системы контекстной рекламы. Всего исследовалось 868 944 сайта, из них контекстная реклама обнаружилась на 43 953 сайтах, то есть всего на 5%. Из этих 43 953 сайтов системы контекстной рекламы распределились следующим образом: Google AdSense —
Таблица 2. Доля сайтов с кодом сети в 2007 году
Рекламная сеть
Доля сайтов, %
Google AdSense
57
Бегун
41
Рекламная сеть Яндекса
16
57%, Бегун — 41%, Яндекс — 16% (сумма больше 100%, потому что на одном сайте можно устанавливать контекстную рекламу от разных систем одновременно), таб. 2. По результатам новейшего исследования Алексея Ту-
тубалина в октябре 2008 года были получены новые, акту18
альные данные по состоянию систем контекстной рекламы в Рунете. Всего в октябре 2008 было проанализировано 1 099 883 сайта. Контекстная реклама обнаружилась на 10% сайтов (107 055 сайтов). Таким образом, доля сайтов с контекстной рекламой выросла за год в два раза! Из этих 107 055 сайтов системы контекстной рекламы распределились следующим образом: Google AdSense — 64%, Бегун — 29%, Яндекс — 22% (сумма больше 100%, потому что на одном сайте можно устанавливать контекстную рекламу от разных систем одновременно), таб. 3. Мы видим некоторое перераспределение сайтов в пользу Рекламной сети Яндекса и двукратный рост количества кодов всей контекстной рекламы в Рунете. Таблица 3. Доля сайтов с кодом сети в 2008 году
Рекламная сеть
Доля сайтов, %
Google AdSense
64
Бегун
29
Рекламная сеть Яндекса
22
Таким образом, можно сказать, что контекстная реклама очень быстро захватывает Рунет, причём рост во многом обеспечен ростом Рекламной сети Яндекса, значительно снизившего требования к сайтам для вхождения в рекламную сеть. 19
Доля систем контекстной 3.2. рекламы по трафику
«Рекламная сеть Яндекса к октябрю 2008 года обгоняет Бегун в три раза по трафику. Гугл сохраняет свою долю»
И
з открытой статистики счётчика Rambler’s Top100 по каждому сайту с установленными
системами контекстной рекламы была взята его посещаемость. Были получены следующие оценки трафика рекламных систем, выраженные в доле показов рекламных блоков, таб. 4: В октябре 2008 года доли трафика систем контекстной рекламы изменились следующим образом, таб. 5: Как видим, Яндекс кардинально увеличил долю трафика своей рекламной сети, в основном за счёт быстрого роста рекламной сети и частично за счёт Бегуна.
20
Таблица 4. Доля в общем числе показов рекламных блоков в 2007 году
Рекламная сеть
Доля по трафику, %
Google AdSense
47
Бегун
24
Рекламная сеть Яндекса
29
Таблица 5. Доля в общем числе показов рекламных блоков в 2008 году
Рекламная сеть Google AdSense Бегун Рекламная сеть Яндекса
Доля по трафику, % 45 10.3 44
21
Качеством поиска мы называем удовлетворение потребности пользователей в поиске нужной (релевантной) информации в Сети. В более узком смысле под качеством поиска понимается релевантность поисковой выдачи, то есть количество сайтов, отвечающих на заданный пользователем запрос. Влияет ли качество поиска на долю поисковиков? Это не такой простой вопрос.
Влияет ли качество поиска 4.1. на долю рынка?
Р
азработчики
большинства
поисковиков без колебаний отвечают на этот вопрос ка-
тегорическим «да». Они считают, что качество — это главная, самая важная причина популярности поисковика. В корпоративной легенде Google качество — это единственное, что дало ему мировое господство на поисковом рынке. У нас на этот счёт мнение более умеренное, поскольку несомненно, что маркетинг и реклама также крайне важны. На наш взгляд, качество (опиравшееся на инновационную для того времени концепцию учёта ссылок PageRank) было очень важно, но не менее важную роль в успехе Google сыграли:
22
4.
Качество поиска: способы оценки и динамика
1) Техническое развитие: построение ферм компьютеров и собствен-
«Качество поиска является необходимым условием успеха
ной распределённой файловой системы, позволившие справиться с бурным ростом Интернета в 2000 – 2008 гг., 2) Энергичное
продвижение
Google как самой научной, «заводной», свободной и раскованной поисковой сис-
поисковика,
темы, «этичной», без рекламы и «втюхи-
а маркетинг
вания»; 3) Щедрое венчурное финан-
и пиар — достаточным»
сирование как раз на фоне краха интернет-пузыря 1999 – 2000 годов, когда прочие конкуренты-поисковики были в
упадке или вообще закрылись. Корпоративная легенда Яндекса также опирается на идею категорического технологического превосходства Яндекса, доставившего ему победу на поисковом рынке Рунета. 23
И здесь также мы считаем, что качество играло важную, но отнюдь не единственную и даже не главную роль. Авторы этого отчёта (партнёры компании «Ашманов и Партнеры») наблюдали изнутри историю соперничества Рамблера и Яндекса в 1999 – 2000 годах, когда Рамблер был безусловным лидером, не имея технического превосходства, а потом снаружи — в 2002 – 2003 годах, когда качество поиска Рамблера и Яндекса было сравнимо, и, тем не менее, Рамблер быстро потерял своё место безусловного лидера в Рунете. Мы считаем, что маркетинг как минимум не менее важен. В истории Яндекса массированные рекламные кампании, продвижение и маркетинг, а также доступ к необходимым для развития венчурным деньгам ровно в момент падения доткомов и интернет-зимы 2001 – 2002 годов, сыграли не менее важную роль, чем в истории Google. Сформулируем наше мнение так: качество поиска является необходимым условием успеха поисковика, а маркетинг и пиар — достаточным. В любом случае какая-то корреляция качества и доли наблюдается и сейчас в Рунете: в 2007 – 2008 годах мы наблюдали сначала доминирование Google по качеству поиска и быстрый рост его доли рынка, Яндекс же в этот период имел худшее качество и медленно падающую долю, а затем начался бурный рост качества поиска Яндекса и падение его доли остановилось. Впрочем, игроки рынка не улучшают качество поиска в вакууме, и параллельно, конечно, энергично вкладываются в рекламу и пиар, а также в развитие боковых «портальных» проектов, так что картина сейчас, как и раньше, неизбежно смешанная. Теперь поговорим подробнее о том, что же такое качество поиска и как его оценивать. 24
4.2. Как оценить качество поиска?
К
ачество поиска невозможно оценить «на глаз», прежде всего потому, что у каждого пользователя свои привычки поиска и склонность к своему типу
запросов. Для кого-то лучше ищет Google, а для кого-то — Рамблер. Для объективной количественной оценки нужна теория оценки и система независимых тестов. Мы создали такую достаточно простую методику и ле-
том 2007 года запустили наши Анализаторы качества поисковиков, доступные на сайте по адресу www.analyzethis. ru. В настоящее время эти анализаторы — единственный независимый тест качества поиска в Рунете.
«Качество на глаз оценить невозможно. Каждый пользователь имеет свои привычки поиска и склонность к своему типу запросов» Помимо качества поиска, анализаторы оценивают устойчивость поисковых систем к различным видам прессинга вебмастеров, а также показывают данные об обновлении индекса поисковых систем — так называемых апдейтах. Подробное описание работы всех анализаторов вы найдете в приложении. Для оценки качества по различным срезам мы создали анализаторы для разных пользовательских моделей поиска. 25
Типы запросов и качество 4.3. поиска
М
ы делим запросы к поисковым системам на три основных типа: навигационные, транзакционные и информационные.
• Навигационный запрос — это запрос типа «Где?».
Его задает пользователь, который уже знает, что ему нужно, на какой именно сайт он хочет попасть. Таковым является, например, запрос «сайт Сбербанка». • Информационный запрос — это запрос типа «Что?». Он выражает потребность пользователя получить какую-то
информацию,
4.4. Как работают
независи-
мо от места её расположения в сети. Например, запрос «день рождения
Для наших анализаторов
Пушкина».
мы выбрали методику мар-
• Транзакционный запрос —
керов. Маркеры — это поис-
вопрос типа «Что сделать?». Он отра-
ковые запросы определённого
жает желание пользователя что-то сде-
типа, для которых известно, ка-
лать, например, «купить телевизор».
кого примерно результата сле-
На навигационный запрос в боль-
дует ожидать от поисковиков.
шинстве случаев заведомо существует один правильный ответ, ожидаемый
Мы используем сотни и тысячи
пользователем от поисковой системы.
маркеров, состав которых ме-
Так, по запросу «библиотека Мошко-
няется каждый день.
ва» должен выдаваться именно сайт библиотеки lib.ru. На транзакционный и информационный запрос единственного верного ответа обычно не бывает, правильных ответом много, ведь информационный запрос — это не только 26
простой «день рождения Пушкина», но и, например, «рецепт салата Оливье». Конечно, существуют также и «смешанные» типы запросов, про которые нельзя сказать точно, что именно хочет пользователь. Например, запрос «Samsung D900» может быть задан как с целью купить данную модель мобильного телефона, так и с целью найти его описание или руководство пользователя.
анализаторы
Что же считать качеством поиска? У нас нет единого ответа на этот вопрос, как, впрочем, нет его и у пользователей. Некоторые пользователи
Подробнее о принципах работы
используют поисковики исключитель-
анализаторов можно посмот-
но для поиска нужных им сайтов, а
реть в Приложении.
другие — только для покупок. Естест-
Мы запустили анализато-
венно, если один поисковик лучше об-
ры летом 2007 года и с тех пор
рабатывает навигационные запросы,
наблюдаем динамику развития
а другой — транзакционные, то они
поисковых алгоритмов основ-
будут нравиться разным категориям
ных игроков поискового рынка
пользователей.
Рунета. Вот какие результаты
Чтобы не вызывать нареканий на
показывают наши анализаторы
методику и не испытывать давления
за 2008 год.
PR-служб поисковиков (для которых единый независимый показатель качества очень неудобен), мы пока не стали выводить единый показатель качества поиска, а сделали несколько анализаторов — по одному на каждый вид поиска. 27
4.5. Навигационное качество
Я
ндекс в 2008 году — абсолютный лидер в навигационном поиске (заметим, что в 2007 году лидером был
Google), это видно на рис. 6. Второе место Google далеко не столь прочно, молодой и амбициозный Gogo.ru вырвался вперед в тот период, когда Google немного потерял в качестве «навигации». Потом он опять оказался третьим, а совсем недавно его обогнал Рамблер, к которому подключили «вертикальный поиск» (см. посвященный Рамблеру раздел главы о новостях поиска).
Рис. 6. Качество поиска по навигационным запросам в поисковиках Рунета в I-III кварталах 2008
Яндекс
28
Rambler
gogo
Качество 4.6. тематического поиска
А
нализатор качества те-
о разнообразных марках машин,
матического поиска оце-
тест-драйвами и т.п.
нивает выдачу поисковых
Как видно на графике (рис. 7),
систем на предмет разнообразия
в лидеры по тематическому поис-
выдачи, то есть того, насколько
ку этим летом неожиданно вы-
широко она охватывает тематику
рвался Gogo.ru, поисковик компа-
запроса. Например, мы считаем,
нии Mail.ru. Вместе с ним лидеры
что по запросу «автомобили» в
поиска в Рунете — Google и Ян-
выдаче поисковой системы долж-
декс — составляют тройку поис-
ны найтись и автосалоны, и сайты
ковых систем с самым хорошим
компаний, сдающих автомобили
тематическим поиском. Осталь-
в аренду, и сайты с информацией
ные игроки заметно отстают.
Рис. 7. Качество поиска по тематическим запросам в поисковиках Рунета в I-III кварталах 2008
Яндекс
Rambler
gogo
aport
yahoo
29
Качество информационного 4.7. поиска, цитаты
П
онять, какой запрос явля-
ратурных произведений. Мы счита-
ется информационным,
ем, что поисковик с хорошей обра-
довольно трудно. В как
боткой информационных запросов
бы информационном запросе мо-
должен как можно выше ставить в
жет быть «зашит» также интерес
выдаче страницу, на которой опуб-
части пользователей найти конк-
ликован текст, содержащий цитату.
ретный сайт или что-то купить.
Главным специалистом по по-
Чтобы точно оценить качес-
иску цитат оказался Google (рис. 8).
тво обработки информационных
Яндекс за вторую половину 2008
запросов, мы взяли узкий класс
года значительно улучшил качес-
заведомо информационных за-
тво цитатного поиска. Неожидан-
просов и создали Анализатор ка-
но хорошие результаты показал
чества поиска цитат.
Live.com от Microsoft. Gogo.ru и
Цитатный поиск — поиск кон-
Рамблер прогрессируют, но очень
кретного текста по его фрагменту,
незначительно, даже Yahoo обго-
а именно точной цитате. Обычно
няет их в Рунете по способности
таким образом ищут тексты лите-
выдавать источник цитаты.
Рис. 8. Качество цитатного поиска в поисковиках Рунета в I-III кварталах 2008
Яндекс
30
Rambler
gogo
live.com
yahoo
Качество 4.8. исправления опечаток Пользователи
поискови-
реагировать на ошибки: пред-
ков очень часто ошибают-
лагать
ся, вводя запросы в стро-
ного написания слов, чтобы
ку поиска. Списки запросов к
пользователь выбрал нужный
поисковикам полны как опеча-
вариант, или просто сразу от-
ток, так и неграмотных написа-
правляться искать правильное
ний слов. Хороший поисковик
слово. Для оценки того, как по-
должен быть устойчивым к
исковики справляются с этой
ошибкам своих пользователей.
задачей, мы создали два ана-
У поисковика есть два способа
лизатора обработки опечаток.
подсказки
правиль-
4.8.1. Качество подсказок
А
нализатор качества подсказок показывает, насколько эффективно поисковики по-
могают своим пользователям (рис. 9). У Google качество подсказок стабильно высокое; Яндекс — лидер категории — постоянно это качество повышает; неплохо подсказывает Апорт, а Gogo.ru летом пережил резкий взлёт качества подсказок (разработчики обновили «подсказывающий» алгоритм) и занимает теперь третье место. Вебальта, как видно на графике, в апреле 2008 года прекратила работу.
«При вводе запросов пользователи ошибаются в 15% случаев. Поисковик может либо сам исправить опечатку, либо предложить пользователю варианты замены» 31
Рис. 9. Уровень качества подсказок в поисковиках Рунета в феврале-сентябре 2008
Яндекс
Rambler
gogo
aport
webalta
4.8.2. Устойчивость к опечаткам
В
анализаторе устойчивос-
с опечаткой к выдаче по правильному
ти к опечаткам сравнива-
запросу (рис. 10).
ется поисковая выдача по
Яндекс и с недавнего времени
запросу, напечатанному правиль-
Gogo.ru оказались абсолютными ли-
но, и по нескольким вариантам
дерами по качеству автоматическо-
возможных написаний с опечатка-
го исправления опечаток в запросах.
ми. Оценивается степень близос-
Остальные поисковики обрабатывают
ти поисковой выдачи по запросу
ошибочные запросы плохо.
«Меньше всего спама в Яндексе, больше всего в Yahoo. Google и Рамблер — середнячки» 32
4.9. Спамеры и оптимизаторы
К
роме пользователей и поисковиков в Интернете действует третья сила — вебмастера и владельцы сайтов. У них в отношении поисковиков есть свои
интересы — а именно, получить как можно более высокий рейтинг в результатах поиска, поскольку это даёт целевых посетителей и в конечном итоге деньги. Продвижение сайта в поисковиках называется поисковой оптимизацией. Существуют также поисковые спамеры, которые продвигают в поисковиках специальные технические страницы, предназначенные для зарабатывания денег.
Рис. 10. Уровень устойчивости к опечаткам в поисковиках Рунета в феврале-сентябре 2008
Яндекс
Rambler
gogo
aport
Для понимания ситуации с качеством поиска и давлением вебмастеров на поисковики, важно различать оптимизаторов и поисковых спамеров. Оптимизаторы (SEO-специалисты ) — это консультанты по интернет-маркетингу, оказывающие услуги по продви33
жению сайтов. У оптимизаторов есть клиенты, тратящие довольно много ресурсов на свои сайты. Сайты клиентов оптимизаторов — обычно качественные, полезные, часто обновляющиеся. Как правило, продвигаемые оптимизаторами сайты релевантны запросу пользователя и содержат актуальную информацию. С точки зрения поисковика обычно неважно, какой
«Оптимизаторы работают для клиентов и продвигают релевантные, живые сайты.
сайт поставить первым в результатах поиска — поскольку все они примерно в одинаковой степени релевантны запросу, особенно транзакционному. Однако большое количество оптимизированных сайтов в выдаче поисковиков может приводить к «коммерциализации» выдачи, поскольку некоммерческие проекты обычно не имеют сравнимых финансовых и человеческих ресурсов
Спамеры работают на себя и замусоривают сеть фальшивыми страницами»
для продвижения. Поисковые спамеры — это самостоятельные интернет-деятели, зарабатывающие на «краже» трафика из поисковых систем и продаже его системам контекстной рекламы или партнёрским сетям. У них нет клиентов, спамеры обычно продвигают в поисковиках спам, то есть «мёртвые» сайты, технические вебстра-
ницы, как правило, с синтезированным содержанием, с целью захвата пользовательского трафика и перенаправления его на рекламу или в партнёрские сети. Массовое применение спамерских технологий приводит к тому, что в современном Интернете чудовищно много бессмысленных страниц, псевдосайтов, фальшивых каталогов, загажен34
ных гостевых книг и форумов (по нашим оценкам, 70 – 90% всех вебстраниц — спам). Поисковики обычно довольно напряжённо борются с деятельностью поисковых спамеров, загрязняющих выдачу, и почти не замечают оптимизаторов (как раз по той причине, что сайты оптимизаторов — настоящие и релевантны запросам). Конечно, существует и промежуточная зона так называемой «чёрной оптимизации», где оптимизаторы продвигают сайты своих клиентов с использованием спамерских методов. Это довольно рискованный бизнес, часто приводящий к санкциям поисковиков против сайтов клиентов.
4.9.1. Что такое поисковый спам Поисковый спам — это совокупность технологий обмана поисковиков, которые используются для повышения рейтинга вебстраницы в результатах поиска поисковых систем. Наш анализатор поискового спама выделяет следующие категории поискового спама: •
doorway — дорвеи, страницы, не имеющие самоценного содержания и существующие только для перенаправления пользователя на другой сайт;
•
spamcatalog — спамерские каталоги;
•
spamcontent — спамерский заимствованный контент;
•
pseudosite — сайт, маскирующийся под корпоративный («псевдофирма»);
•
catalog — каталоги;
•
board — доски объявлений;
•
domainsale — домены на продажу;
•
secondary — вторичный, заимствованный контент; 35
•
partner — любые партнерские программы;
•
linksite — сайты, на котором размещаются «ссылочные свалки», ссылки для наращивания авторитетности других сайтов;
•
spamforum — заспамленный форум;
•
techspam — технический спам;
•
searchres — результаты поиска. Анализатор оценивает долю вышеописанных видов спама в
поисковой выдаче. Лучшим в данном тесте является поисковик с наименьшим показателем уровня спама. Динамика уровня поискового спама за 2008 год видна на рис. 11. На графике видно, что меньше всего поискового спама в Яндексе, больше всего — в Yahoo. Очевидно, это отражает количес-
Рис. 11. Количество русскоязычного спама в поисковиках в I-III кварталах 2008
Яндекс
Rambler
gogo
live.com
yahoo
тво усилий компаний по подавлению русскоязычного спама. На протяжении всего 2008 года ситуация менялась незначительно. Заметно только увеличение количества спама в поисковике Live.com с мая по август и нестабильная ситуация в Yahoo. 36
Количество русскоязычного поискового спама в Google постепенно снижается.
4.9.2. Давление оптимизаторов
А
нализатор давления оптимизаторов на поисковую выдачу (SEO-прессинга) — это «анализатор коммерциализированности выдачи».
Часто результатом деятельности SEO-специалистов стано-
вится то, что в поисковой выдаче на первых позициях можно найти только «продающие» сайты. Например, набирая в поисковике по-
«Поисковый
Рис. 13. Уровень апдейтов в поисковиках в I-III кварталах 2008
спам — это методы обмана поисковиков для кражи трафика с них. Основные виды спама — ворованный контент, дорвеи, псевдосайты, исковый запрос «цветы», пользователь
спам-каталоги»
может рассчитывать увидеть в выдаче 37
сайт о сортах и выращивании цветов, о составлении букетов и значении каждого цветка в букете и другую познавательную информацию. Но, например, в Яндексе выдача по запросу «цветы» столь активно «обрабатывается» оптимизаторами, что чуть ли не до пятидесятой позиции показываются только предложения доставки цветов по Москве и другим крупным городам. Обычно такая ситуация складывается с информаци-
Рис. 12. Уровень «коммерции» в выдаче поисковиков в I-III кварталах 2008
Яндекс
Rambler
gogo
aport
live.com
онными запросами. Качественная поисковая система по запросам такого типа должна предлагать пользователю выдачу с широким набором разной информации. SEOпрессинг сужает этот охват до одной-единственной категории: коммерческих сайтов. Поисковые системы должны уметь с этим бороться. 38
yahoo
4.10. Уровень порнографии Наименее коммерциализована поисковая выдача в Yahoo, причем на протяжении 2008 года уровень SEOпрессинга в Yahoo только снижался (рис. 12). Больше всего «коммерции» в Яндексе и Рамблере, это можно объяснить популярностью этих поисковиков в Рунете. Обновления
Рис. 13. Доля «сайтов для взрослых» в выдаче поисковиков в июле-сентябре 2008
Яндекс
Rambler
gogo
aport
live.com
yahoo
поисковых алгоритмов Яндекса летом-осенью 2008 года пошли ему на пользу — давление со стороны оптимизаторов удалось немного снизить. Уровень комерциализации Google в Рунете медленно растёт. Внимание оптимизаторов к Google растёт вместе с ростом трафикогенерации этой поисковой системы. 39
А
нализатор порнографии проверяет
выдачу
поисковых
систем по запросам, которые
могут трактоваться двояко — и как относящиеся к порнографии, и как совершенно безобидные. Например, запрос «киски» или «любители». Уровень «порнографичности» поисковой системы — это доля сайтов в выдаче, которые можно отнести к тематике «только для взрослых». Выше находятся поисковики, у которых порнографии больше. Наш анализатор уровня порног-
рафии был запущен в мае 2008 года (рис. 13). Абсолютные чемпионы по уровню порнографии — Яндекс и Рамблер, причём последний за август выбился вперед. На роль «семейных» поисковиков, которыми можно давать пользоваться детям, претендуют Yahoo и 40
5.
Основные новости и события поисковиков Рунета
«Яндекс и Google продвигают свой поиск как ответ на любые вопросы, а Рамблер продвигает себя как портал, где
Gogo.ru, который этим летом победил порно одним решительным изменением алгоритма. Google показывает любопытную тенденцию к стремительному росту порнографизации в Рунете. В целом, снижается этот показатель только у Яндекса и Gogo.ru. Остальные поисковые системы либо не поставили себе целью уменьшить количество «сайтов для взрослых» в выдаче, либо пока не преуспевают в достижении этой цели.
есть всё на все вкусы»
41
5.1. Яндекс
В
се три основных поисковика — Яндекс, Google, Рамблер — в 2008 году провели массированные рекламные кампании в офлайне. Отличия кампа-
ний заключаются в позиционировании своих продуктов: Яндекс и Google продвигают поиск как ответ на любые вопросы, а реклама Рамблера продвигает вообще портал, как место, где есть всё. Google размещал наружную рекламу, а также постеры и баннеры в заведениях общепита с полезной контекстной информацией и отправлял на поиск за подробностями. Яндекс размещал рекламные модули в метро и билборды на дорогах — выдумка рекламщиков Яндекса была в том, что на модулях были только ответы на всем известные вопросы. По отзывам пользователей, задумка Яндекса оказалась интереснее.
42
Л
етом 2007 года поисковик Яндекса довольно сильно проигрывал Google по качеству поиска (по данным наших анализаторов), доля поисковика
заметно и стабильно падала. Осенью 2007 года и в 2008 году Яндекс серьёзно занял-
ся повышением качества поиска. Для решения этой задачи специалисты Яндекса, помимо совершенствования самих индексно-поисковых алгоритмов, вплотную занялись работой с поисковыми запросами пользователей, ввели обработку опечаток и подсказки для пользователей. Новости, касающиеся непосредственно поисковых технологий, Яндекс предпочитает освещать минимально. Тех же принципов относительно самого главного придерживаются, впрочем, и остальные поисковые системы. В блоге для вебмастеров поисковая команда Яндекса анонсирует запуски новых версий поискового алгоритма и очень кратко освещает их главные отличия от предыдущих версий. В 2008 году таких выпусков новых версий было два (Яндекс назвал их именами городов, Находка и Магадан). Технологические улучшения. Чтобы помочь людям искать и находить, Яндекс в 2008 году добавил к поиску следующие возможности: • Автоматическое исправление опечаток. Если пользователь набирает в строке запроса слово, ошибочность которого очевидна, как и его правильная форма, Яндекс автоматически ищет по этой правильной форме. Например, при запросе «карова» пользователь получит поисковую выдачу по запросу «корова». Если же правиль43
ный вариант написания не очевиден, например, задан запрос «каров» (то есть
«В 2008 году Яндекс энергично
непонятно, «коров» это или «кров»), пользователь увидит выдачу по своему запросу, а сверху будет ссылка «возмож-
развивал
но, вы искали «коров»?», кликнув по ко-
технологии,
торой пользователь увидит результаты поиска «коров».
вышел за пределы Рунета, а также покупал компании
• Подсказки в поисковой строке. Теперь, когда пользователь набирает первые буквы запроса в Яндексе, ему автоматически выдаётся список наиболее популярных запросов, начинающихся на те же буквы. Если запрос имеет навига-
и команды,
ционный характер, например, «сайт сбер-
остановил
банка», ссылка на сайт Сбербанка будет
падение доли рынка. Но не смог выйти на биржу»
прямо в подсказках, так, что пользователю вообще не придётся делать поиск. Подобная возможность уже несколько лет есть в поиске Google. • Улучшенная обработка родственных слов. Теперь Яндекс понимает, что «московские музеи» и «музеи Моск-
вы» — это один и тот же запрос. Яндекс научился отождествлять некоторые переходы одной части речи в другую (существительное «Москва» в прилагательное «московский»). • Алгоритм раскрытия аббревиатур, благодаря которому по запросу «мгу» выдаются и сайты, отвечающие запросу «московский государственный университет». • Обработка транслита: распознаются и конвертируются запросы, набранные транслитом (mercedec –> мерседес). 44
Приобретение проектов. В июле 2008 года Яндекс завершил сделку по покупке компании СМИлинк, которая собирает и предоставляет информацию о пробках на дорогах. В начале 2008 года Яндекс приобрел программу Punto Switcher, которая автоматически исправляет ввод с неправильной раскладкой клавиатуры, и начал её активно рекламировать. В октябре к Яндексу присоединилась компания Медиаселлинг, которая занимается разработкой технологий для медийной рекламы в Интернете. Поиск по видео. В июле Яндекс открыл бета-версию поиска по видео-роликам. Поиск ведется по базам нескольких десятков основных видео-хостингов. Пока Яндекс.Видео не вышел из беты, но после выхода финальной версии можно ожидать появления ссылки «Видео» над строкой поиска Яндекса. Выход за пределы Рунета. Второе важное направление развития поиска Яндекса в 2008 году — поддержка международных стандартов, добавление в индекс сайтов на иностранных языках, расширение вовне из статуса национального поисковика. В апреле Яндекс объявил о том, что теперь индексирует (добавляет в собственную базу, по которой производится поиск) веб-страницы на иностранных языках. В базу начали добавляться сайты на доменах стран СНГ и крупные сайты со всего мира (в основном, из англоязычной зоны). Кроме того, Яндекс начал поддерживать ряд международных стандартов передачи данных: Sitemaps, протокол GZIP, MediaRSS и FOAF. Открытие калифорнийского офиса. В июне Яндекс открыл дочернюю исследовательскую компанию Yandex Laboratories в Кремниевой Долине, Калифорния, США. Возглавил компанию Виш Махеджани, бывший ру45
ководитель поиска Yahoo. Отложенный выход на биржу. Весь 2008 год Яндекс готовился к выходу на биржу в США. Многие действия компании пресса считала связанными с этой подготовкой. Информация о том, что российский поисковый гигант собирается выйти на биржу, оказалась интересна и западным газетам. Про Яндекс написали многие деловые и технологические издания, например The Sunday Times. Однако IPO Яндекса было отложено на 2009 год, очевидно, из-за мирового финансового кризиса.
5.2. Google
G
oogle в России продолжает активно развиваться и увеличивать свою долю поискового рынка Рунета. Попытка купить Бегун. Самый заметный
ход Google в 2008 году — это, конечно, попытка летом
2008 приобрести компанию Бегун, которая является одним из ведущих провайдеров контекстной рекламы. Google собирался приобрести Бегун у компании Рамблер. Рамблер владел только половиной Бегуна. Вторую половину он должен был выкупить у холдинга Финам, после чего Бегун перешёл бы в распоряжение Google. Установка поиска на портал Рамблер. Согласно пакетной сделке по покупке Бегуна между Рамблером и Google, последний должен был установить на rambler.ru 46
5.3. Рамблер собственный поисковый движок вместо рамблеровского. Это означало бы, что доля рынка Рамблера, одной из старейших и известнейших поисковых систем Рунета, приплюсовывалась к доле Google. Передел поискового рынка, однако, пока не состоялся. Федеральная Антимонопольная Служба РФ не дала разрешения Google приобрести Бегун. Поиск от Google на Рамблере тоже пока не заработал. Пока неизвестно, заработает ли он когда-нибудь. Выплаты AdSense через Рапиду. Google после долгого тестирования запустил возможность для вебмастеров получать через платёжную систему «Рапида» (почтовые отделения по России) деньги, которые они заработали за клики по контекстным объявлениям AdSense на их сайтах. Поиск по объявлениям. В августе Google открыл бета-версию поиска по объявлениям. Пользователи теперь могут искать по частным объявлениям, опубликованных на крупнейших сайтах Рунета (например, Slando, OLX, «Из рук в руки» и др.). Продвижение сервиса Вопросов и Ответов. Google открыл сервис Вопросов и Ответов (только в России) и продвигал его различными способами: собирал блоггеров в кафе, организовывал коммьюнити, нанимал для этого экспертов. Важно то, что в результаты поиска Google стали «замешиваться» страницы с Вопросов и Ответов. Это означает, в частности, что оптимизаторы могут воспользоваться этим проектом для продвижения своих сайтов.
47
«Открытый портал». В 2008 году Рамблер продолжал терять свою долю поискового рынка, измеряемую статистикой Liveinternet. Осенью компания объявила о том, что парадигма работы Rambler.ru изменяется. Теперь Рамблер — это открытый портал. Открытость в данном контексте означает, что Рамблер будет предоставлять пользователям доступ не только к своим многочисленным сервисам, но и к чужим. Так, запущен был блоговый аггрегатор «Рамблер.Друзья», а также появилась рубрика «Сайты дня», где ежедневно в обзорах упоминаются не только независимые сайты, но и сервисы-конкуренты Рамблера, например, фотохостинг Яндекса. Очевидно, концепция открытости подготавливалась как раз к переводу Рамблера на поиск от Google. Но поскольку этого не произошло, Рамблер пока продолжает использовать свои поисковые технологии. «Вертикальный поиск». С конца 2007 года Рамблер довольно долго готовил общественность к выпуску новой версии поиска, состоящей из «вертикалей». «Вертикаль» в данном контексте — это тематические агрегаторы контента, например, агрегатор товаров и цен nova.rambler.ru/price, созданный на основе каталога price.ru, или поиск по вакансиям nova.rambler.ru/vacancy. Затем пришли вести о покупке Бегуна и установке на Рамблер поиска Google. «Вертикальный поиск» так и не был выпущен. Сейчас не очень понятно, что стало с «вертикальным поиском», о котором представители Рамблера начали рассказывали ещё с ноября 2007 года на конференции «Поис48
5.4. Поиск@Mail.ru ковая оптимизация и продвижение сайтов в Интернете». В интервью Seonews.ru Аркадий Морейнис сказал, что «вертикального поиска» как отдельного продукта не будет, вертикали будут «замешаны» в основной поиск. Вертикальный поиск теперь представляет собой совокупность тематических каталогов на поддомене nova.rambler. ru, содержимое которых выдаётся в результатах основного поиска на rambler.ru по соответствующим запросам. Однако сейчас, если искать что-то в Рамблере, URL выдачи будет выглядеть как http://nova.rambler.ru/ srch?query=поисковый запрос. Из этого можно сделать вывод, что «вертикальный поиск» всё же заработал на Рамблере. Редизайн и катастрофа с долей рынка. Переход к концепции «открытого портала» сопровождался редизайном сайта rambler.ru. Редизайн произошел в первых числах октября 2008, и именно на эти дни, согласно статистике Liveinternet, приходится огромный спад доли рынка у поиска Рамблера. Третьего октября он упал ниже Поиска@Mail.ru. C того дня и до сих пор Рамблер больше не поисковик номер три, это место теперь занимает поиск на портале Mail.ru. Сотрудничество с BlinkX. В июле компания BlinkX объявила, что будет сотрудничать с Рамблером — предоставит порталу технологии поиска по видеороликам. На новом Рамблере уже работает поиск по видео.
49
Лицензионный поиск. У поиска search.mail.ru, который является одним из сервисов портала Mail.ru, относительно небольшая доля рынка (7% – 8%). Несмотря на это, Поиск@Mail.ru — это очень важная фигура на поисковой сцене. Сейчас этот поиск использует поисковую технологию Яндекса. Таким образом, теоретически 8% рыночной доли поиска Mail.ru можно приплюсовать к доле Яндекса. Если посчитать таким образом, Яндекс становится не так легко досягаем для Google. Хотя с точки зрения осведомлённости о бренде этой доли у Яндекса всё-таки нет — логотипа Яндекса на Mail.ru нет и большинство пользователей поиска на Mail.ru даже не знают, что пользуются поиском от Яндекса. Когда заканчивается срок договора между Mail.ru и Яндексом, представители компаний не раскрывают, но по словам Дмитрия Гришина, генерального директора Mail.ru,
5.5. Остальные поисковые системы Google тоже активно предлагает свой поиск порталу Mail.ru. Собственный поисковик Gogo. Кроме того, у компании Mail.ru есть поисковый алгоритм собственного изготовления. Он работает по адресу Gogo.ru. Эта поисковая система появилась не так давно, но успела за счёт быстрого роста качества поиска, а также активной рекламной поддержки Mail.ru, набрать заметную пользовательскую аудиторию. Gogo.ru позиционируется как энергичная, молодежная поисковая система, которая хорошо умеет ис50
кать видеоролики. Однако, совсем недавно компания Mail. ru приняла решение развивать и рекламировать видеопоиск на основном портале, по адресу video.mail.ru. О целях компании в отношении Gogo.ru можно лишь строить предположения. «На GoGo.Ru мы внедряем все наши инновационные разработки, тестируем новые dозможности и алгоритмы, не беспокоя аудиторию «большого» поиска», — так прокомментировала этот вопрос для рассылки компании «Ашманов и Партнеры» Анна Артамонова, вице-президент Mail.ru. По поводу дальнейшей судьбы поисковых проектов Mail.ru Анна сообщила следующее: «Пока эти проекты существуют отдельно, у них своя аудитория, отдельные — причем равно амбициозные — планы по развитию. GoGo.Ru частично уже интегрирован с ‘большим’ поиском Mail.Ru — в той его части, которая ищет по видео. GoGo.Ru же используется для ‘локального поиска’ по разным проектам портала. Что будет дальше — посмотрим». По данным наших анализаторов, технология поисковика Gogo довольно быстро развивается.
О
стальные поисковые системы заметны на фоне четырех лидирующих гораздо меньше. Nigma.ru, детище программистов из МГУ — это
метапоиск, на котором его создатели регулярно внедряют экспериментальные поисковые технологии (у Нигмы есть свой поисковый индекс). На Нигме есть некоторые собственные технологии (кластеризация, поиск по электронным библиотекам), но аудитория у неё всё равно растёт не очень заметно. Метапоиск — это технология, объединяющая по одному запросу выдачи нескольких поисковых систем и превращающая их в единую выдачу метапоисковой системы. Конкретный способ смешения выдач, пропорции в ней 51
сайтов из разных поисковиков — это вопросы, которые решает алгоритм метапоиска. Таким образом, метапоисковик — это не просто паразит на теле чужих поисковых систем, но и самостоятельный алгоритмический продукт. Самая последняя новость от Нигмы — появление у поисковика «способности» решать уравнения. Например, такие: x^4-x^2-2=0.
5.6. Выводы, тенденции В 2008 году появилась новая русскоязычная система полнотекстового поиска: Янга. Создал её Алексей Гурешов, под руководством которого в 2006 – 2007 годах разрабатывалась поисковая система Webalta.ru. Запуск и развитие Вебальты сопровождались активным продвижением системы, амбициозными обещаниями руководства захватить значительную долю рынка, частыми и шумными запусками новых возможностей и сервисов. К 2008 году, однако, поиск по адресу webalta.ru закрылся. Поисковая система была продана, а Алексей Гурешов сделал ещё одну. Она работает по адресу Yanga.net.ru. Разработчики системы экспериментируют с самыми разными параметрами поискового алгоритма, вследствие чего в Анализаторах Поисковых Систем показатели Янги скачут вверх и вниз со впечатляющими амплитудами. Поисковая система портала Liveinternet.ru — это вообще «поиск наизнанку». Она ранжирует сайт по конкретному запросу в зависимости от того, насколько часто счётчик Liveinternet фиксирует переходы на этот сайт по данному 52
запросу, то есть без Яндекса, Google, Рамблера этот поисковик вообще не мог бы работать. Поисковые системы американских компаний Yahoo (search.yahoo.com) и Microsoft (msn.com, live.com) в своих рунетовских версиях пока пребывают в анабиозе — заметных информационных поводов не создают, аудиторию увеличить не пытаются, и их доля поискового рынка остается стабильно маленькой.
И
так, что можно сказать о рынке поиска в Рунете на современном этапе? Очевидно, что Google хочет занять первое место, но номером 1 в Рунете всё ещё не
является и пока медленно запрягает: русифицирует сервисы, начинает рекламные кампании. Доля Google растёт, но может стабилизироваться в пределах 20 – 25%, если Google не сможет перепрыгнуть пропасть, отделяющую его аудиторию «гиков» и ориентированных на западные продукты пользователей от обычного массового пользователя Рунета. Яндекс справился с внутренним кризисом роста в 2006 – 2007 годах и начал быстро улучшать качество по-
иска. В настоящее время по большинству категорий Яндекс является лидером, а доля рынка перестала падать и вроде бы даже начинает расти. Рамблер стремительно теряет долю, перелома в этом процессе пока не видно. Какое решение примут владельцы компании в отношении развития своего поисковика или замены его на поиск Google, пока неясно. Тем временем из компании начался отток кадров. Поиск на Mail.ru стабильно, хотя и медленно, растёт. Есть целый ряд маленьких поисковиков со своей аудиторией, своими целями, своими интересными функциями. Вряд ли в ближайшее время кто-то из этого «длинно53
го хвоста» сможет подняться до уровня Яндекса и Google. Скорее, все эти поисковые системы выберут себе специализацию и будут её придерживаться. Специализации уже угадываются: Gogo.ru — поиск видео и картинок. Nigma.ru — поиск для любителей швейцарских ножей (возможность спросить все поисковики в одном месте), площадка для экспери-
«Расклад сил меняется.
ментов. Янга — система, ориентированная на поисковых оптимизаторов: она пока-
Яндекс стабилен, Google и Поиск@ Mail.ru растут, Рамблер падает. Мелочь не может преодолеть порог вхождения»
зывает обратные ссылки на сайт и сообщает об этих ссылках много ценной для SEO информации. MSN и Live.com — это поисковики Microsoft, софтверного гиганта, который уже много лет пытается достичь в области интернет-сервисов высот, сравнимых с успехом в разработке программного обеспечения. Несомненно, такая компания сможет сделать свой поиск заметным на любом рынке благодаря одним только своим рекламным возмож-
ностям. Но какой-то индивидуальности, особенности у её поисковиков в Рунете пока не заметно. Можно заключить, что классический горизонтальный (полнотекстовый) поиск ещё долго будет оставаться основным способом навигации по интернету как для новичков в нём, так и для профессионалов. «Эпоха Web 2.0» заметного влияния на развитие поисковых технологий не оказала. Основная тенденция развития больших поисковиков в 2008 году — переход к синтетической выдаче, когда по за54
просу выдаётся не 10 ссылок на сайты, а разнообразные поля, включающие ссылки на словари, энциклопедии, карты, фото, видео, блоги и всё это в единой странице результатов поиска. Некоторые
поисковые
компа-
нии, развивающие классический поиск, пробуют использовать обратную
«Основные технологические тенденции 2008: переход к синтетической выдаче результатов поиска, социальный поиск, понимание смысла запросов»
связь от пользователей (UGC — User Generated Content) для расширения возможностей поиска и повышения его качества. В первую очередь это Google, который в рамках Google Labs (экспериментально-исследовательского подразделения) позволяет пользователям добавлять или удалять сайты в свою выдачу, а также влиять на выдачу некоторыми другими способами. Правда, любые действия пользователя влияют лишь на его, «индивидуальную» выдачу Google. Таким
образом,
персонализа-
ция поиска — это ещё одно важное направление его развития. Сделать качественный поиск, оставляющий удовлетворенными пользователей с разными типами поведения, очень сложно. Гораздо проще создать пользователю условия для самостоятельной «подстройки» поиска под свои требования. Такая возможность есть у Google, а у Яндекса в 2008 году по55
Мы в компании «Ашманов и Партнеры» решили измерять качество поиска в русских поисковиках и вот уже более года анализируем и собираем информацию о качестве поиска на специальном сайте www.analyzethis.ru. Рассмотрим подробнее эти показатели.
6.1.1. Анализатор качества навигационного поиска явился сервис «Находки», который «записывает» запросы пользователя в его пользовательский профиль. Это первый шаг в сторону персонализации поиска. Ещё одна стратегия добавления пользовательского контента в классический поиск — это использование при построении поисковой выдачи информации, сгенерированной пользователями сервисов типа «Вопросы и Ответы». И наиболее заметные игроки, которые это делают, — Google и Mail.ru. Что касается «поисковых стартапов», судьба их крайне неопределённа. Создание поиска требует огромных интеллектуальных и технических ресурсов. Не меньшие усилия нужны и для того, чтобы новый поисковик был замечен рынком и чтобы он набрал хоть какую-то аудиторию. На Западе «поисковый стартап» в настоящее время — это компания, которая развивает отдельную поисковую технологию, решающую одну из множества задач поиска. Если разработка идет успешно, компания привлекает к себе внимание и покупается одним из ведущих игроков поискового рынка. Обычно это Google или Microsoft. 56
6.
Как работают анализаторы поисковых систем Сразу построить большой поисковик масштаба всего Интернета сейчас довольно сложно, поскольку сильно повысился порог вхождения (из-за величины Интернета). Хотя интерес у венчурных инвесторов к поисковым стартапам по-прежнему очень острый, новых «больших» поисковиков пока на горизонте не видно (не считая неудачного дебюта Cuil.com), возможно, они заявят о себе в 2009.
Рис. 14. Таблица значений показателя качества тематического поиска
57
6.1.2. Анализатор качества тематического поиска
Н
авигационный поиск — это поиск по навигационным запросам. Навигационным запросом считается запрос, с помощью которого человек ищет опре-
деленный сайт, например, запросы «библиотека мошкова», «газета жизнь», «телеканал спорт». Если нужный сайт есть на первой странице результатов поиска — хорошо, а если этот сайт на первом месте — это отлично. Если взять несколько сотен навигационных запросов и проверить их все в русских поисковиках, то мы сразу уви-
дим: в каких поисковиках нужные сайты находятся на первых местах, в каких поисковиках сайты находятся, но не на первом месте, а в каких — вообще нужных сайтов нет. Именно это и делает каждый день анализатор качества навигационного поиска — проверяет поисковики с помощью 200 навигационных запросов и выдаёт каждому поисковику оценку. Лучшим результатом в ответ на навигационный запрос является искомый сайт (маркер) на первой позиции поисковой выдачи. В Топ10 поисковой выдачи ищутся вхождения сайтов-маркеров. Если для запроса сайтов-маркеров задано несколько — учитывается вхождение любого из них на верхней позиции. Далее рассчитывается доля запросов, для которых на первой странице найден сайт-маркер. Это и является сводным показателем качества навигационного поиска. Лучшим считается поисковик с наибольшим сводным показателем по заданному анализатору. На рис. 14 можно увидеть результаты работы анализатора качества навигационного поиска в табличном виде. Ячейка со значением окрашивается в определенный цвет — чем хуже, тем больше красного цвета. 58
6.1.3. Подсказки и опечатки
П
оисковые запросы бывают разные. В основном поисковые запросы состоят из существительных и прилагательных. Большинство запросов — инфор-
мационные, то есть пользователь вводит слова в поиск, чтобы получить информацию, связанную с этими словами. Смысл таких запросов, конечно, человек может понять лучше, чем робот поисковой системы. Человек бы составил ответ на такой запрос с учетом предположения о том, какую информацию хотел бы получить спрашивающий, и с учетом того, что уже есть в Интернете на эту тему. Мы взяли 100 составленных вручную подборок сайтов в ответ на разные информационные запросы из экспертной системы Нейрон (www.neiron.ru). Важно, чтобы эти сайты
охватывали разные темы и отвечали максимально возможным ожиданиям пользователя. Например, для запроса «автомобили» среди отобранных должны быть сайты по продаже и аренде автомобилей, сравнительной оценке и тестам автомобилей, устройству и ремонту автомобилей, перспективным направлениям в развитии автомобилестроения и пр. Затем анализатор тематического поиска стал каждый день сравнивать выдачу поисковиков Рунета с выдачей, составленной экспертами. В идеале поисковики должны находить сайты, которые указали эксперты. То есть выдача поисковиков должна быть максимально похожа на подборку сайтов, составленную экспертами. Сводным показателем данного анализатора является доля результатов поисковой выдачи, совпавших с мнением экспертов, без учета позиции «совпавшего» сайта. Лучшим считается поисковик с наибольшим значением сводного показателя.
* http://download.yandex.ru/company/ yandex_search_autumn_2008_ru.pdf 59
П
о информации, полученной Яндексом в ходе исследования поисковых запросов за все 10 лет своей работы выяснилось, что 14 – 15% запросов пользо-
вателей к Яндексу содержат ошибки или опечатки*. Поис-
ковики определяют ошибку или опечатку на основе своей информации о том, какое написание слова встречается в Интернете наиболее часто. Возможны три стратегии обработки ошибочного запроса: • искать именно по этому запросу, никак не реагируя на его ошибочность; • показать выдачу по ошибочному запросу, но написать сверху подсказку: «возможно, вы искали <правильная форма запроса>?»; • понять, какое слово на самом деле имел в виду пользователь и показать выдачу по запросу с правильным
6.1.4. Анализатор качества поиска цитат написанием. Яндекс, например, использует и вторую, и третью стратегию исправления запросов. Google — только вторую. А Рамблер сейчас вообще никак не реагирует на опечатки. Анализатор качества подсказок работает с исправлением ошибок по второй стратегии. В данном анализаторе используются запросы с ошибочным написанием. Подсчитывается количество случаев, в которых поисковая машина предложила в подсказке правильный вариант. Большинство поисковых систем, заподозрив при вводе поискового запроса ошибку, пытаются предложить пользователю правильное написание запроса (правильным написанием, с точки зрения поисковика, является то, которое есть в словаре или чаще всего встречается в Интернете на 60
сайтах). Качество подсказок является важным дополнением к общему качеству поиска. Анализатор подсказок
6.1.5. Анализатор апдейтов поиска
ищет правильную подсказку (которую проверили люди) в поисковой выдаче по запросу с заведомой опечаткой. Чем больше случаев, когда подсказка содержит «правильную» форму запроса, тем лучше работает поисковик. Опечатки — это ошибки в слове, которые можно легко понять и исправить. Когда пользователи вводят в поиск «агенство» или «абреввиатура», то очевидно, что они просто сделали опечатку, и надо показывать результаты поиска по запросам с правильным написанием. Анализатор опечаток сравнивает результаты поиска по правильному написанию с результатами поиска по нескольким неправиль-
Рис. 13. Уровень апдейтов в поисковиках в I-III кварталах 2008
Яндекс
Rambler
gogo
aport
live.com
yahoo
61
ным написанием запросов. Чем больше совпадений — тем лучше поиск.
Ц
итатный поиск — это поиск конкретного текста по его известному фрагменту. Часто таким образом ищутся оригиналы литературных произведений.
Качественный поисковик должен выдавать ссылку на страницу, где содержится текст произведения, цитата из которого запрашивается. И желательно — поставить ее первой. Например, давая запрос «Я памятник себе воздвиг нерукотворный», пользователь скорее всего ищет текст стихотворения Пушкина, и ссылку именно на этот текст поисковик должен выдать на первой странице. Анализатор качества цитатного поиска проверяет в поисковиках несколько десятков запросов цитат и подсчитывает, сколько ссылок на страницы с нужным текстом поисковик показал на первой странице. Чем больше таких найденных оригиналов текстов, тем лучше работает поиск.
А
пдейт (от англ. update — «обновлять») — это процесс обновления результатов поиска за счёт добавления в индекс поисковой машины новых сайтов и
вебстраниц, а также за счёт доработки поисковых алгоритмов. Анализатор апдейтов ежедневно проверяет позиции первых десяти ссылок (Тор10) по 140 запросам и сравнивает, для какого количества сайтов позиция изменилась, а также насколько значительно она изменилась (значительное изменение — это, например, скачок сайта с первого места в выдаче на восьмое). То, насколько часто у поисковой системы проводятся апдейты, а также то, насколько сильно каждый апдейт меняет выдачу, может многое сказать о жизнедеятельности этой поисковой системы. Так, например, у Апорта апдейты очень редкие и очень
62
сильные. Это говорит о том, что жизнь поисковой системы складывается из длительных периодов «спячки» и бурных коротких пробуждений. Это соответствует тому, что мы знаем об Апорте: система давно потеряла свои когдато очень солидные позиции на поисковом рынке, никаких новостей от неё не слышно, никаких признаков желания развиваться не заметно. У Google апдейты очень частые и очень «лёгкие», не перекраивающие полностью выдачу. Это говорит о том, что поисковая система постоянно обновляется, растёт количественно и качественно — но простой пользователь этой работы не замечает. Встает вопрос — а замечает ли вообще апдейты простой пользователь? Или это интересно исключительно поисковым оптимизаторам, для которых апдейт — момент истины, возможность увидеть результаты собственной работы (и показать их своему клиенту)? Изучение поведения пользователей позволяет ответить положительно — людям апдейты небезразличны. Пользователи, особенно не интернет-профессионалы, часто используют поисковик, как своеобразный сервис хранения закладок. Например, вводят запрос «погода», открывают первую ссылку, по которой находится сайт www.gismeteo. ru, и смотрят прогноз погоды. А иногда поисковая строка даже замещает адресную строку в браузере: Яндекс фиксирует большое количество запросов вида odnoklassniki.ru. Если в результате апдейтов «апортовской» силы и «гугловской» частоты ссылка на Gismeteo будет скакать по выдаче с первого места на десятое, а потом на пятое, пользователя это не обрадует. Да и вообще, по выражению одного сотрудника Яндекса, «нехорошо вываливать на всеобщее обозрение унылые технологические кишки». А частые 63
Рыжкова Ксения, Директор по связям с общественностью компания «Ашманов и Партнеры» Раб.: +7 (495) 741-77-75 Моб.: +7 (926) 528-62-40 Факс: +7 (495) 741-77-75 e-mail: kr@ashmanov.com www.ashmanov.com www.optimization.ru