AltaVista, Lycos, Excite, HotBot и Ask Jeeves делили аудиторию веба до того, как в Google свели поиск к одной строке и ранжированию по ссылкам. В середине 1990-х каталог, который заполняли редакторы, конкурировал с машинным индексом на равных, а позиция страницы зависела от того, сколько раз в ней повторили нужное слово. Русскоязычный сегмент прошёл ту же дорогу с отставанием: домен .ru делегировали , а к концу 1997 года в русскоязычном сегменте работали уже три собственные поисковые системы. Разница между эпохами не сводится к качеству выдачи – тогда сам вопрос о том, как должен быть устроен поиск, оставался открытым.
Usenet и вебринги вместо поисковой строки
Привычка искать что угодно в одном окне сложилась не сразу. Страницы находили через каталоги, закладки, подписи в письмах и переходы со ссылки на ссылку: веб оставался достаточно небольшим, чтобы ручная систематизация конкурировала с машинной индексацией.
Ещё до первых крупных поисковых систем навык навигации по разрозненным материалам нарабатывали в Usenet, задуманном в 1979 году. В тематических группах новостей складывалась привычка искать через категории и сообщества, а не через один запрос: ссылки участники ставили в подписи к сообщениям, и известность ресурса росла сама собой. Тем, кому нужны были рекомендации понадёжнее, оставались модерируемые группы.
К середине 1990-х распространились вебринги. Владелец сайта получал блок кода, вставлял его в нижнюю часть страницы и попадал в тематическое кольцо, а список того, что идёт следующим, вёл отдельный человек. Саботажа тогда не опасались – репутация составителей списков считалась достаточной гарантией.
Вебринг – тематическое кольцо сайтов, связанных общим блоком навигации: с любой страницы посетитель переходил к следующему ресурсу списка, а порядок обхода задавал администратор кольца.
Вокруг вебрингов собирались микросообщества по узким интересам, иногда состоявшие из соседей по городу, – примерно так же, как это было в эпоху BBS. До появления крупных агрегаторов вроде Reddit вебринг оставался одним из немногих способов найти сайты по своей теме.
Заявку в каталог Yahoo рассматривали люди
Yahoo начинался как путеводитель по вебу с вложенными тематическими рубриками, который вели редакторы, а не формула ранжирования. Для молодого веба схема работала: люди отбирали приличные ресурсы, отсеивали очевидный мусор и удерживали хоть какой-то порядок в среде, которая росла быстрее любых списков.
Yahoo был как «Жёлтые страницы», только для сайтов.
– Николь М. Радзивилл, системный администратор и программист 1990-х
В веб-студиях середины 1990-х отправка готового сайта в каталог считалась кульминацией работы над проектом. Форму заполняли вручную, и в описании требовалось доказать живым редакторам, что бизнес существует и достаточно значим для основного раздела. Отклоняли и заявки, которые сегодня прошли бы без разговоров: сайт регионального отделения Американского онкологического общества сочли недостаточно значимым и посоветовали получить ссылку со страницы головной организации, которой у той ещё не было.
Ограничение такой модели проявилось быстро. Ручная разметка не масштабировалась, дорожала и отставала от роста сети; как только число страниц обогнало число редакторов, способных их разобрать, будущее осталось за поисковыми роботами и автоматическим ранжированием.
AltaVista и переход к машинному индексу
Проблему масштаба решали программно. В AltaVista, Lycos, Excite и HotBot индекс строили автоматически: роботы обходили сайты, а сортировка оставалась за формулой. Устройство систем различалось, но замысел был общим – собрать как можно большую часть веба и разбираться с этим ворохом уже машинными средствами.
AltaVista сочетала быстрый обход сети с индексацией, рассчитанной на рост, и вскоре после запуска обрабатывала миллионы HTTP-запросов в сутки. Поиск перестал напоминать листание каталога и стал похож на обращение к большой машине; поздние версии принимали и запросы, сформулированные обычным языком.
Запрос в AltaVista давал 40 тысяч результатов, после которых вы понимали не больше, чем если бы кричали в переполненной комнате.
– Марк Френд, директор Classroom365 Limited
Разбор такой выдачи требовал терпения и навыка, который нарабатывался годами. Зато ожидание, что ответ приходит мгновенно, закрепилось именно тогда: попробовав быстрый обход большого индекса, пользователи перестали мириться с медленными и неполными системами. Лидером поиска AltaVista так и не стала, зато требование мгновенного ответа досталось всем, кто пришёл следом.
Lycos, Excite и HotBot между порталом и индексом
Lycos и Excite держались посередине между инструментом и площадкой. Поиск у них соседствовал с новостями, почтой, спортом, погодой и финансами, и вся конструкция удерживала посетителя на сайте, а не отправляла его к страницам результатов. Под вывеской «поисковая система» тогда уживались справочники, автоматические индексы и порталы, где строка запроса была третьестепенной функцией.
За HotBot закрепилась репутация технически серьёзного проекта, а масштабируемую основу для него предоставила компания Inktomi. Тогда же стало заметно, что качество выдачи зависит и от размера индекса, и от устройства ранжирования: быстрый обход сети сам по себе ничего не гарантировал. Пока формула опиралась в основном на признаки внутри страницы, содержание проигрывало маркетингу – хватало набить текст нужными словами.
Ask Jeeves и вопросы обычным языком
В Ask Jeeves сделали ставку на вопрос, заданный так, как его задают знающему человеку, а не на подбор ключевых слов, и на общем фоне это выглядело проектом из будущего. Обещание опережало технику: пользователи формулировали неаккуратно, а извлекать намерение из произвольной фразы в те годы было нечем. Сходство с нынешними чат-ботами остаётся чисто внешним – ни глубокого обучения, ни больших языковых моделей за той конструкцией не стояло.
Рунет начинался с домена .su и каталога ссылок
Русскоязычный сегмент повторил ту же последовательность – сначала каталоги, затем роботы, – но с отставанием на несколько лет и со своими техническими поправками. Отсчёт ведут от четырёх дат.
- – первый сеанс связи с Хельсинкским университетом по международной телефонной линии: сеть, позже получившая название «Релком», соединилась с интернетом.
- – Ассоциация пользователей UNIX (SUUG) зарегистрировала домен верхнего уровня .su и взяла на себя его администрирование.
- – крупнейшие провайдеры подписали соглашение о порядке администрирования зоны .RU.
- – домен .ru внесли в международную базу национальных доменов верхнего уровня, администратором стал РосНИИРОС.
Первым сайтом новой зоны стал каталог ссылок Russia on the Net на русскоязычные и англоязычные страницы, то есть ровно тот жанр, с которого начинал Yahoo. Подробности делегирования зоны собраны в справочнике Координационного центра доменов .RU/.РФ.
Любительские и развлекательные проекты появились раньше поисковых машин: библиотека анекдотов anekdot.ru открылась в 1995 году и к 1997-му стала самым посещаемым ресурсом сегмента, работали каталог «Ау!» и первые чаты. Само слово «Рунет» появилось весной 1997 года в одной из сетевых колонок, а в 2001 году вошло в орфографический словарь РАН.
Rambler, Апорт и Яndex за полтора года
Первой публично показанной системой русскоязычного сегмента оказался «Апорт»: в феврале 1996 года его продемонстрировали на пресс-конференции компании «Агама», но искал он тогда по одному сайту, затем по четырём и шести серверам. Официальная презентация состоялась только , когда индекс охватывал уже весь русскоязычный сегмент.
Rambler запустила компания «Стек» из подмосковного Пущино, выросшая из сети научного городка: домен зарегистрировали , а поиск открыли . Собственную машину в компании взялись писать по вполне прикладной причине – зарубежные системы плохо разбирали кириллицу и страницы, свёрстанные в нескольких кодировках, да и глубина индексации русскоязычных сайтов у них была невелика. В 1997 году к поиску добавился счётчик и рейтинг-классификатор Rambler Top100.
Систему Яndex-Web анонсировали на выставке Softool. Для демонстрации проиндексировали весь рунет – около 5 тысяч сайтов и примерно 4 ГБ текста; посетители подходили к компьютеру, задавали запросы и получали ответы. При ранжировании учитывались морфология русского языка и расстояние между словами.
Морфологический поиск – сопоставление запроса со всеми словоформами: документ с косвенным падежом или другим числом находится по запросу в начальной форме, что для русского языка критично, а для английского почти не требуется.
Белый текст на белом фоне как рабочий приём
Профессиональной поисковой оптимизации в нынешнем виде ещё не существовало. Владельцы сайтов пытались улучшить видимость, но набор способов был коротким и очевидным: повтор ключевых слов, метаданные и ручная отправка адреса в каталог.
Адрес отправляли и терпеливо ждали, появится он в поиске или нет. О позициях тогда не говорили.
– Марк Френд, директор Classroom365 Limited
Метатег с ключевыми словами воспринимали всерьёз, а белый текст на белом фоне считался законным приёмом: слова для роботов прятали прямо в странице, не опасаясь санкций. К концу 1990-х такие страницы начали распознавать как поисковый спам и принимать меры, но сама лёгкость влияния на результат отражала главное свойство эпохи: ранжирование было проще и хрупче нынешнего, а обратная связь между издателем и системой ещё поддавалась проверке.
Поисковый спам (spamdexing) – приёмы, повышающие позицию страницы за счёт сигналов, не связанных с её содержанием: избыточный повтор ключевых слов, скрытый текст, подделка метаданных.
Как только поиск стал основным входом в веб, экспериментальная среда сменилась враждебной. Сайты начали писать не для читателей, а для поисковых роботов, и текст превратился в продукцию конвейера.
Ссылки вместо ключевых слов в ранжировании Google
Вклад Google состоял не в изобретении поиска, а в смене логики ранжирования. В PageRank ссылка учитывалась как признак авторитетности, и релевантность стала зависеть от того, как на страницу ссылается остальной веб. Результаты выглядели убедительнее, а простые способы накрутки перестали давать прежний эффект, хотя манипуляции никуда не делись.
Вторая половина решения пришлась на интерфейс: пустая страница с одной строкой и выдача, которая не мешает читать. Поиск окончательно перестал быть порталом-развлечением и превратился в служебный инструмент, а строка запроса стала входной дверью во весь веб.
Заключение
Эпоха до Google была медленнее и беспорядочнее нынешней, зато в ней уживались несовместимые ответы на один вопрос: кому доверять отбор – людям, роботам, рубрикам каталога или фразе на обычном языке. Ранние системы проиграли не потому, что были плохо сделаны; они решали задачу, которую веб уже поставил, но ещё не позволял решить одним способом.
Сеть была захламлённой и хаотичной, но куда более человеческим местом. Её делали живые люди в обычных текстовых редакторах.
– Марк Френд, директор Classroom365 Limited
Появление собственных поисковых машин русскоязычный сегмент уместил в полтора года, добавив к общей задаче свои условия – кириллицу в нескольких кодировках и словоизменение, из-за которого поиск по точной форме слова работал плохо. Тот, кто застал каталоги, вебринги и отправку адреса вручную, сегодня имеет дело с последствиями одного выбора: ссылка оказалась убедительнее ключевого слова, и веб перестроился под систему, которая этот выбор сделала.