Переформатування браузера в епоху ШІ: від пошукових систем до розумних агентів
Третя війна браузерів тихо розгортається. Оглядаючи історію, від Netscape у 90-х роках до Microsoft IE, а потім до Firefox з відкритим кодом та Google Chrome, боротьба браузерів завжди була яскравим проявом контролю над платформами та зміни технологічних парадигм. Chrome завоював панівну позицію завдяки швидкості оновлень та екосистемній інтеграції, тоді як Google через "подвійну олігархію" пошуку та браузера сформував замкнуте коло інформаційного входу.
Проте сьогодні ця структура починає хитатися. Поява великих мовних моделей (LLM) призводить до того, що все більше користувачів виконують завдання на сторінках результатів пошуку без кліків, традиційна поведінка з переходами на веб-сторінки зменшується. Одночасно чутки про намір Apple замінити пошукову систему за замовчуванням у Safari ще більше загрожують прибутковій основі Alphabet, ринок починає виявляти занепокоєння щодо "традиційного пошуку".
Браузер сам по собі також стикається з перетворенням ролі. Він більше не просто інструмент для відображення веб-сторінок, а є контейнером, що об'єднує різні можливості, такі як введення даних, поведінка користувачів, приватність та ідентичність. AI Agent хоч і потужний, але для виконання складної взаємодії зі сторінками, виклику локальних ідентифікаційних даних та контролю елементів веб-сторінки все ще потрібно покладатися на довірчі межі та функціональні пісочниці браузера. Браузер перетворюється з людського інтерфейсу на платформу системного виклику для Agent.
Справжнім можливим руйнівником поточної ринкової ситуації браузерів є не ще один "кращий Chrome", а нова структура взаємодії: не просто показ інформації, а виклик завдань. Майбутні браузери повинні бути спроектовані для AI Agent - не лише читати, а й писати та виконувати. Проекти, такі як Browser Use, намагаються семантизувати структуру сторінки, перетворюючи візуальний інтерфейс у структурований текст, який може бути викликаний LLM, що значно знижує витрати на взаємодію.
На ринку вже почали з'являтися основні проекти: Perplexity створює рідний браузер Comet, використовуючи ШІ замість традиційних результатів пошуку; Brave поєднує захист конфіденційності з локальною інтерпретацією, посилюючи функції пошуку та блокування за допомогою LLM; а такі крипто-природні проекти, як Donut, намагаються знайти новий вхід для взаємодії між ШІ та активами на блокчейні. Спільною рисою цих проектів є спроба перебудувати вхідний бік браузера, а не покращувати його вихідний рівень.
Для підприємців можливість прихована в трикутних відносинах між введенням, структурою та агентом. Браузер як інтерфейс для виклику світу майбутнього Агентів означає, що той, хто може запропонувати структуровані, викликаючі, надійні "блоки можливостей", стане частиною нового покоління платформ. Від SEO до AEO (оптимізація двигуна агентів), від трафіку на сторінці до виклику ланцюгів завдань, форма продукту та дизайнерське мислення зазнають реконструкції. Третя війна браузерів відбувається в "введенні", а не в "представленні"; вирішальним фактором не є те, хто привернув увагу користувача, а хто здобув довіру Агентів і отримав доступ до викликів.
Історія розвитку браузерів
На початку 90-х років минулого століття, коли Інтернет ще не став частиною повсякденного життя, з'явився Netscape Navigator, немов вітрильник, що відкриває нові землі, відкриваючи мільйонам користувачів двері до цифрового світу. Цей браузер не був першим, але він став першим продуктом, який справді вийшов на масовий ринок і сформував досвід використання Інтернету. Тоді люди вперше могли так легко переглядати веб-сторінки через графічний інтерфейс, наче весь світ раптово став доступним.
Однак, блискучість зазвичай короткочасна. Microsoft швидко усвідомила важливість браузера і вирішила примусово інтегрувати Internet Explorer в операційну систему Windows, зробивши його браузером за замовчуванням. Ця стратегія стала "платформним козирем", який безпосередньо зруйнував домінування Netscape на ринку. Багато користувачів не обирали IE свідомо, а просто приймали його, оскільки він був за замовчуванням у системі. IE, завдяки розподільним можливостям Windows, швидко став домінуючою силою в індустрії, тоді як Netscape потрапила в колію занепаду.
У скрутному становищі інженери Netscape обрали радикальний і ідеалістичний шлях - вони відкрили вихідний код браузера та звернулися до спільноти з відкритим кодом. Це рішення, як ніби, стало технічним "македонським поступком", що символізує кінець старої ери та піднесення нових сил. Цей код згодом став основою проекту браузера Mozilla, спочатку названого Phoenix (означає "фенікс, що відроджується"), але через проблеми з товарним знаком кілька разів змінював назву, зрештою отримавши ім'я Firefox.
Firefox не є простим копіюванням Netscape, він досягнув численних проривів у користувацькому досвіді, екосистемі плагінів, безпеці тощо. Його народження стало символом перемоги відкритого програмного забезпечення та надало нову енергію всій індустрії. Дехто порівнює Firefox з "духовним спадкоємцем" Netscape, як Османська імперія успадкувала останні промені Візантії. Це порівняння хоча й перебільшене, але має свій зміст.
Але за кілька років до офіційного випуску Firefox, Microsoft вже випустила шість версій IE, завдяки перевазі часу та стратегії пакування системи, що змусило Firefox з самого початку опинитися в позиції наздоганяючого, що визначає, що ця гонка не є справедливою конкуренцією з рівної стартової лінії.
Водночас ще один ранній гравець тихо з'явився на сцені. У 1994 році з'явився браузер Opera, який походить з Норвегії і спочатку був лише експериментальним проектом. Але з версії 7.0 у 2003 році він впровадив власний движок Presto, першими підтримуючи CSS, адаптивну верстку, голосове управління та кодування Unicode та інші передові технології. Хоча кількість користувачів була обмеженою, технологічно він завжди залишався на передовій галузі, ставши "улюбленцем ґіків".
У той же рік Apple випустила браузер Safari. Це стало знаковим поворотом. Тоді Microsoft вклала 150 мільйонів доларів у Apple, що перебувала на межі банкрутства, щоб підтримати видимість конкуренції та уникнути антимонопольного розгляду. Хоча з моменту свого створення Safari використовував Google як пошукову систему за замовчуванням, ця історія з Microsoft символізує складні та тонкі стосунки між інтернет-гігантами: співпраця та конкуренція завжди йдуть поруч.
У 2007 році IE7 був випущений разом з Windows Vista, але ринкові відгуки були посередніми. Натомість Firefox, завдяки швидшій темпам оновлень, більш дружній механіці розширень та природній привабливості для розробників, поступово збільшив свою частку на ринку до приблизно 20%. Панування IE поступово слабшає, вітер змінюється.
Google є ще одним підходом. Хоча з 2001 року компанія почала розробку власного браузера, на переконання генерального директора Еріка Шмідта знадобилося шість років, щоб затвердити цей проект. Chrome був представлений у 2008 році, розроблений на основі відкритого проекту Chromium та движка WebKit, який використовує Safari. Його жартома називають "вагомим" браузером, але завдяки глибоким навичкам Google у рекламі та формуванні бренду, він швидко набрав популярності.
Ключовою зброєю Chrome є не функції, а частота оновлень версій (раз на шість тижнів) і єдиний досвід на всіх платформах. У листопаді 2011 року Chrome вперше перевищив Firefox, досягнувши 27% частки ринку; через шість місяців він знову перевершив IE, завершивши перехід від претендента до домінуючого.
Водночас, мобільний Інтернет у Китаї також формує свою екосистему. Один відомий браузер швидко став популярним на початку 2010-х років, особливо на нових ринках, таких як Індія, Індонезія та Китай, завдяки легкому дизайну, стисненню даних для економії трафіку та іншим характеристикам, які сподобалися користувачам бюджетних пристроїв. У 2015 році його частка на глобальному ринку мобільних браузерів перевищила 17%, а в Індії досягла 46%. Але ця перемога не була тривалою. У міру посилення урядом Індії перевірки безпеки китайських додатків, браузер був змушений вийти з ключового ринку і поступово втратив колишню славу.
У 2020-х роках домінування Chrome вже встановлено, глобальна частка ринку стабільно становить близько 65%. Варто зазначити, що хоча пошукова система Google і браузер Chrome належать до Alphabet, з точки зору ринку це дві незалежні гегемонії - перша контролює близько 90% глобальних пошукових входів, а друга має більшість користувачів, які заходять в інтернет через "перше вікно".
Щоб утримати цю подвійно монопольну структуру, Google не шкодує грошей. У 2022 році Alphabet виплатила Apple близько 20 мільярдів доларів лише для того, щоб Google зберегла статус за замовчуванням у Safari. Аналітики вказують, що ця витрата становить 36% від доходу Google від реклами пошуку, отриманого з трафіку Safari. Іншими словами, Google платить "захисний внесок" для свого" захисного поясу".
Але вітер знову змінився. Зі зростанням великих мовних моделей (LLM) традиційний пошук почав зазнавати удару. У 2024 році частка ринку пошуку Google впала з 93% до 89%, хоча він все ще домінує, але тріщини вже з'явилися. Ще більш руйнівним є чутка про те, що Apple може запустити власну AI пошукову систему - якщо Safari змінить за замовчуванням на власний пошук, це не тільки перепише екосистему, але й може похитнути прибуткову опору Alphabet. Ринок швидко відреагував, акції Alphabet впали з 170 доларів до 140 доларів, що відображає не лише паніку інвесторів, а й глибоке занепокоєння щодо майбутнього епохи пошуку.
Від Navigator до Chrome, від відкритих ідей до комерціалізації реклами, від легкого браузера до AI-пошукового помічника, боротьба браузерів завжди була війною за технології, платформи, контент і контроль. Поле бою постійно змінюється, але сутність ніколи не змінюється: хто контролює вхід, той визначає майбутнє.
В очах інвесторів, спираючись на нові потреби людей у пошукових системах в епоху LLM та ШІ, третя війна браузерів поступово розгортається. Нижче наведено деякі відомі проекти в секторі AI-браузерів та їх фінансування.
Застаріла архітектура сучасних браузерів
Обговорюючи архітектуру браузера, класична традиційна архітектура зображена на малюнку нижче:
Клієнт - фронтальний вхід
Запит через HTTPS до найближчого фронтенду, завершення TLS-розшифровки, QoS-дослідження та географічна маршрутизація. Якщо виявлено аномальний трафік (DDoS, автоматичне сканування), можна обмежити швидкість або викликати виклик на цьому рівні.
Розуміння запиту
Фронтальна частина повинна розуміти значення слів, введених користувачем, і для цього є три кроки: нейронна перевірка орфографії, виправлення "recpie" на "recipe"; розширення синонімів, перетворення "how to fix bike" на "repair bicycle". Аналіз намірів, визначення, чи є запит інформаційним, навігаційним чи торговим наміром, а також розподіл запитів за вертикалями.
Вибірковий відновлення
Технологія запитів, використовувана в деяких пошукових системах, називається: обернений індекс. У прямому індексі ми просто надаємо ID, щоб індексувати файл. Але користувач не може знати номер бажаного вмісту серед тисяч мільярдів файлів, тому використовується дуже традиційний обернений індекс, щоб знайти, які файли містять відповідні ключові слова. Далі використовується векторний індекс для обробки семантичного пошуку, тобто для пошуку вмісту, схожого за значенням на запит. Він перетворює текст, зображення та інший вміст на багатовимірні вектори (embedding) і виконує пошук на основі схожості між цими векторами. Наприклад, навіть якщо користувач шукає "як приготувати тісто для піци", пошукова система може повернути результати, пов'язані з "посібником по приготуванню тіста для піци", оскільки вони семантично схожі. Після оберненого індексу та векторного індексу буде приблизно 100 тисяч веб-сторінок, які пройдуть первинний відбір.
Багаторівневе сортування
Системи зазвичай фільтрують десятки тисяч кандидатних сторінок до приблизно 1000, використовуючи тисячі легких ознак, таких як BM25, TF-IDF, оцінка якості сторінки тощо, формуючи початковий кандидатний набір. Такі системи загалом називаються рекомендательними системами. Вони покладаються на масивні ознаки, що генеруються різними сутностями, включаючи поведінку користувачів, атрибути сторінок, наміри запиту та контекстуальні сигнали. Наприклад, одна пошукова система об'єднує історію користувача, відгуки інших користувачів, семантику сторінок, значення запиту та іншу інформацію, водночас враховуючи контекстуальні фактори, такі як час (період дня, конкретні дні тижня) та зовнішні події, такі як новини в реальному часі.
Глибоке навчання для основного сортування
На етапі попереднього пошуку певна пошукова система використовує такі технології, як RankBrain та Neural Matching, щоб зрозуміти семантику запиту та відфільтрувати попередньо релевантні результати з величезної кількості документів. RankBrain - це система машинного навчання, введена у 2015 році, що має на меті краще усвідомлювати значення запитів користувачів, особливо нових. Вона перетворює запити та документи у векторні представлення, розраховуючи їхню схожість, щоб знайти найбільш релевантні результати. Наприклад, для запиту "як зробити тісто для піци", навіть якщо в документі немає повного співпадіння.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
17 лайків
Нагородити
17
8
Поділіться
Прокоментувати
0/400
StopLossMaster
· 07-19 05:19
Смішно, знову почали вигравати, так?
Переглянути оригіналвідповісти на0
DegenGambler
· 07-19 05:00
Знову битва за життя і смерть серед гігантів. Гра закінчилась.
Переглянути оригіналвідповісти на0
OffchainOracle
· 07-17 12:09
Тепер Google справді стривожений, чи не так?
Переглянути оригіналвідповісти на0
FlashLoanLarry
· 07-16 05:55
гм...ще одна можливість захоплення вартості для оптимізації протоколу, якщо чесно
Майбутнє боротьби штучного інтелекту та браузера: шлях трансформації від пошукових систем до розумних агентів
Переформатування браузера в епоху ШІ: від пошукових систем до розумних агентів
Третя війна браузерів тихо розгортається. Оглядаючи історію, від Netscape у 90-х роках до Microsoft IE, а потім до Firefox з відкритим кодом та Google Chrome, боротьба браузерів завжди була яскравим проявом контролю над платформами та зміни технологічних парадигм. Chrome завоював панівну позицію завдяки швидкості оновлень та екосистемній інтеграції, тоді як Google через "подвійну олігархію" пошуку та браузера сформував замкнуте коло інформаційного входу.
Проте сьогодні ця структура починає хитатися. Поява великих мовних моделей (LLM) призводить до того, що все більше користувачів виконують завдання на сторінках результатів пошуку без кліків, традиційна поведінка з переходами на веб-сторінки зменшується. Одночасно чутки про намір Apple замінити пошукову систему за замовчуванням у Safari ще більше загрожують прибутковій основі Alphabet, ринок починає виявляти занепокоєння щодо "традиційного пошуку".
Браузер сам по собі також стикається з перетворенням ролі. Він більше не просто інструмент для відображення веб-сторінок, а є контейнером, що об'єднує різні можливості, такі як введення даних, поведінка користувачів, приватність та ідентичність. AI Agent хоч і потужний, але для виконання складної взаємодії зі сторінками, виклику локальних ідентифікаційних даних та контролю елементів веб-сторінки все ще потрібно покладатися на довірчі межі та функціональні пісочниці браузера. Браузер перетворюється з людського інтерфейсу на платформу системного виклику для Agent.
Справжнім можливим руйнівником поточної ринкової ситуації браузерів є не ще один "кращий Chrome", а нова структура взаємодії: не просто показ інформації, а виклик завдань. Майбутні браузери повинні бути спроектовані для AI Agent - не лише читати, а й писати та виконувати. Проекти, такі як Browser Use, намагаються семантизувати структуру сторінки, перетворюючи візуальний інтерфейс у структурований текст, який може бути викликаний LLM, що значно знижує витрати на взаємодію.
На ринку вже почали з'являтися основні проекти: Perplexity створює рідний браузер Comet, використовуючи ШІ замість традиційних результатів пошуку; Brave поєднує захист конфіденційності з локальною інтерпретацією, посилюючи функції пошуку та блокування за допомогою LLM; а такі крипто-природні проекти, як Donut, намагаються знайти новий вхід для взаємодії між ШІ та активами на блокчейні. Спільною рисою цих проектів є спроба перебудувати вхідний бік браузера, а не покращувати його вихідний рівень.
Для підприємців можливість прихована в трикутних відносинах між введенням, структурою та агентом. Браузер як інтерфейс для виклику світу майбутнього Агентів означає, що той, хто може запропонувати структуровані, викликаючі, надійні "блоки можливостей", стане частиною нового покоління платформ. Від SEO до AEO (оптимізація двигуна агентів), від трафіку на сторінці до виклику ланцюгів завдань, форма продукту та дизайнерське мислення зазнають реконструкції. Третя війна браузерів відбувається в "введенні", а не в "представленні"; вирішальним фактором не є те, хто привернув увагу користувача, а хто здобув довіру Агентів і отримав доступ до викликів.
Історія розвитку браузерів
На початку 90-х років минулого століття, коли Інтернет ще не став частиною повсякденного життя, з'явився Netscape Navigator, немов вітрильник, що відкриває нові землі, відкриваючи мільйонам користувачів двері до цифрового світу. Цей браузер не був першим, але він став першим продуктом, який справді вийшов на масовий ринок і сформував досвід використання Інтернету. Тоді люди вперше могли так легко переглядати веб-сторінки через графічний інтерфейс, наче весь світ раптово став доступним.
Однак, блискучість зазвичай короткочасна. Microsoft швидко усвідомила важливість браузера і вирішила примусово інтегрувати Internet Explorer в операційну систему Windows, зробивши його браузером за замовчуванням. Ця стратегія стала "платформним козирем", який безпосередньо зруйнував домінування Netscape на ринку. Багато користувачів не обирали IE свідомо, а просто приймали його, оскільки він був за замовчуванням у системі. IE, завдяки розподільним можливостям Windows, швидко став домінуючою силою в індустрії, тоді як Netscape потрапила в колію занепаду.
У скрутному становищі інженери Netscape обрали радикальний і ідеалістичний шлях - вони відкрили вихідний код браузера та звернулися до спільноти з відкритим кодом. Це рішення, як ніби, стало технічним "македонським поступком", що символізує кінець старої ери та піднесення нових сил. Цей код згодом став основою проекту браузера Mozilla, спочатку названого Phoenix (означає "фенікс, що відроджується"), але через проблеми з товарним знаком кілька разів змінював назву, зрештою отримавши ім'я Firefox.
Firefox не є простим копіюванням Netscape, він досягнув численних проривів у користувацькому досвіді, екосистемі плагінів, безпеці тощо. Його народження стало символом перемоги відкритого програмного забезпечення та надало нову енергію всій індустрії. Дехто порівнює Firefox з "духовним спадкоємцем" Netscape, як Османська імперія успадкувала останні промені Візантії. Це порівняння хоча й перебільшене, але має свій зміст.
Але за кілька років до офіційного випуску Firefox, Microsoft вже випустила шість версій IE, завдяки перевазі часу та стратегії пакування системи, що змусило Firefox з самого початку опинитися в позиції наздоганяючого, що визначає, що ця гонка не є справедливою конкуренцією з рівної стартової лінії.
Водночас ще один ранній гравець тихо з'явився на сцені. У 1994 році з'явився браузер Opera, який походить з Норвегії і спочатку був лише експериментальним проектом. Але з версії 7.0 у 2003 році він впровадив власний движок Presto, першими підтримуючи CSS, адаптивну верстку, голосове управління та кодування Unicode та інші передові технології. Хоча кількість користувачів була обмеженою, технологічно він завжди залишався на передовій галузі, ставши "улюбленцем ґіків".
У той же рік Apple випустила браузер Safari. Це стало знаковим поворотом. Тоді Microsoft вклала 150 мільйонів доларів у Apple, що перебувала на межі банкрутства, щоб підтримати видимість конкуренції та уникнути антимонопольного розгляду. Хоча з моменту свого створення Safari використовував Google як пошукову систему за замовчуванням, ця історія з Microsoft символізує складні та тонкі стосунки між інтернет-гігантами: співпраця та конкуренція завжди йдуть поруч.
У 2007 році IE7 був випущений разом з Windows Vista, але ринкові відгуки були посередніми. Натомість Firefox, завдяки швидшій темпам оновлень, більш дружній механіці розширень та природній привабливості для розробників, поступово збільшив свою частку на ринку до приблизно 20%. Панування IE поступово слабшає, вітер змінюється.
Google є ще одним підходом. Хоча з 2001 року компанія почала розробку власного браузера, на переконання генерального директора Еріка Шмідта знадобилося шість років, щоб затвердити цей проект. Chrome був представлений у 2008 році, розроблений на основі відкритого проекту Chromium та движка WebKit, який використовує Safari. Його жартома називають "вагомим" браузером, але завдяки глибоким навичкам Google у рекламі та формуванні бренду, він швидко набрав популярності.
Ключовою зброєю Chrome є не функції, а частота оновлень версій (раз на шість тижнів) і єдиний досвід на всіх платформах. У листопаді 2011 року Chrome вперше перевищив Firefox, досягнувши 27% частки ринку; через шість місяців він знову перевершив IE, завершивши перехід від претендента до домінуючого.
Водночас, мобільний Інтернет у Китаї також формує свою екосистему. Один відомий браузер швидко став популярним на початку 2010-х років, особливо на нових ринках, таких як Індія, Індонезія та Китай, завдяки легкому дизайну, стисненню даних для економії трафіку та іншим характеристикам, які сподобалися користувачам бюджетних пристроїв. У 2015 році його частка на глобальному ринку мобільних браузерів перевищила 17%, а в Індії досягла 46%. Але ця перемога не була тривалою. У міру посилення урядом Індії перевірки безпеки китайських додатків, браузер був змушений вийти з ключового ринку і поступово втратив колишню славу.
У 2020-х роках домінування Chrome вже встановлено, глобальна частка ринку стабільно становить близько 65%. Варто зазначити, що хоча пошукова система Google і браузер Chrome належать до Alphabet, з точки зору ринку це дві незалежні гегемонії - перша контролює близько 90% глобальних пошукових входів, а друга має більшість користувачів, які заходять в інтернет через "перше вікно".
Щоб утримати цю подвійно монопольну структуру, Google не шкодує грошей. У 2022 році Alphabet виплатила Apple близько 20 мільярдів доларів лише для того, щоб Google зберегла статус за замовчуванням у Safari. Аналітики вказують, що ця витрата становить 36% від доходу Google від реклами пошуку, отриманого з трафіку Safari. Іншими словами, Google платить "захисний внесок" для свого" захисного поясу".
Але вітер знову змінився. Зі зростанням великих мовних моделей (LLM) традиційний пошук почав зазнавати удару. У 2024 році частка ринку пошуку Google впала з 93% до 89%, хоча він все ще домінує, але тріщини вже з'явилися. Ще більш руйнівним є чутка про те, що Apple може запустити власну AI пошукову систему - якщо Safari змінить за замовчуванням на власний пошук, це не тільки перепише екосистему, але й може похитнути прибуткову опору Alphabet. Ринок швидко відреагував, акції Alphabet впали з 170 доларів до 140 доларів, що відображає не лише паніку інвесторів, а й глибоке занепокоєння щодо майбутнього епохи пошуку.
Від Navigator до Chrome, від відкритих ідей до комерціалізації реклами, від легкого браузера до AI-пошукового помічника, боротьба браузерів завжди була війною за технології, платформи, контент і контроль. Поле бою постійно змінюється, але сутність ніколи не змінюється: хто контролює вхід, той визначає майбутнє.
В очах інвесторів, спираючись на нові потреби людей у пошукових системах в епоху LLM та ШІ, третя війна браузерів поступово розгортається. Нижче наведено деякі відомі проекти в секторі AI-браузерів та їх фінансування.
Застаріла архітектура сучасних браузерів
Обговорюючи архітектуру браузера, класична традиційна архітектура зображена на малюнку нижче:
Клієнт - фронтальний вхід
Запит через HTTPS до найближчого фронтенду, завершення TLS-розшифровки, QoS-дослідження та географічна маршрутизація. Якщо виявлено аномальний трафік (DDoS, автоматичне сканування), можна обмежити швидкість або викликати виклик на цьому рівні.
Розуміння запиту
Фронтальна частина повинна розуміти значення слів, введених користувачем, і для цього є три кроки: нейронна перевірка орфографії, виправлення "recpie" на "recipe"; розширення синонімів, перетворення "how to fix bike" на "repair bicycle". Аналіз намірів, визначення, чи є запит інформаційним, навігаційним чи торговим наміром, а також розподіл запитів за вертикалями.
Вибірковий відновлення
Технологія запитів, використовувана в деяких пошукових системах, називається: обернений індекс. У прямому індексі ми просто надаємо ID, щоб індексувати файл. Але користувач не може знати номер бажаного вмісту серед тисяч мільярдів файлів, тому використовується дуже традиційний обернений індекс, щоб знайти, які файли містять відповідні ключові слова. Далі використовується векторний індекс для обробки семантичного пошуку, тобто для пошуку вмісту, схожого за значенням на запит. Він перетворює текст, зображення та інший вміст на багатовимірні вектори (embedding) і виконує пошук на основі схожості між цими векторами. Наприклад, навіть якщо користувач шукає "як приготувати тісто для піци", пошукова система може повернути результати, пов'язані з "посібником по приготуванню тіста для піци", оскільки вони семантично схожі. Після оберненого індексу та векторного індексу буде приблизно 100 тисяч веб-сторінок, які пройдуть первинний відбір.
Багаторівневе сортування
Системи зазвичай фільтрують десятки тисяч кандидатних сторінок до приблизно 1000, використовуючи тисячі легких ознак, таких як BM25, TF-IDF, оцінка якості сторінки тощо, формуючи початковий кандидатний набір. Такі системи загалом називаються рекомендательними системами. Вони покладаються на масивні ознаки, що генеруються різними сутностями, включаючи поведінку користувачів, атрибути сторінок, наміри запиту та контекстуальні сигнали. Наприклад, одна пошукова система об'єднує історію користувача, відгуки інших користувачів, семантику сторінок, значення запиту та іншу інформацію, водночас враховуючи контекстуальні фактори, такі як час (період дня, конкретні дні тижня) та зовнішні події, такі як новини в реальному часі.
Глибоке навчання для основного сортування
На етапі попереднього пошуку певна пошукова система використовує такі технології, як RankBrain та Neural Matching, щоб зрозуміти семантику запиту та відфільтрувати попередньо релевантні результати з величезної кількості документів. RankBrain - це система машинного навчання, введена у 2015 році, що має на меті краще усвідомлювати значення запитів користувачів, особливо нових. Вона перетворює запити та документи у векторні представлення, розраховуючи їхню схожість, щоб знайти найбільш релевантні результати. Наприклад, для запиту "як зробити тісто для піци", навіть якщо в документі немає повного співпадіння.