Comment créer un meilleur moteur de recherche que Google

Par David Pierce, rédacteur en chef et co-animateur de Vergecast avec plus d'une décennie d'expérience dans le domaine de la technologie grand public. Auparavant, chez Protocol, The Wall Street Journal et Wired.

Sridhar Ramaswamy n'a pas quitté Google pour créer un autre moteur de recherche. Au moins pas au début. À la fin de son mandat de 15 ans chez Google, Ramaswamy dirigeait l'ensemble de la division publicité de l'entreprise, supervisant plus de 10 000 personnes – il savait mieux que quiconque combien de travail il fallait pour bien faire une recherche.

On ne peut presque pas surestimer à quel point Google est dominant dans la recherche. La plupart des études placent Google à environ 90 % du marché mondial de la recherche, et ce chiffre ne cesse d'augmenter depuis 20 ans. Google est le moteur de recherche par défaut dans presque tous les navigateurs et sur presque tous les appareils. Nous ne recherchons pas sur Internet ; nous le recherchons sur Google. Bing et Yahoo sont les deuxième et troisième plus grands acteurs, et à quand remonte la dernière fois que vous avez effectué un Bing ou un Yahoo sur quoi que ce soit ? Google a dépensé son énorme capital politique, technique et financier pour que cela reste ainsi.

Mais ce que Ramaswamy savait aussi mieux que quiconque, c'était tout ce que Google ne pouvait pas ou ne voulait pas faire à son moteur de recherche. Avec des milliards d'utilisateurs et des centaines de milliards de dollars à protéger, il était peu probable que Google envisage un jour d'importants changements dans sa page de résultats, de nouveaux modèles commerciaux ou tout autre type de produits susceptibles de réduire les recherches des utilisateurs. (Ramaswamy avait en fait testé une fonctionnalité appelée Google Contributor qui permettait aux gens de payer pour une expérience sans publicité sur certains sites. Cela n'a pas fonctionné.) Il y avait ici une opportunité de créer quelque chose que Google ne pouvait tout simplement pas ou ne voulait pas. Ainsi, lorsqu'il a quitté l'entreprise en 2018, Ramaswamy et Vivek Raghunathan – un dirigeant de longue date de Google et YouTube – ont cofondé une société appelée Neeva pour construire le moteur de recherche du futur.

Cette année, The Verge explore comment la recherche Google a transformé le Web en un lieu pour les robots – et comment l'émergence de l'IA menace Google lui-même.

La route a été semée d'embûches, mais l'équipe de Neeva a fini par créer un moteur de recherche dont elle était fière, un moteur de recherche qui a failli battre Google à la fois par les mesures internes de Neeva et par les études d'utilisateurs. Les personnes qui l'ont essayé l'ont apprécié, et Neeva avait une longue feuille de route remplie d'idées sur la façon d'améliorer encore la recherche. Encore un peu de temps, et ils pourraient très bien avoir construit l’avenir de la recherche. Mais seulement quatre ans plus tard, Neeva a fermé ses portes.

D'une certaine manière, le bref éclair de l'existence de Neeva raconte tout ce que vous devez savoir sur les 20 dernières années de suprématie des moteurs de recherche. Construire un moteur de recherche est difficile. En construire un meilleur que Google est encore plus difficile. Mais si vous voulez battre Google, un meilleur moteur de recherche n’est que le tout début. Et à partir de là, cela devient encore plus difficile.

Un moteur de recherche est à la fois une chose extrêmement complexe et une idée assez simple.

Tout ce qu'un moteur de recherche fait, en réalité, c'est compiler une base de données de pages Web – connue sous le nom d'« index de recherche » – puis parcourir cette base de données chaque fois que vous lancez une requête et servir l'ensemble de ces pages le meilleur et le plus pertinent. C'est tout le travail.

Cependant, à chaque petite étape de ce voyage, il existe d’énormes complications qui nécessitent des compromis critiques et complexes. La plupart d’entre eux se résument à deux choses : le temps et l’argent.

Même si vous pouviez hypothétiquement créer une base de données constamment mise à jour de tous les milliards de pages sur Internet, les coûts de stockage et de bande passante à eux seuls mettraient en faillite pratiquement n'importe quelle entreprise sur la planète. Et cela ne compte même pas le coût des recherches dans cette base de données des millions ou des milliards de fois par jour. Ajoutez à cela le fait que chaque milliseconde compte – Google annonce toujours la durée de chaque requête en haut de vos résultats – et de toute façon, vous n’avez pas le temps de parcourir l’ensemble de la base de données.

Construire votre propre moteur de recherche commence donc par une question étonnamment philosophique : qu'est-ce qui fait la qualité d'une page Web ? Vous devez décider ce qui constitue un désaccord raisonnable et ce qui constitue simplement de la désinformation. Vous devez déterminer combien d’annonces représentent trop d’annonces. Sites clairement écrits par l'IA et remplis de déchets SEO : mauvais. Blogs de recettes écrits par une personne et remplis de déchets SEO : généralement très bien. Porno? Parfois ça va, parfois non.