Créer son moteur de recherche personnalisé pour 10$
Un développeur britannique a créé Marlin, un moteur de recherche open-source personnalisé indexant 560 000 pages pour seulement 10$ de GPU cloud. Le projet utilise un petit modèle de langage pour catégoriser les pages selon ses centres d'intérêt, malgré des défis de classification.
« “I think this is very doable in a weekend, and cheap enough that the GPU bill isn’t the reason not to try,” » - The Register
Que faut-il retenir ?
- Marlin indexe 560 000 pages pour 10$ de GPU cloud.
- Le projet utilise moins de 1 Go de stockage.
- Le modèle de langage a généré 671 catégories uniques.
- Plus de 121 000 tags ont été créés, dont la moitié utilisés une seule fois.
Pourquoi cette nouvelle compte-t-elle ?
Ce projet démontre qu'il est possible de créer un moteur de recherche personnalisé à moindre coût. Il ouvre des perspectives pour des solutions de recherche alternatives, bien que des défis persistent dans la catégorisation automatique. La méthode pourrait inspirer d'autres développeurs à créer des outils similaires adaptés à leurs besoins spécifiques.
560 000 pages indexées pour 10$
💬 Alex Morley-Finch, Développeur logiciel basé à Nottingham
Public concerné : développeurs
Comment créer un moteur de recherche personnalisé à moindre coût ?
Avec Marlin, un projet open-source, il est possible d'indexer 560 000 pages pour 10$ en utilisant un GPU cloud. Le système utilise un modèle de langage pour catégoriser le contenu, bien que la classification automatique présente des défis.
