Apple semble expérimenter l’exploration de sites web avec un crawler maison. Codé en langage Go, un bot Apple 17.147.18.35 -et.33- a été détecté par Jan Moesen, développeur attentif, qui relève que toutes les adresses IP débutant par 17 appartiennent à « la firme de Cupertino ».
MISE A JOUR
on me signale que de nouvelles révélations ont été faites sur un projet Apple Search
Does anyone know why Apple is running a web crawler (written in @golang, no less)? http://t.co/5JDTZuplQp
— Jan Moesen (@janmoesen) 6 Novembre 2014
Sur le site catenacycling.com , il remarque le passage du bot sur deux adresses IP différentes :
17.147.18.33 et . 35. Le premier est passé 7 fois le 15 octobre, le deuxième plus de 3000 fois le 6 novembre.
Une des lignes du log :
17.147.18.35 - - [06/Nov/2014:08:10:36 +0100] "GET / HTTP/1.1" 301 185 "-" "Mozilla/5.0 (compatible; Fetcher/0.1)"
A vue d’œil, ce crawler d’Apple n’explore que le contenu HTML, pas de JS, CSS ni de médias images ou vidéo. Aucune annonce n’a été faite. Des spéculations de Search Engine Land avancent que l’embauche de William Stasior, ancien directeur du développement chez Alta Vista, pourrait avoir un lien. Ils titrent sans ambiguité : Apple Webcrawler : More Potential Evidence Of Search Ambitions (« D’avantage de preuves potentielles des ambitions en search »).
Si on extrapole, à quoi peut servir un crawler (ou un spider) à Apple ? Un robot d’exploration parcoure les pages web, les examine, suit les liens pour accéder à d’autres sites, à la manière du comportement d’un internaute (vous pouvez les lancer vous-même avec des logiciels comme Xenu ou Screaming Frog). Deuxième étape : il indexe les informations récoltées, pour les organiser afin de montrer les plus pertinentes en premier si cet index est parcouru (par une requête de recherche).
Mais pour Apple ? On sait que l’assistant vocal des iPhone et iPad Siri et la recherche Spotlight(desktop et mobile) dépendent de Bing (Microsoft) pour les résultats glanés sur internet. Ces deux applications peuvent être considérées comme un moteur de recherche Apple, mais il manque toujours… l’index.
La rivalité avec Google et Microsoft est déja intense. Apple a déja abandonné Google Maps en tant qu’application de navigation native dès l’iOS 6 pour la remplacer par Plans. Au-delà de l’imprécision relative de l’appli, c’était une incursion dans un domaine où on ne l’attendait pas (la touche Tim Cook ?). Google est désormais concurrent frontal pour les smartphones et tablettes (terminaux et OS Android), en plus de l’assistant vocal Google Now qui bénéficie de l’index Google pour la recherche d’informations. Ironie, le langage de développement Go utilisé pour développer ce bot Apple est open-source mais provient de… Google.
Microsoft de son côté reste le 3e homme permanent, son Windows Phone grimpe doucement (3% de PDM) mais son moteur de recherche Bing n’a jamais pris depuis son lancement en 2009. Il reste objectivement assez performant, plus sophistiqué que Google sur certains points mineurs, mais suffisant pour être intégré à Siri et à la recherche Spotlight. Et à être un allié utile à Apple, malgré la rivalité historique dans le domaine des PC.
La firme à la pomme cherche t-elle à prendre son indépendance totale en développant un moteur de recherche Apple ? Affaire à suivre. Peut-être une annonce officielle au Apple Worldwide Developers Conference (WWDC) 2015 ?