AppleBot : le crawler Apple contre Google

Le 12 mars, Apple a mis en ligne une page d’informations sur leur crawler web Applebot, officialisant son existence après spéculations et recrutements pour une division Apple Search. Va-t-on vers un moteur de recherche concurrent de Google, intégré à Safari ?

moteur de recherche ApplebotA l’automne 2014, certains webmasters attentifs avaient repéré dans leurs logs serveur un crawler provenant d’adresses IP Apple, laissant planer des suspicions sur un potentiel moteur de recherche Apple, concurrent de Bing et Google, Yandex et consorts.

La page française publiée il y a deux mois

Coup de théâtre très discret le 12 mars 2015 : Apple confirme l’existence d’un crawler web baptisé AppleBot, dans une page de support en ligne sur le site français . Largement ignorée, l’information n’a pas eu droit à une keynote de Tim Cook, la version anglaise de la page est publiéé le 5 mai, date où l’information est relevée par la communauté SEO USA, donc relayée en France. Peu de révélations, pas de mention d’un moteur de recherche, mais quelques détails techniques sont présentés :

  • Utilisé pour les suggestions Siri et Spotlight (« entre autres », même si ce sont les applis les plus évidentes)
  • L’user agent est « Applebot » et suit les consignes d’exploration du Googlebot dans le robots.txt. On peut toutefois lui appliquer des consignes propres, donc le bloquer si il est mal bridé et sature votre site.
  • Comme repéré en novembre, il est associé au bloc d’adresses 17.0.0.0
  • Dans les logs serveur, il ressemblera à ça. Sa version serait donc la 0.1 ? (Googlebot est à 2.1) :
    Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
  • Le bot « vérifier les balises meta », sans doute Title et Description. La meta robots est-elle respectée ?
  • Apple propose également une adresse de contact, en cas de questions/préoccupations.

On recrute pour Apple Search

Sur le site jobs.apple.com (rien à voir avec Steve), l’offre 36607344 pour un Engineering Project Manager – Apple Search donne quelques pistes.

Apple search offre d'emploi

Offre d’emploi pour Apple Search

Les services et fonctionnalités géolocalisées semblent centrales au poste. Peut-être pour booster le service Plans, concurrent de Google Maps mais pas encore au niveau.

Plus direct, le poste 37945640 d’Engineering Manager, sans doute déjà pourvu : un manager d’équipe comprenant des analyses de données et des ingénieurs ciblant la pertinence des recherches.

Emploi - Apple Search Relevance

Plus précis : la Search Relevance

On y lit que l’outil Spotlight dépend d’une quantité massive de données parcourues et indexées sur internet, prenant en compte notamment les interactions des utilisateurs avec les résultats de recherche (« is built on massive amount of data crawled from the Internet, sourced from feeds and generated from user interactions with search results »).

Niveau référencement naturel, on relève que cet Apple Search prend en compte des données comportementales, qui pourraient être les Taux de clic et Taux de rebond.

La Search Relevance team est donc déja en place chez Apple, la mission est d’apporter des « résultats de recherche pertinents » aux utilisateurs du service. La pertinence implique un algorithme pour remonter les meilleurs résultats de recherche. Un algorithme implique donc des facteurs de positionnement pour ce moteur de recherche Apple.

Vers un moteur de recherche Apple ?

Sur iOS, pour Siri et Spotlight, les mobinautes bénéficient des résultats de Bing. Pour Safari, les résultats proviennent de Google, en vertu d’un accord qui expire cette année. Safari étant le 2e navigateur web mondial, la perte de trafic serait immense pour Google (même si le cas de Yahoo passé par défaut sur Firefox a montré que l’internaute préfère toujours Google, et le remet par défaut). L’opportunité pour Apple de prendre son indépendance pour les résultats de recherche est donc parfaite.

Part de marché navigateurs web 2015

PDM mondiale des navigateurs web – T1 2015

Les informations données par Apple sont minimales, pas d’ambitions déclarées de développement d’un moteur de recherche propre, seulement une présentation de la technique en coulisse de Siri et Spotlight (sur iOS et OS X Yosemite). SearchEngineLand était très direct en novembre dernier en titrant « Apple Webcrawler : More Potential Evidence Of Search Ambitions ». Dans leur article du 6 mai, ils restent factuels. Mais renvoient vers un article plus révélateur : « Apple challenges Google with growing Web search program, fueled by Topsy acquisition » (« Apple défie Google avec un programme de moteur de recherche, grâce à l’acquisition de Topsy »).

Topsy est une société proposant un moteur de recherche sur Twitter (« tous les tweets depuis 2006 »), acquise par Apple pour 200 millions de $ en 2013. Bien que les tweets commencent à apparaître dans les suggestions Spotlight, c’est surtout la technologie de recherche et d’indexation qu’exploite Apple. Elle est responsable du mécanisme des suggestions de recherche (le « smart search »), anticipant les résultats.

Topsy recherche tweets

Topsy recherche dans les tweets

Parenthèse financière en juillet 2015

Un rapport récent des analystes de marché Axiom Capital évalue la rumeur, en termes d’implications financières.

« Les terminaux Apple représentent 37% des clics de Google aux USA. La communauté du search spécule depuis longtemps sur les développements des capacités de moteur de recherche Apple, qui pourrait le rendre opérationnel et par défaut sur iOS 9 dès cet automne. »

Assez réaliste, l’analyste poursuit :

« L’ancienneté de Google rend difficile pour des nouveaux entrants d’être pertinents. Le doute subsiste sur les intentions d’Apple, est-ce qu’ils visent une concurrence frontale de la même manière que Bing, ou bien une utilisation interne cantonnée à Siri et Spotlight ? C’est peu plausible que l’arrivée d’Apple dans le Search ait un impact à cout ou moyen-terme sur l’activité de recherche de Google. A long-terme, il y a un risque de succès d’Apple. »

Mais à long-terme, disait Keynes, nous serons tous morts.

Tendances recherche Applebot

L’info avait fait peu de bruit en novembre 2014, beaucoup plus en mai 2015.

Devra-t-on en 2016 travailler son référencement naturel pour un moteur Apple Search ? Google va-t-il passer sous les 90% de PDM ? Que pensent  Siri et Spotlight de l’Applebot ?

Applebot Siri Spotlight

Applebot ? Connais pas.

Les coulisses : Google a payé 1 Md de $ en 2014 à Apple

Le récent procès entre Oracle et Google aux USA a été l’occasion de divulguer certaines informations confidentielles : Google a versé 1 milliard de dollars à Apple pour rester le moteur de recherche par défaut sur iOS (iPhone et iPad). En plus de ça, Apple touche une partie des revenus que génère Google sur ces terminaux. Face à des rumeurs d’annulation de cet accord en 2015, des analystes avait conclu que la moitié des utilisateurs auraient reparamétré leurs réglages pour rétablir Google par défaut (15% du marché rien que pour les smartphones). On a relevé ce comportement lorsque Firefox a choisi Yahoo! comme moteur par défaut aux USA en 2014.

Remarquons que le fonctionnement de la recherche sur iPhone est problématique pour Google : passer par Spotlight affiche souvent une courte liste de sites suggérés, contournant ainsi une page de résultats d’un moteur de recherche. Et les revenus de Google proviennent essentiellement d’AdWords…

[Total : 5    Moyenne : 4.8/5]
Pour marque-pages : Permaliens.

Les commentaires sont fermés