S'identifier / Créer un compte
  • Actualités
  • Dossiers
  • Tests
  • Commentaires
  • INpactiens
Publicité

Panne nationale : le PDG d'Orange confirme la panne logicielle du HLR

It's not a feature

Le PDG d'Orange, Stéphane Richard, a été interrogé à l'assemblée nationale hier à partir de 16h20 par la commission des affaires économiques sur la fameuse panne de vendredi dernier. Une quinzaine de députés ont questionné le patron d'Orange, lui posant plusieurs dizaines de questions. Voici le bilan de cet échange qui a duré près de 2h et que vous pouvez visionner sur le site de l'Assemblée Nationale.

Stéphane Richard à l'Assemblée Nationale hier. 

"Une leçon d'humilité"

Selon Stéphane Richard, cette panne « rarissime » a eu lieu du vendredi 6 juillet à 15h jusqu'au samedi 7 juillet à 3h20. Plus précisément, Orange a constaté que le trafic s'est écroulé vers 15h. Un trafic supervisé à la seconde précise le PDG. Vers 15h30, la consommation était de seulement 30 % par rapport à une journée normale. Vers 19h, seuls 10 % des communications étaient acheminées par le réseau. Suite aux « efforts d'Orange », la voix et les SMS ont été en grande partie rétablis vers 23h, tandis que les données (data) l'ont été entre 00h15 et 3h du matin.

 

Un dispositif de crise maximale, une crise rouge, a immédiatement été mis en place mobilisant plus de 200 personnes. Orange a été confronté à un problème qui lui était inconnu au premier abord, ce qui explique les nombreuses heures de tâtonnement après 15h avant de résoudre le problème en pleine nuit. « C'est clairement pour nous aussi une leçon d'humilité » a affirmé Stéphane Richard, suite à cette crise quasi inédite chez Orange, qui a concerné ses 27 millions de clients sans compter les millions de clients de Free Mobile et des MVNO partenaires d'Orange.

Ce n'est pas une première

En effet, selon Richard, il faut remonter à l'année 2004 pour retrouver un incident de cette ampleur. Et à cette époque, la panne avait fait bien moins de bruit, notamment au niveau des médias, ce qui prouve l'importance prise par les réseaux mobiles et par Orange avance le PDG.

 

Stéphane Richard a cependant tenu à rappeler que ce type d'incidence n'était pas inédit dans le monde. Il y a ainsi eu un "black-out" de 48h en Norvège récemment. Et tous les grands réseaux aux USA ont été touchés ces 18 derniers mois par des pannes de très grandes ampleurs.

D'où vient la panne ?

Tout d'abord, pour le patron d'Orange, « la réactivité technique de l'entreprise face au problème n'est pas critiquable ». L'opérateur, du fait du caractère nouveau et imprévisible de la panne et de la cause, ne pouvait résoudre plus rapidement l'incident a estimé Stéphane Richard.


La cause de la panne est bien d'origine logicielle a rapidement confirmé le PDG. Elle a affecté l'un des éléments principaux du réseau mobile, à savoir le coeur du réseau (le coeur du système), qui gère tous les abonnés, notamment leur localisation a t-il expliqué. Les autres opérateurs, dont Free Mobile, ne sont donc en rien responsables de la panne.

 

Techniquement, Orange dispose d'un HLR (Home Location Register) comprenant 27 machines. Plus précisément, il y a deux types de machines : 6 machines dédiées à la base de données (back end), chacune d'entre elles étant triplée afin d'assurer le bon fonctionnement du réseau en cas de panne, soit 18 machines en tout. Enfin, il y a le "front end" comprenant 9 machines et qui n'est pas ici concerné par la panne.

 

Alcatel-Lucent est le fournisseur de ce HLR. Il s'agit d'un produit de dernière génération, mis en place en mai dernier a tenu à préciser Richard. Le matériel n'était donc pas obsolète. Néanmoins, une mise à jour du HLR a été réalisée 48h avant la panne. Il est ainsi fort probable que cette mise à jour soit la cause de ladite panne estime Stéphane Richard.

 

Et selon ce dernier, l'anomalie qui a été créée par cette mise à jour n'a créé aucune alerte. Peut-être s'agit-il d'un défaut de conception ou d'une défaillance humaine, le patron d'Orange n'en a aucune idée pour le moment. Le triplement des machines du back-end n'a donc pas servi puisque l'alerte automatique n'a pas été donnée.

Alcatel-Lucent, le grand coupable ?

Citée par Stéphane Richard lors de cette audition, qui rappelons-le était publique et en direct, la société Alcatel-Lucent pouvait d'un certain point de vue sembler être le coupable principal de cette panne, ce qui a été noté par un député. Stéphane Richard a cependant tenu à rétablir immédiatement la situation : « On a travaillé avec les équipes d'Alcatel-Lucent de manière parfaite. »

 

Le patron d'Orange ne souhaite ainsi en aucun cas faire porter la responsabilité sur Alcatel-Lucent. D'ailleurs, les mises à jour du HLR sont réalisées par l'ensemble des équipes d'Orange et Alcatel-Lucent, et non les employés de l'équipementier uniquement.

Les enseignements tirés par Orange

Un audit interne est actuellement en cours a assuré Stéphane Richard. Les conclusions de cet audit devraient être déposées sur son bureau le 10 septembre prochain. Un rapport d'étape sera cependant livré dès la fin du mois de juillet. Qui plus est, le gouvernement a demandé un rapport à Orange, qui a justement été remis à Fleur Pellerin hier après-midi. Stéphane Richard passera la semaine prochaine devant le Sénat pour fournir de plus amples informations. Enfin, l'ARCEP auditionnera le patron d'Orange ces prochains jours afin d'obtenir certains détails.


« Aujourd'hui, on mettrait beaucoup moins de temps à résoudre un problème équivalent » assure le patron d'Orange, qui a maintes fois répété le caractère exceptionnel et imprévisible de l'incident.

Quid des dédommagements ?

Conformément aux anciennes informations dévoilées par Orange, une journée illimitée de communication (voix) nationale et de SMS sera offerte entièrement début septembre lors de la semaine de la rentrée scolaire pour tous les clients forfait. Les clients en prépayé disposeront d'une journée de SMS illimités gratuite lors de la même période. Quant à ceux disposant d'un forfait illimité, 1 Go de données leur sera rajouté. Ceci sans compter qu'une place de cinéma sera offerte lors de la rentrée (hors week-end). Aucun rabais sur les forfaits ne sera réalisé.

 

Stéphane Richard précise que les clients seront avisés dans les huit jours qui viennent afin de savoir quelle journée précisément leur sera offerte. Ces dédommagements seront équivalents pour les clients particuliers que les clients professionnels a enfin tenu à rajouter le PDG.

 

Au sujet des professionnels justement, qui pourrait pour certains avoir perdu beaucoup d'argent lors de ce vendredi noir, Orange a tenu à préciser plusieurs points. « Nous n'avons pas été submergés par des personnes annonçant des pertes financières énormes.» Stéphane Richard explique qu'Orange n'a pas eu ce type de demandes tout simplement car les professionnels ont pu utiliser les réseaux mobiles des concurrents, mais aussi leurs lignes fixes...

Quelles conséquences pour Orange et les services d'urgence ?

Concernant Orange, des estimations précises des coûts seront dévoilées fin juillet. Pour le moment, Stéphane Richard considère de façon évasive que le coût de cette panne a été de plusieurs dizaines de millions d'euros, sans plus de précision.

Quant aux services d'urgence et notamment le 112, le patron d'Orange a assuré aux parlementaires de l'Assemblée Nationale qu'ils ont tous fonctionné durant la panne du fait de leur caractère prioritaire. Un incident national de cet ordre impactant des dizaines de millions d'abonnés à travers le pays n'a donc pas empêché le 112 de fonctionner normalement.

Du rififi avec l'ARCEP ?

Enfin, Stéphane Richard a rappelé à son auditoire que l'ARCEP n'est pas en charge de ce type de problème, tout du moins dans un premier temps. Lors de l'arrivée d'un tel incident, Orange doit ainsi en aviser le gouvernement, et plus précisément le ministère de l'Intérieur. Il n'y a ainsi pas d'obligation juridique d'informer l'ARCEP, même si le PDG d'Orange a contacté plusieurs fois le président de l'Autorité de régulation des télécoms.

 

Ces précisions ont été faites par Stéphane Richard alors que Jean-Ludovic Silicani, auditionné quelques heures avant Stéphane Richard par cette même commission, avait avoué avoir appris cette panne par les réseaux sociaux et non par Orange lui-même. Ce à quoi le PDG d'Orange a expliqué qu'aujourd'hui, grâce aux réseaux sociaux, n'importe qui pouvait être au courant d'un tel incident au bout de 5 minutes, et que contacter l'ARCEP n'était pas une urgence au moment des faits.

Nil Sanyas

Journaliste, éditorialiste, créateur des LIDD, aime les interviews insolites et les tablettes tactiles (malgré leurs défauts). Essentiellement présent sur Google+.

Google+

Publiée le 12/07/2012 à 08:00

Soutenez l'indépendance de Next INpact en devenant Premium

  • Tout le contenu de Next INpact sans pub
  • Et bien plus encore...

Il y a 78 commentaires

Avatar de Lordtoniok INpactien
Lordtoniok Le jeudi 12 juillet 2012 à 08:31:19
Inscrit le dimanche 11 septembre 05 - 181 commentaires
Ça me sidère toute l'ampleur que prend cette histoire pour une absence de réseau aussi courte en fin de semaine…
Avatar de SebGF INpactien
SebGF Le jeudi 12 juillet 2012 à 08:34:46
Inscrit le mercredi 16 septembre 09 - 4347 commentaires
Ça me sidère toute l'ampleur que prend cette histoire pour une absence de réseau aussi courte en fin de semaine…


Pareil, mais comme je disais sur l'autre actu, la transparence de Richard est appréciable.
Avatar de Quintus INpactien
Quintus Le jeudi 12 juillet 2012 à 08:36:13
Inscrit le mardi 2 septembre 08 - 155 commentaires
Néanmoins, une mise à jour du HLR a été réalisée 48h avant la panne. Il est ainsi fort probable que cette mise à jour soit la cause de ladite panne estime Stéphane Richard.

Pré-prod ? Tests ?
Avatar de blackdream INpactien
blackdream Le jeudi 12 juillet 2012 à 08:36:53
Inscrit le vendredi 16 avril 10 - 616 commentaires
Certaines personnes se rendent comptent que sans téléphone ils ne peuvent pas travailler. Avec la question parlementaire qui est arrivé juste après, ça a fait des vagues... Mais discuter avec le PDG d'Orange c'est une bonne chose, j'avais été agréablement surpris des questions posés aux différents PDG lors de l'arrivé de Free. L'assemblée s'intéresse a autre chose qu'à la répression, c'est bien.
Avatar de Sutka INpactien
Sutka Le jeudi 12 juillet 2012 à 08:45:55
Inscrit le samedi 7 juillet 07 - 2616 commentaires
Ça me sidère toute l'ampleur que prend cette histoire pour une absence de réseau aussi courte en fin de semaine…

Si c'était une panne locale c'est certain que ça aurait été abusé, mais là on parle d'une panne nationale et sur tous les échelons aussi bien pro que particulier.Donc c'est pas du tout de la petite panne.Donc ouai c'est quand même sacrément gros, et c'est plutôt une bonne chose que Stéphane Richard disent clairement ce qu'il s'est passé.Il n'empêche qu'une maj fasse autant de bordel c'est quand meme ultra craignos.
Avatar de ano_635024317595613686 INpactien
ano_635024317595613686 Le jeudi 12 juillet 2012 à 08:46:35
Inscrit le vendredi 16 mars 07 - 4152 commentaires

Pré-prod ? Tests ?


Tu sais... j'ai déjà vu de super softeux de Bengalore désactiver des remontées d'erreur de parité sur des caches processeur... pour que statistiquement ça "tombe en marche" plus longtemps... plutot que de chercher et corriger le pb. Au prix de difficultés de debug importantes ensuite.

Alors sur un HLR, le même type de zozos dans un secteur télécom ou tout le boulot part ailleurs (et pas seulement dans les centres d'appel des FAI hélas!) et ou on montre la sortie à ceux qui y sont ici encore (et continuaient néanmoins à faire le pompier) à coup de 0% (motivation au top assurée)...
Avatar de SebGF INpactien
SebGF Le jeudi 12 juillet 2012 à 08:51:30
Inscrit le mercredi 16 septembre 09 - 4347 commentaires

Pré-prod ? Tests ?


Dans tous les environnements où j'ai bossé j'ai jamais vu une mise en prod qui s'est déroulée de la même façon qu'elle s'est faite en préprod... Toujours une couille quelque part qui n'est pas remarquée en qualif...
Avatar de Quintus INpactien
Quintus Le jeudi 12 juillet 2012 à 08:54:05
Inscrit le mardi 2 septembre 08 - 155 commentaires

Tu sais... j'ai déjà vu de super softeux de Bengalore désactiver des remontées d'erreur de parité sur des caches processeur... pour que statistiquement ça "tombe en marche" plus longtemps...

Quelle marque de machines ?


Dans tous les environnements où j'ai bossé j'ai jamais vu une mise en prod qui s'est déroulée de la même façon qu'elle s'est faite en préprod... Toujours une couille quelque part qui n'est pas remarquée en qualif...

Sur un système critique comme ça tu prends le temps. Rien ne presse si ça marche ! Et surtout, je trouve ça surprenant d'avoir mis à jour toutes les machines des six clusters lors du même passage en prod.

Edité par Quintus le jeudi 12 juillet 2012 à 08:54
Avatar de deportivo35 INpactien
deportivo35 Le jeudi 12 juillet 2012 à 08:55:39
Inscrit le jeudi 8 mai 08 - 192 commentaires
Etonnant que ce ne soit pas un stagiaire qui ait trébuché sur un fil!
Avatar de tazvld INpactien
tazvld Le jeudi 12 juillet 2012 à 09:00:21
Inscrit le jeudi 10 novembre 11 - 1143 commentaires

Pré-prod ? Tests ?

J'imagine qu'un système clé comme celui ci est vérifié bien plus que n'importe quel logiciel.
Mais bon, derrière, il y a toujours la possibilité d'une erreur qui est passer au travers des filets. En particulier si l'on fait du multithreading, une connerie genre deadlock ou son contraire, la corruption des ressources partagées, est si vite arrivée et en plus ce genre de truc est tellement aléatoire qu'en phase de test, ça passe au travers.
Pour preuve que si c'est effectivement un erreur logiciel elle est bien caché : ça a tenu 48h avec plusieurs millions d'utilisateur dessus avant de cracher.
;