FLASH
Nigéria : attentat islamiste : 2 adolescentes se font exploser dans un marché de Maiduguri : 5 morts  |  Egypte : nouveau bilan de l’attentat islamiste contre la cathédrale copte du Caire après la messe : 25 morts, 30 blessés  |  Egypte : le bilan de l’attentat musulman à l’église copte après la messe dominicale monte à 20 morts et 35 blessés  |  Le Caire : l’attentat islamiste s’est produit à l’extérieur de la cathédrale copte Saint Marc dans un quartier chrétien  |  Istanbul : le nouveau bilan du double attentat islamiste est de 38 morts  |  Le Caire : nouveau bilan : 5 morts et 10 blessés lors d’un attentat islamiste  |  Le double attentat islamiste d’Istanbul a fait 29 morts dont 27 policiers et 166 blessés  |  Turquie : il viendrait de se produire 2 explosions massives à Istanbul  |  Selon des fuites, Rex Tillerson, PDG d’Exxon, futur Secrétaire d’Etat, en tandem avec John Bolton  |  Syrie : ISIS a recapturé une partie de Palmyre et dit avoir piégé des soldats russes et syriens  |  Londres : un musulman suspecté de préparer un attentat terroriste a été arrêté à son arrivée à l’aéroport de Stansted  |  Ministre de l’Int. Bruno Le Roux a triché dans son CV : il n’est pas 1 ancien HEC et ESSEC – moralité parfaite pour un ministre socialiste  |  Si Trump tient ses promesses, les démocrates risquent fortement de perdre 25 sur 33 sièges au Sénat en 2018 – un tsunami après la défaite présidentielle  |  Lors d’un meeting de Trump, le patron de Dow Chemicals annonce la création d’un centre de R&D dans le Michigan +700 emplois  |  Rotterdam : Le terroriste musulman appréhendé préparait une exécution – saloperie d’islam  | 
Rafraichir régulierement la page
Publié par Jean-Patrick Grumberg le 7 novembre 2011
Dans un parc industriel de Virginie, depuis un bâtiment sans prétention, la CIA lit les tweets – jusqu'à cinq millions par jour.
 
L’équipe, dont le surnom est les « bibliothécaires vengeurs » surveille aussi Facebook, les journaux, les nouvelles télévisées, les radios locales, et les forums de discussion sur Internet – quoi que ce soit à l'étranger ou aux Etats Unis.
 
De l'arabe au chinois mandarin, d'un tweeter en colère ou un blog sérieux comme Dreuz.info, les analystes recueillent les informations, dans leur langue originale. 
 
Ils font des références croisées avec les journaux locaux, ou avec des conversations téléphoniques clandestines interceptées. De là, ils établissent un rapport qui est remis en hauts niveaux à la Maison Blanche, car il donne un aperçu en temps réel de l'ambiance d'une région du monde après un évènement, comme par exemple l’élimination d’Oussama ben Laden, ou les révoltes du Moyen-Orient.
 
« Donc oui, ils ont vu arriver les soulèvements en Egypte, sans pouvoir dire exactement quand la révolution pourrait frapper », a déclaré le directeur du centre, Doug Naquin.
 
Le centre avait déjà « prédit que les médias sociaux, dans des endroits comme l'Egypte, pourrait changer la donne et menacer le régime », a déclaré Naquin dans une interview à l'Associated Press.
 
Ces installations de la CIA ont été mises en place selon une recommandation de la Commission des attentats du 11 septembre. Sa première priorité était de se concentrer sur la lutte antiterroriste et la contre-prolifération. La quelque centaines d’analystes – le nombre réel est classé top secret – vise plus large, de l’Internet chinois à la rue Pakistanaise.
 
Les analystes sont également disséminés dans les ambassades américaines du monde entier pour mieux sentir le pouls local.
 
Les analystes les plus talentueux, explique Naquin, ressemblent à l'héroïne du roman policier « La fille avec le tatouage dragon » (Millenium, les hommes qui n’aimaient pas les femmes – sortie en France en janvier 2012), une excentrique, une pirate informatique, irrévérencieuse, et qui « sait trouver des choses dont les gens ignorent jusqu’à l’existence. »
 
Ceux qui ont un diplôme de maîtrise de bibliothécaire en plusieurs langues, en particulier ceux qui ont grandi en parlant une autre langue, « font des officiers très efficaces », explique Naquin.
 
Le centre a commencé à se concentrer sur les médias sociaux, après avoir le rôle joué par Twitter pendant la Révolution verte de 2009 en Iran, quand des milliers de personnes ont contesté contre les résultats des élections qui ont mis le président iranien Mahmoud Ahmadinejad au pouvoir. « Le Perse était la troisième langue la plus utilisée sur les blogs et les médias sociaux, à cette période », déclarait Naquin.
 
Les analyses du centre se retrouvent dans les briefings au président Barack Obama, presque chaque jour.
 
Après l’élimination de Ben Laden, la CIA a suivi Twitter pour livrer à la Maison Blanche un instantané de l'opinion publique mondiale.
 
Comme les tweets ne sont pas rattachés à un lieu géographique, les analystes ont travaillé par langue. Résultat : La majorité des tweets en ourdou, la langue du Pakistan, et les tweets chinois, ont été négatifs. La Chine est un proche allié du Pakistan. 
 
Lorsque le président Obama a prononcé son discours sur le Proche-Orient, quelques semaines après le raid contre ben Laden, les tweets négatifs des 24 heures suivantes sont venus de la Turquie, d’Egypte, du Yémen, d’Algérie, du Golfe Persique, mais aussi d’Israël. Les tweets en arabe et en turc tweets accusant Obama d’être favorable à Israël, les tweets en hébreu dénonçant son discours comme pro-arabe. Et Obama avait ce rapport entre les mains dès le lendemain. 
 
Naquin : « Depuis peu, le centre compare les tendances des réseaux sociaux avec les résultats de sondages, afin de voir lesquels produisent les résultats les plus pointus ».
 
Naquin : « nous savons que nous risquons d’avoir une surreprésentation de l'élite urbaine », en reconnaissant que seule une petite partie de la population, dans de nombreuses régions surveillées, a accès aux ordinateurs et à internet. Cependant, l’accès aux médias sociaux via les téléphones portables est en croissance constante dans des zones comme l'Afrique, ce qui signifie qu'une partie « plus large que ce qu’on peut penser de la population est connectée, comparé aux abonnés Internet dans un pays donné ».
 
Naquin : « Les sites comme Facebook et Twitter sont aussi devenus essentiels pour suivre des crises soudaines telles que les émeutes de Bangkok en avril et mai de l'année dernière. » 
 
Naguin : « Les journalistes traditionnels n’avaient pas les infos car ils étaient coincés par le gouvernement, mais dans l’heure qui suivit, tout était sur Twitter et Facebook ».
 
Naguin : « La CIA vérifiait les tweets avec les rares nouvelles pour savoir qui fournissait des informations fiables. Twitter aussi s’auto police, dénonçant ceux qui publient une information inexacte. Cela nous a aidé à nous concentrer sur une poignée de tweeters que nous pouvions croire ».
 
Naguin : Finalement, environ les deux tiers des rapports sont venus de l'analyse de Twitter par la CIA.
 
Note de JPG : chaque fois qu’une crise que je souhaite suivre éclate, j’utilise Twitter, dont j’ai appris à maîtriser les fonctions moins visibles, mais aussi à déjouer les pièges, comme source principale de renseignement brut et instantanés, renseignements que je croise ensuite avec les informations des médias officiels – très rarement français, afin de me faire une idée la plus précise que possible de la situation réelle, et je constate, en toute modestie, que j’ai développé exactement les mêmes techniques de filtrage et de recoupement que celles décrites ici par la CIA.
 
Pour terminer, voici, à destinations de ceux de nos lecteurs qui ont une formation informatique, les dessous de l’architecture de Facebook, révélés sur Quora par Michaël Figuière, ingénieur informatique chez Xebia, et traduits par maniacgeek :
 
Michaël Figuière : « Le frond-end de Facebook (l’interface) est écrit en PHP Facebook Hip Hop (une version de PHP ultra optimisée conçu par Facebook). Ensuite, le code est compilé en C++ avec G++ pour offrir une interface réactive et performante indépendamment du nombre d’utilisateurs.
 
Le Business Logic (les algorithmes qui gérent les transactions entre la base de donnée et l’interface d’utilisateur) est basé sur des services de type Thrift. Certains de ces services sont conçus avec le PHP, C++ ou le JAVA selon les besoins.
Les services conçus en Java n’utilisent pas un environnement de logiciel propriétaire, mais c’est un composant qui a été crée par Facebook. La plupart des services utilisent principalement Thrift, car Tomcat ou Jetty ne seraient pas capables de gérer le nombre des transactions.
 
La persistence est géré par MySQL, MemCached, Cassandra et Hbase de Hadoop. MemCached est utilisé pour le cache de MySQL et des autres mémoires cache. Facebook délaisse progressivement Cassandra au profit de Hbase grâce à son modèle simplifié et l’intégration de MapReduce.
 
Les activités hors lignes sont gérées par Hadoop et Hive.
 
Les données tels que la connexion, les clics et les feeds sont gerées par Scribe et elles sont stockées avec Scribe-HDFS ce qui permet une analyse optimale avec MapReduce.
 
L’accélération du rendu des pages utilise la technologie personnalisée BigPipe.
 
Le cache Varnish est utilisé pour le proxying du HTTP.
 
Le stockage des milliards d’images est géré par HayStack, une solution de stockage développée par Facebook qui permet des optimisations de bas niveau.
 
Les messages de Facebook utilise sa propre architecture basée sur l’infrastructure Sharding et la gestion dynamique des clusters. Le Business Logic et la persistence sont encapsulés dans une entité appelée Cellule. Chaque Cellule gère un certain nombre d’utilisateurs et de nouvelles cellules peuvent être ajoutées si c’est nécessaire. La persistence est basé sur Hbase.
 
Le moteur de recherche des messages Facebook est conçu avec un index inversé qui est stocké dans Hbase.
 
La recherche TypeaHead utilise son propre module de stockage et une recherche logique.
 
Le chat Facebook est basé sur le serveur Epoll qui a été conçu par Erlang et son accès est géré par Thrift.
 
Les ressources matérielles pour faire fonctionner Facebook
 
Facebook possède environ 60 000 serveurs. Leur Datacenter dans la ville de Prineville dans l’Oregon est une architecture entièrement personnalisée qui est un projet de type Open Compute. On estime que 300 To de données seront stockées dans des processus MemCached.
Les clusters Hive et Hadoop de Facebook utilise 3000 serveurs de 8 coeurs, 32 Go de RAM et de 12 To d’espace disque ce qui fournit une puissance globale de 24 000 coeurs en processeur, 96 To de RAM et 36 Petabytes d’espace disque.
 
Chaque jour, Facebook génère environ 100 milliards de clic, 50 miliards d’images, 3 trillions d’objets qui utiisent le cache et leur fichier log d’une journée pèse 130 To (Statistiques 2010)
 
Reproduction autorisée, et même vivement encouragée, avec la mention suivante et le lien ci dessous : 
© Jean-Patrick Grumberg pour www.Dreuz.info et sources citées
 
http://news.yahoo.com/ap-exclusive-cia-following-twitter-facebook-081055316.html
http://www.quora.com/What-is-Facebooks-architecture?q=facebook+architecture
http://maniacgeek.wordpress.com/2011/11/04/larchitecture-technique-de-facebook/
Merci de cliquer sur J'aime pour soutenir Dreuz