L’ANSSI et le test Google

Je fais partie des premières générations d’étudiants de lycéens à avoir été autorisées à utiliser une calculatrice électronique au baccalauréat. J’ai donc connu les deux systèmes: la règle à calcul et les tables de logarithmes versus la calculatrice électronique. Autant vous dire que j’ai choisi mon camp immédiatement !

Et pourtant, je me souviens des querelles sans fin opposant les « pour » et les « contre », avec en ligne de mire la disparition des capacités intellectuelles des générations futures. Au passage, si je constate effectivement une baisse des aptitudes au calcul mental de mes étudiants, je me permets de constater une hausse très nette de leurs compétences dans bons nombres de domaines utiles au métier de l’ingénieur (mais j’y reviendrai).

Les professeurs de l’époque ont du s’adapter au monde nouveau qui s’imposait à eux. Ils ont du revoir les problèmes qu’ils donnaient à leurs élèves, parfois depuis plusieurs décennies. En effet, certains problèmes devenaient ridiculement faciles dès lors que l’on disposait de ce magnifique instrument de calcul. J’appelais ces problèmes « les tests calculatrices ». Certains professeurs ont mis plus de temps à s’adapter, ce qui m’a permis d’avoir parfois des notes inespérées, en particulier en chimie. Je me souviens de ces vieux professeurs qui nous grommelaient « comment ferez vous pour calculer vos logarithmes si la calculatrice tombe en panne »…

Il faut savoir accepter le progrès, s’adapter et accepter que certaines compétences deviennent obsolètes. L’utilisation des tables de logarithmes en fait partie.

L’accès facile à internet pour tous les étudiants, partout et tout le temps grâce aux téléphones mobiles, a changé la donne pour beaucoup d’enseignants et révolutionne la manière d’appréhender beaucoup de problèmes. Est-il nécessaire d’apprendre par cœur telle ou telle somme d’information quand elle est facilement accessible ? Quel type de savoir faut-il enseigner : la connaissance qu’une information existe, savoir la retrouver ou la connaissance en elle-même ? Chaque professeur répond à ce type de question selon sa pratique et son savoir-faire. Mais cela donne parfois lieu à ce que j’appelle « des tests Google », c’est-à-dire des tests où les réponses se trouvent facilement avec un moteur de recherche.

Je suis personnellement en plein questionnement sur mon devenir professionnel : je fais ma petite crise de la cinquantaine et, malgré un travail que j’aime et qui me propose encore beaucoup de défis, j’ai du mal à admettre que je ne pourrai plus jamais changer d’emploi dans les 15 années à venir, si je ne le fais pas maintenant. Je suis donc en train de répondre à des annonces et de passer des entretiens. Vu mon profil et mon expérience d’expert judiciaire, je recherche un poste dans l’analyse inforensique. Au passage, je remercie les lecteurs de ce blog et tous les twittos qui ont relayé l’information.

Et parmi les milliers centaines dizaines quelques offres sur ce créneau visibles sur le marché, j’ai répondu à une annonce de l’ANSSI. L’Agence Nationale de la Sécurité des Systèmes d’Information regroupe en effet de nombreux spécialistes de l’investigation numérique, dont quelques uns que j’ai pu rencontrer au SSTIC. C’est donc avec une vrai envie de travailler avec ces personnes que je me suis rendu à l’entretien d’embauche qui m’a été proposé.

J’ai accepté de ne pas dévoiler le contenu de cet entretien, aussi je ne vous donnerai pas de détails sur son déroulement, rien sur la confiscation de mes téléphones à l’accueil, je n’aborderai pas la difficulté de trouver l’adresse, ni la climatisation en panne.

Un point m’a néanmoins surpris: les recruteurs m’ont fait passer ce que j’appelle un « test Google ». Appelé « test technique », il s’agit d’un long formulaire comportant de nombreuses questions techniques sur tous les aspects de l’inforensique. Toutes les réponses de ce test se trouvent facilement sur Google. Sauf que je n’avais pas accès à internet…

Le problème est que je travaille depuis de nombreuses années avec un accès internet (depuis 1990 en fait), et que j’ai pris l’habitude d’intégrer cet outil dans ma manière de travailler. A cinquante ans, je n’apprends plus par cœur les paramètres des commandes UNIX que je n’utilise que de temps en temps. Je n’apprends plus par cœur les définitions des concepts que je manipule. Lorsque j’ai besoin de construire une expression rationnelle, je le fais avec l’aide d’internet. Quand j’ai un doute sur l’orthographe d’un mot, je le googlise.

Bref, j’utilise internet comme une gigantesque encyclopédie. Et de la même manière qu’avec la calculatrice, j’ai oublié la manière de « calculer les logarithmes avec les tables », j’ai placé un certain nombre de mes connaissances « dans le nuage »… Pas toutes bien sur, mais celles qu’il me semble inutile d’encombrer mon esprit. Pareillement, je ne retiens aucun numéro de téléphone ni rendez-vous: une partie de ma vie est dans mon téléphone…

Je sais, c’est mal pour exercer sa mémoire. J’ai longtemps un peu lutté contre cette fainéantise, mais mon naturel a pris le dessus. Pourquoi faire cet effort, quand tant d’autres efforts sont à faire !

Ce qui fait que je me suis trouvé ridicule à ne pas savoir répondre à certaines questions du formulaire ANSSI, telle que « quelle est la différence entre un processus et un thread ». Ne riez pas.

Pourtant, je suis persuadé que la mesure des connaissances, que ce soit pour évaluer un étudiant ou un candidat à l’embauche, doit être autre chose qu’un « test Google ». J’aurais préféré qu’on ai un peu plus confiance en ma capacité à apprendre, à m’adapter. J’aurais préféré qu’on regarde un peu plus mon parcours, mes réalisations, mes succès et mes échecs.

J’aurais préféré qu’on ne me dise pas « bossez un peu plus l’inforensique des systèmes live et revenez dans deux ans ». Même si c’est vrai.

Dans deux ans, j’aurai des lunettes Google et je réussirai tous les tests Google!

Dans deux ans, j’aurai peut-être réussi à travailler avec les meilleurs de l’ANSSI!

Mais dans deux ans, j’aurai 52 ans.

xkcd « Tar » https://xkcd.com/1168/

30 réflexions sur « L’ANSSI et le test Google »

  1. Intéressante question : enseignant en fac de sciences, je m'aperçois que beaucoup d'étudiants ont toujours utilisé des formulaires et sont bien incapables de savoir spontanément répondre à une question simple comme la dérivée de sin(x). Outre la perte de temps pour retrouver l'info, je crois aussi que cela limite leur capacité à comprendre, réfléchir et à créer. Il leur manque le minimum de données. En gros, leur mémoire vive est toute petite ou vide, tout est sur le disque dur ou sur le réseau. Par conséquent, la donnée dont il pourrait avoir besoin pour comprendre ou résoudre un problème n'est pas immédiatement accessible et ils peuvent passer à côté.
    Je me trompe peut être mais je crois qu'il y a tout de même un minimum de données à intégrer, à conserver codées en dur dans un coin de la tête…

    • Le jour où la question qui fait perdre trop de temps deviendra tellement fréquente que le problème de temps deviendra significatif, alors la réponse sera apprise d'elle même avec la fréquence et un peu de bonne volonté. Entre temps il y a peut être plus important à comprendre et à apprendre.

      Alors oui il y a un minimum à garder, mais avant ce minimum était très large, parce qu'on devait couvrir beaucoup de choses "au cas où". Maintenant, finalement, ce minimum se renouvelle de lui-même. Si j'utilise peu quelque chose, je l'oublie un peu, et j'apprends en même temps naturellement quelque chose dont j'ai besoin plus souvent.

      Si je ne connais pas quelque chose, c'est que ça ne fait pas partie de mon minimum, ou que la démarche pour l'apprendre ne me donnerait pas assez de retour sur investissement.

      Note tout de même : Ça ne fonctionne que si je suis en mesure de comprendre et d'apprendre, donc ça ne vaut pas pour une partie de la formation/éducation initiale (quand j'étudie un procédé, faire la démarche plutôt que chercher la solution *est* utile, par contre je peux utiliser Internet pour tout le reste qui m'aide à comprendre et intégrer la démarche).

  2. Je sais qu'en Droit, je notais toujours mieux une copie avec peu de normes mais bien employées que les copies bourrées de données mais non ou mal traitées.

    C'est dommage que l'ANSSI ne fasse pas de recrutement intelligent…

    • J'ai toujours donné à mes étudiants le droit d'utiliser tous les moyens d'accès aux connaissances (y compris internet) pendant les examens. Mais bien entendu, mes sujets en tenaient compte et demandaient d'être capable de faire une synthèse des connaissances et de montrer qu'elles étaient maîtrisées ou en tout cas maîtrisables.

  3. Pour les examens papier il y a un problème d'égalité à autoriser l'utilisation d'un smartphone, ou alors il faut qu'il y en ait un de fournit par l'établissement.

    Sinon pour les questions "google", je pense un peu comme Kurun, bien que c'est sûr qu'il est inutile de mémoriser des choses qui ne nous servent qu'une fois par an.
    Mais justement si on ne sait pas répondre ça montre quand même que l'on utilise pas l'information correspondante quotidiennement puisque sinon on finit pas s'en souvenir même sans chercher à le faire. Ca ne veut pas dire qu'on ne pourra pas retrouver l'information mais ça peut donner une idée des domaines dans lequel le candidat a travaillé et donc de son expérience.
    Par exemple pour moi la question processus/thread me paraît évidente parce que ça touche à des domaines sur lesquels j'ai travaillé, mais je suis sûr qu'il y a plein de questions qui t'ont semblé évidente auquel je n'aurait pas su répondre parce que je n'ai jamais fait d'expertise judiciaire.

    • Pour autant, un tel questionnaire n'informe que sur la mémorisation d'une information, pas sur la capacité à la retrouver rapidement et à l'exploiter correctement.

    • Par ailleurs, je crois que l’État ne fournit pas les calculatrices utilisées au Bac par les lycéens… Dans le cas de l'école où je travaille, si l'enseignant souhaite proposer un accès internet aux étudiants, l'examen a lieu dans les salles informatiques.

      Mais on s'écarte un peu du recrutement d'un candidat à un emploi, non ?

  4. Je connais la différence entre un processus et un thread (et même les structures précises que des outils d'analyse inforensique comme Volatility peuvent cibler dans un dump de mémoire pour en faire la liste) et pourtant l'ANSSI ne m'a pas fait l'honneur de m'inviter à venir remplir ses formulaires ! (j'avoue être un peu jeune et ne pas être l'auteur d'un blog aussi plaisant à lire 😉 )
    En ce qui concerne l'évaluation des compétences, je regrette que la solution du "challenge" ne soit pas plus répandue (j'ai le souvenir d'offres d'emploi à la DGA MI qui évoquaient cette possibilité).
    Ceci dit, concernant l'ANSSI, je ne crois pas que le challenge caché dans leur fond d'écran ait été résolu à ce jour…

  5. Je vous avais souhaité bonne chance sur tweeter mais visiblement ça n'a pas suffit ! 😉
    Pour alimenter le débat sur le recrutement en IT, vous pouvez jeter un œil sur notre propre process, qui est bien loin de ce qui se fait à l'anssi : https://lifeat.tetrane.com/2012/02/recruter-un-ingenieur-r-logiciel.html
    Alors certes, nous on cherche des *ingénieurs R&D*, mais je suis persuadé que sur le fond, tout bon recrutement IT devrait se baser sur ces concepts (que j'ai pompé chez Joel Spolsky, très connu pour son blog https://www.joelonsoftware.com/). Ça marche chez Stack-overflow et les autres boites de Joel, ça marche chez nous, et je connais pas mal d'autres exemples prestigieux qui suivent ces principes (dont certains labos IT spécialisés du mindef). Peut être l'anssi est encore trop jeune pour savoir s'affranchir de certains côtés "obligés" de l'administration…

  6. Bonjour Zythom et vos lecteurs!

    Je ne reviendrai pas sur le coté google ou pas (je suis ingé sys…). juste pourquoi j'apprécie le perl? pour cpan.org!
    ça suffit après on est une sacrée génération de fainéant et la diffèrence avec un type qui ce souvient des commandes et options qui vont avec se fait sur le temps et le temps c'est de l'argent! d'ou les offres d'emplois ou les rh recherchent un type avec 3 ou 5 ans d'XP dans le même poste. ayant fait beaucoup de support et d'admin je peux vous dire qu'après 5 ans on a envie de voir autre chose!
    non la ou j'aimerai ecrire une bonne tartine mais je ne peux pas (je "travaille") c'est sur le recrutement et surtout sur le process et la rémunération.
    J'ai passé un entretien avec une grande ssii avec un gentil rh : "l'alterance c'est super!!!" puis "vous etes sortis en 2011 donc vous avez 2 ans d'xp donc on vous paye 35K" donc l'alterannce ne compte pas.
    La boite ou je suis maintenant (grande ssii aussi) : "on vous propose 35, vous comprenez nous avons des grilles salariales". le problème est la! je suis jeune d'accord mais la différence entre un ingé et un bon ingé se fera sur ses capacités à apprendre, à comprendre et à s'adapter à un environement X. et ca c'est l'expèrience qui le fait! j'ai rencontré un paquet d'ingé, d'admins et de techniciens! c'est leurs facon d'apréhender le travail qui fait qu'ils soient bon ou pas et ça en france en tout cas on s'en fout!

    tant pis pour nous, nous n'avons que les sociétés que nous merittons.

    je file pour le canton de genève en janvier. ca ne sera peut-etre pas mieux humainement mais comme c'est chacun pour soit pour son salaire, j'en veux un plus gros 😀

    désolé je suis un peu dégouté des ssii françaises.

  7. Pour la calculette, elle n'est pas fournie par l'état mais dans l'école où j'étais au Lycée en tout cas, elle faisait partie des fournitures scolaires à avoir, comme les livres de cours.
    Pour l'accès à internet, il est également difficile de faire de même pour des examens importants puisque très difficile d'empêcher la triche (les élèves peuvent partager les réponses en postant sur un forum ou même avoir un complice qui leur donne les réponses).
    Mais on s'éloigne en effet du sujet principal, je rebondissais juste sur le commentaire sur le "droit d'utiliser tous les moyens d'accès aux connaissances (y compris internet) pendant les examens".

    Pour en revenir au candidat à l'emploi, la grande différence avec les cours c'est que les questions ne portent pas sur un sujet précis (le cours) que le candidat n'a qu'à apprendre par coeur sans comprendre.
    Après je préfère également des questions qui permettent de montrer que l'on est capable d'analyser un problème et de proposer une démarche pour le résoudre, mais je suppose que les deux peuvent être complémentaires.
    Je ne connais pas la procédure de recrutement de l'ANSII mais peut être d'ailleurs que ce genre de questions (qui demande plus d'effort pour analyser les réponse) sont posées lors d'entretiens suivants.
    D'ailleurs perso je n'aime pas trop ce genre de recrutement avec différents examens et plusieurs entretiens. C'est un peu comme la politique, celui qui est élu est sans doute le meilleur pour se faire élire mais généralement pas le meilleur pour exercer le poste…
    Après de toute façon je ne connais pas d'entretien idéal (à part mettre une personne à l'essai plusieurs mois ^^) et même si ça élimine sans doute de bons candidats ça doit aussi filtrer beaucoup de personnes qui n'étaient pas adaptées au poste.

  8. L'examen le plus dur que j'ai passé à eu lieu dans une bibliothèque, avec bien sur l'autorisation de s'en servir ainsi que de tout documents.

    L'argument de l'examineuteur étant qu'il s'en fout d'avoir des singes savants qui apprennent par cœurs des théorèmes, ce qui l'intéresse c'est de savoir des gens qui savent choisir le bon théorème pour résoudre le problème et qui savent s'en servir.

  9. Je suis sorti des études il y a maintenant 2 ans et j'ai toujours trouvé ca un peu stupide en effet la quantité de choses à connaître par coeur alors qu'on les trouve en 2 secondes sur internet.
    Après il faut aussi voir que pas mal de gens ne savent pas chercher, je me rends compte que nombre de mes collègues sont incapables de trouver des solutions à leurs problèmes quand je peux les trouver juste dans la page des résultats google…
    J'ai lu aussi récemment un article qui disait que des scientifiques ont trouvé que le cerveau est beaucoup plus efficace pour se souvenir comment accéder à une information, que l'information elle-même. Donc ca va un peu dans le sens de cette réflexion aussi.

    Pour finir sur une note humoristique, un billet XKCD qui illustre bien cette "mise en nuage" des connaissances https://xkcd.com/1168/

    • J'édite le billet pour ajouter ce dessin qui illustre parfaitement l'idée !
      Merci 😉

  10. En France je n'ai jamais eu d'entretien technique. Dans la Silicon Valley je sais que ca existe en particulier sur la programmation. Ca se fait soit en live (durant l'entretien) ou en "devoir à la maison"
    Pour l'aspect des connaissances, je pense qu'il est dommage de répondre à un QCM ou des questions fermées. Présenter des problèmes qui nécessitent réflexion ET connaissance de bases me paraissent mieux. Encore faut-il avoir le temps de les rédiger.

  11. Vous avez déjà eu une réponse négative de l'ANSSI ?
    Ce n'est pas forcément claire dans votre post mais on y décèle une certaine amertume. Si ce n'est pas le cas, j'espère que les recruteurs sauront comprendre vos arguments.
    Travaillant régulièrement avec l'ANSSI (je travaille pour une entreprise qui exporte du matériel utilisant de la cryptographie), je serai heureux de vous rencontrer sur un de mes dossiers 🙂

    Krka

    • J'ai eu la réponse négative en fin d'entretien, et oui, je suis déçu car j'aurais bien voulu travailler avec les roxors de l'ANSSI…

    • Juste un point…Vous n'avez pas l'age de travailler pour l'ANSSI….Ils cherchent des petits jeunes qu'ils peuvent modeler a leur sauce…un point c'est tout.

      Lancez vous en indépendant ou dans une réelle société qui a besoin de gens aguerris et surtout avec une tete bien faite, capable de chercher au bon endroit ce qui va bien, et pas dans une structure étatique qui va finir comme toute structure francaise étatique

  12. Attention, certains domaines d'activité n'offrent toujours pas d'accès à internet: Spatial, défense… ou très limité/malaisé (un poste isolé dans un coin).

    Des étudiants ne sachant pas encore ou ils vont exercer auraient intérêt à ne pas abandonner un socle de connaissances utile au cloud.

    • certes, mais on a quand même les docs ("man", "–help", …), et quand on fait les choses bien, la boite dispose d'un wiki fourni, de mirroirs de sites contenant les infos nécessaires, etc.
      "Réseau physiquement séparé" ne veut pas forcément dire "humain coupé du monde".

    • Une seule commande unix pour les retrouver toutes:
      man -k

      Le pb des man pages reste cependant leur manque général d'exemples… au profit d'une description exhaustive d'obscurs paramètres et syntaxes.

  13. Montaigne disait " Mieux vaut une tête bien faite qu'une tête bien pleine".

    Je ne pense pas que le problème soit l'ANSSI en elle même, mais plutôt le zigoto qui chapeaute les recrutements. Je vois très bien le genre : on met tout le monde à égalité de chances : aucun outil.

    Ceci dit, la personne qui est au centre de l'image fait elle partie du "test technique Google" ?

    OK, je sors….

  14. Quand les questions sont vraiment trop "Google" une réponse indiquant où trouver l'information peut-être acceptable. Par exemple j'avais du remplir un questionnaire technique lors d'un entretien pour un poste de pentesteur et l'une des question était la commande unix permettant de lister l'ensemble des paquets installés sur une redhat; ma réponse ("man rpm") avait été considérée valide 🙂 ! De même, une autre question portait sur les ports par défaut d'un bon nombre d'application. Etant pris d'un trou de mémoire sur postgresql, j'ai répondu "grep -i postgre /etc/services", là aussi, la réponse a été comptée bonne 🙂

    Evidemment, si j'avais répondu "stfg" à toutes les questions le correcteur aurait sans doute fait preuve de moins d'indulgence…

    Bref : un certain pourcentage de questions "google" peut être bien utiles pour démontrer que, justement, on est capable de retrouver une information que l'on ne connait pas par coeur 🙂

  15. Dommage pour l'Agence. Ce test fait de l'inforensique une science dure. Ce qu'elle n'est pas. Sur quoi est donc jugée la créativité ? D'ailleurs en quoi peut-on dire que quelqu'un qui fait 100% au questionnaire en 30min est meilleur que vous ? Sur quels critères d'ailleurs ? C'est quoi être "bon" en inforensique ?
    C'est bien beau de dire que l'ANSSI a les meilleurs quand on ne sait pas quels critères exacts font d'eux des bons….

  16. "uste un point…Vous n'avez pas l'age de travailler pour l'ANSSI….Ils cherchent des petits jeunes qu'ils peuvent modeler a leur sauce…un point c'est tout."

    Oui c'est aussi ce que j'ai entendu dire. Leur histoire de formulaire confirme ce fait, ils cherchent des genres de no life qui ne font que ça de leur journée et qui vont pouvoir bosser 60 heures/semaine en en redemandant.
    Comme c'est un CDD de 24 mois, ça tourne souvent, c'est un autre qui le remplacera.
    On ne fait pas sa carrière à l'ANSSI sauf si on est déjà fonctionnaire en détachement.

    Mais il n'y a pas de l'ANSSI, la diplomatie recrute aussi des informaticiens en CDD, même des chiffreurs à l'étranger (vous savez ceux qui maintiennent le VPN en ordre de marche). D'ailleurs la NSA n'a peut être eu qu'à soudoyer un de ces intérimaires pour avoir des infos précises sur le VPN?

  17. Concernant l'usage de la calculatrice, ça m'a fait repenser au bouquin de Nicolas Carr : « Internet rend-il bête ? », dont je conseille la lecture. Je trouve que c'est une question qui ne fait pas assez débat au sein de la société et de l'éducnat, pas l'usage de la calculatrice, mais celle du net et la multiplication des écrans à l'école.
    Pour ma part j'ai le souvenir qu'en fac (DEUG MIAS, il y a 20 ans) la calculatrice ne servait à rien, si l'on était amené à s'en servir on était probablement sur une fausse route avec un calcul devenu trop complexe pour être résolu à la main. Sinon, j'ai une commande tar câblé sur quelques neurones « tar -ovxf » avec probablement au moins une option qui ne sert à rien… mais qui passe bien relativement partout (GNU ou non).

  18. Bonsoir à tous..
    Pas mal de fantasmes et contre-vérités concernant l'ANSSI..
    On n'y recrute pas des "newbies/no life", en contrat précaires et sous-payés !
    1 – L'agence ayant des prérogatives "souveraines", la sécurité est le critère de recrutement n°1.
    (Enquête d'habilitation SD..)
    2 – Les thématiques intéressant l'agence sont variées, donc les profils le sont aussi..
    3 – Un salaire, cela se négocie. En SSII comme à l'ANSSI…

    4 – Concernant certains "tests d'entrée", chaque division a ses propre critères, mais dans l'absolu, la vocation de l'agence est d'assurer la continuité de l'appareil d'Etat, y compris (et surtout) en situation de crise..
    (Dans laquelle le fonctionnement du Net serait probablement défaillant…) Demander à ses agents de ne pas dépendre du cloud semble donc un minimum..

Les commentaires sont fermés.