Pour retirer les lignes en doublon dans un fichier texte contenant beaucoup de lignes (voir le billet « Dictionnaire français pour hashcat« ), j’ai utilisé la commande suivante :

cat toto.txt | sort | uniq > pas-de-doublons.txt

où toto.txt est un fichier texte d’environ 20 Go et où le fichier pas-de-doublons.txt résultant ne fait plus que 311 Mo. La commande met 1h30 à s’exécuter sur mon ordinateur.

Un internaute m’a fait remarquer en commentaire sur mon GitHub que cette commande pouvait être avantageusement remplacée par la commande suivante :

cat toto.txt | awk '!x[$0]++' > pas-de-doublons.txt

Mais avant d’essayer la commande awk sur mon ordinateur, je voulais la comprendre. Et à ma grande surprise, je n’ai pas réussi à trouver d’explications sur cet usage particulièrement concis sur internet (spoiler : j’ai mal cherché). J’ai donc demandé de l’aide sur Twitter où @CyrilBrulebois m’a fourni une explication en quelques secondes : https://unix.stackexchange.com/questions/159695/how-does-awk-a0-work

Je vais détailler ici l’explication, pour pouvoir m’y référer plus tard, quand ma mémoire me fera défaut.

awk est une commande très puissante, c’est un langage de programmation a elle tout seule qui permet une recherche de chaînes et l’exécution d’actions sur les lignes sélectionnées. Elle est utile pour récupérer de l’information, générer des rapports, transformer des données entre autres (source funix.org).

!x[$0]++ est à interpréter de la manière suivante :

$0 contient une ligne complète du fichier toto.txt

x[] est un tableau associatif. Pour en savoir plus, lire cet article sur les tableaux en bash. Il reçoit en argument autre chose que des entiers de 0 à N comme un tableau habituel. Il peut recevoir une chaîne de caractère.

x[$0] regarde si la valeur de la clé $0 est déjà présente dans le tableau associatif x[]. Si elle ne s’y trouve pas, une chaîne de caractère vide est placée dans x[$0]. Dans tous les cas, x[$0] retourne son contenu.

Lequel des deux opérateurs « ! » ou « ++ » est-il prioritaire sur l’autre ? Il s’agit de vérifier la précédence de ces deux opérateurs. Le tableau que l’on trouve par exemple dans ce document, nous indique que ++ est prioritaire sur « ! ». Mais comme il est situé à droite de x[$0] (post-incrément), il faut d’abord évaluer le contenu de x[$0], considéré comme un entier (1ère action de « ++ »), passer cette évaluation à l’opérateur « ! », puis l’incrémenter de 1 (2e action de « ++ »).

Donc si la ligne contenue dans $0 vient d’apparaître pour la première fois, x[$0] contient une chaîne de caractère vide considérée comme équivalente à 0, et x[$0] retourne 0 (= faux), puis passe à 1. Sinon x[$0] retourne N (= non nul = vrai), puis passe à N+1.

Comme !x[$0]++ est la négation de x[$0]++, il suffit d’inverser le résultat du paragraphe précédent : si la ligne contenue dans $0 vient d’apparaître pour la première fois, !x[$0] retourne 1 (= non nul = vrai), puis x[$0] passe à 1. Sinon !x[$0] retourne 0 (= faux), puis x[$0] passe à N+1.

Dit autrement, !x[$0]++ retourne :
– vrai si $0 contient une ligne non déjà vue, puis incrémente x[$0]
– faux si $0 contient une ligne déjà vue, puis incrémente x[$0]

Enfin, le comportement par défaut de awk est d’imprimer $0 en cas d’évaluation à vrai, et de ne rien faire dans le cas contraire. Toutes les lignes déjà vues disparaissent. Le fichier résultant ne possède pas de lignes en doublon.

La commande recommandée fait donc bien ce qu’elle est sensée faire, et elle le fait plus vite : 15mn sur mon ordinateur au lieu d’1h30 avec la commande « sort | uniq »…

Par contre, elle fonctionne bien parce que mon fichier texte initial contient beaucoup de doublons (le fichier final fait 311 Mo) et ne sature pas la mémoire de mon ordinateur. J’ai eu moins de chance avec un fichier texte de 15 Go recommandé par @CyrilleFranchet, et qui contient peu de doublons… Ça a fait exploser en vol ma machine. Comme quoi, la lisibilité a ses avantages ^^. Cette commande awk est donc à utiliser avec un œil sur l’évolution de l’occupation de la mémoire vive.

Pour aller plus loin : grep – sed – awk, exemples avancés

Dans la droite ligne du billet précédent, et toujours à la demande d’un collègue ayant perdu le mot de passe d’un fichier pro Excel, j’avais besoin d’un fichier de mots français susceptibles d’être utilisés comme mot de passe.

Il y a toute une littérature sur « comment choisir un bon mot de passe », et une partie non négligeable de mon travail actuel consiste à expliquer aux gens les consignes de base de la sécurité informatique. Je dois reconnaître que c’est passionnant, mais que la base de la base de la base n’est pas toujours comprise malgré des trésors de pédagogie.

Si les politiques de choix d’un mot de passe se sont durcies au fil du temps, et qu’il est difficile aujourd’hui de créer un compte informatique sans devoir prendre un mot de passe d’au moins 12 signes dont des minuscules, des majuscules, des chiffres et/ou des caractères spéciaux, que se passe-t-il quand l’utilisateur PEUT choisir le mot de passe qu’il veut, par exemple pour limiter l’accès à un fichier Excel ? La réponse est simple : mon expérience de la casse de mot de passe pour les besoins de la justice m’a montré que la plupart des personnes choisissent un mot courant, éventuellement suivi par un nombre, parfois complété par un point d’exclamation.

Quand aucune politique de sécurité n’est imposée, le choix préféré des français est donc : mot courant [ + année] [ + ! ]

Avant de procéder à une attaque par force brute, ie en essayant toutes les combinaisons possibles, et après avoir testé les mots de passe « évidents » (date de naissance, nom de l’utilisateur, prénom de son partenaire et de ses enfants, date de mariage, etc.), une bonne méthode est donc l’attaque par dictionnaire, ou plutôt en bon français, « l’attaque par liste de mots ».

Il existe sur internet une grande quantité de listes de mots, toutes aussi intéressantes les unes que les autres, mais je n’ai pas trouvé une liste de mots courants français, incluant les noms des régions, départements, villes, villages, hameaux et lieux dits, incluant aussi les mots d’argots, le vieux français, les différents patois, le langage « jeune », les prénoms français, les petits noms donnés aux animaux, etc. Le tout intégrant les magnifiques caractères spécifiques du clavier français (le plus courant) é è ç à ù €, mais aussi tous les autres â ê ŷ û î ô ä ë ÿ ü ï ö Ä Ë Ÿ Ü Ï Ö etc.

Je me suis alors souvenu qu’il était possible de récupérer tout le contenu de Wikipédia pour pouvoir en disposer hors ligne. J’ai donc récupéré TOUT le Wikipédia francophone sur mon ordinateur, et je l’ai trié pour ne garder qu’un mot par ligne, puis j’ai éliminé les doublons. En comptant les essais/erreurs et les différents tâtonnements, il m’a fallu une journée pour disposer d’une magnifique liste de mots courant utilisés par les Français…

Puis j’ai utilisé la commande hashcat suivante :

hashcat -m 9500 -a 0 -w 3 --username --status --session=toto hashExcel.txt wikipedia.fr.txt

Environ 20mn plus tard, l’ordinateur me fournissait le mot de passe utilisé : un village des Alpes dont le nom fait 10 caractères.

Si vous aussi vous voulez briller auprès de vos collègues, vous pouvez utiliser cette méthode, à condition d’en donner le crédit « au blogueur dont le nom est presque celui d’une bière de l’Égypte antique » en vous rendant sur mon Github : https://github.com/Zythom/french-wikipedia-word-list. Cette saine lecture vous fera réviser vos codes ASCII et la base octale ^^.

Si par contre vous voulez compliquer la tâche des casseurs de mot de passe, ajoutez un « µ » ou un « > » dans votre mot de passe, ou mieux : générez le aléatoirement avec votre KeePass et installez l’extension « Kee Password Manager » dans votre navigateur.

Mais chacun fait ce qu’il veut.