Developing fast machine learning techniques with applications to steganalysis problems

Abstract

In the history of human communication, the concept and need for secrecy between the parties has always been present. One way of achieving it is to modify the message so that it is readable only by the receiver, as in cryptography for example. Hiding the message in an innocuous medium is another, called steganography. And the counterpart to steganography, that is, discovering whether a message is hidden in a specific medium, is called steganalysis. Other concerns also fall within the broad scope of the term steganalysis, such as estimating the message length for example (which is quantitative steganalysis). In this dissertation, the emphasis is put on classical steganalysis of images first — the mere detection of a modified image — for which a practical benchmark is proposed: the evaluation of a sufficient amount of samples to perform the steganalysis in a statistically significant manner, followed by feature selection for dimensionality reduction and interpretability. The fact that most of the features used in the classical steganalysis task have a physical meaning, regarding the image, lends itself to an introspection and analysis of the selected features for understanding the functioning and weaknesses of steganographic schemes. This approach is computationally demanding, both because of the feature selection and the size of the data in steganalysis problems. To address this issue, a fast and efficient machine learning model is proposed, the Optimally-Pruned Extreme Learning Machine (OP-ELM). It uses random projections in the framework of an Artificial Neural Network (precisely, a Single Layer Feedforward Network) along with a neuron selection strategy, to obtain robustness regarding irrelevant features, and achieves state of the art performances. The OP-ELM is also used in a novel approach at quantitative steganalysis (message length estimation). The re-embedding concept is proposed, which embeds a new known message in a suspicious image. By repeating this operation multiple times for varying sizes of the newly embedded message, it is possible to estimate the original message size used by the sender, along with a confidence interval on this value. An intrinsic property of the image, the inner difficulty, is also revealed thanks to the confidence interval width; this gives an important information about the reliability of the estimation on the original message size.

Depuis que les Hommes communiquent, le besoin de dissimuler tout ou partie de la communication existe. On peut citer au moins deux formes de dissimulation d’un message au sein d’une communication: Dans le premier cas, le message à envoyer peut lui même être modifié, de telle sorte que seul le destinataire puisse le décoder. La cryptographie s’emploie par exemple à cette tâche. Une autre forme est celle de la stéganographie, qui vise à dissimuler le message au sein d’un document. Et de même que pour la cryptographie dont le pendant est la cryptanalyse visant à décrypter le message, la stéganalyse est à l’opposé de la stéganographie et se charge de détecter l’existence d’un message. Le terme de stéganalyse peut également désigner l’importante classe de problèmes liés à la détection de l’existence du message mais aussi à l’estimation de sa taille (stéganalyse quantitative) ou encore de son contenu. Dans cette thèse, l’accent est tout d’abord mis sur le problème classique de stéganalyse (détection de la présence du message). Une méthodologie permettant d’obtenir des résultats statistiquement fiables dans ce context est proposée. Il sagit tout d’abord d’estimer le nombre d’échantillons (ici des images) suffisant à l’obtention de résultats pertinents, puis de réduire la dimensionalité du problème par une approche basée sur la sélection de variables. Dans le contexte de la stéganalyse, la plupart des variables obtenues peuvent être interprétées physiquement, ce qui permet une interprétation de la sélection de variables obtenue: les variables sélectionnées en premier réagissent vraisemblablement de façon importante aux changements causés par la présence du message. Leur analyse peut permettre de comprendre le fonctionnement et les faiblesses de l’algorithme de stéganographie utilisé, par exemple. Cette méthodologie peut s’avérer complexe en termes de calculs et donc nécessiter des temps d’éxecution importants. Pour pallier à ce problème, un nouveau modèle pour le “Machine Learning” est proposé, l’OP-ELM. L’OPELM est constitué d’un Réseau de Neurones au sein duquel des projections aléatoires sont utilisées. Les neurones sont ensuite classés par pertinence vis à vis du problème, et seuls les plus pertinents sont conservés. Cette structure de modèle parvient à obtenir des performances similaires à celles de l’état de l’art dans le domaine du “Machine Learning”. Enfin, le modèle OP-ELM est utilisé dans le cadre de la stéganalyse quantitative, cette fois (l’estimation de la taille du message). Une approche nouvelle sur ce problème est utilisée, faisant appel à une technique de ré-insertion d’un message au sein d’une image considérée comme suspecte. En repentant ce processus de ré-insertion un certain nombre de fois, et pour des messages connus de tailles différentes, il est possible d’estimer la taille du message original utilisé par l’expéditeur. De plus, par l’utilisation de la largeur de l’intervalle de confiance obtenu sur la taille du message original, une mesure de la difficulté intrinsèque à l’image est présentée. Ceci permet d’estimer la fiabilité de la prédiction obtenue pour la taille du message original.