Comparación de Algoritmos de Clasificación para la Detección de Deepfakes en Señales de Audio

Abstract

El presente proyecto de investigación tiene como finalidad probar y comparar varios algoritmos de machine learning para la detección de deepfakes en señales de audio, esto con la finalidad de brindar una herramienta que clasifiqué con precisión audios reales y audios falsos. En esta amplia investigación se proponen algoritmos de aprendizaje supervisado como Random Forest, Máquinas de Soporte Vectorial y Redes Neuronales Convolucionales, también se proponen algoritmos de aprendizaje semisupervisado como Self Training, Label Propogation y Label Spreading, y finalmente algoritmos de aprendizaje no supervisado de clusterización, autoencoders, asociación y detección de anomalías. Lo que permite determinar, para este caso de detección de deepfakes en audios, el modelo que mejor se comporta a nivel de predictibilidad, y que, en futuros estudios, podría convertirse en una herramienta que con robustez detecte deepfakes en audio en tiempo real. Se determinó en este proyecto que el modelo que mejor separa audios reales y falsos es una red neuronal convolucional de una dimensión, sin embargo, algoritmos de aprendizaje semi supervisado otorgaron buenos resultados para este problema, lo que los convierte en una técnica prometedora para la detección de deepfakes de sonido. The purpose of this research project is to test and compare several machine learning algorithms for detecting deepfakes in audio signals, with the aim of providing a tool that accurately classifies real audio and fake audio. In this extensive research, supervised learning algorithms such as Random Forest, Support Vector Machines and Convolutional Neural Networks are proposed, semi supervised learning algorithms such as Self Training, Label Propogation and Label Spreading are also proposed, and finally unsupervised learning algorithms for clustering. autoencoders, association and anomaly detection. This allows us to determine, for this case of detecting deepfakes in audio, the model that performs best in terms of predictability, and which, in future studies, could become a tool that robustly detects deepfakes in audio in real time. It was determined in this project that the model that best separates real and fake audio is a one-dimensional convolutional neural network; however, semi-supervised learning algorithms provided good results for this problem, which makes them a promising technique for detection. of sound deepfakes.