Linux: Buscar archivos duplicados

En este post veremos cómo buscar archivos duplicados en sistemas operativos GNU/Linux utilizando la herramienta: fdupes

Linux: Buscar archivos duplicados: fdupes: ¿Cómo funciona?

Una herramienta para buscar ficheros duplicados en sistemas operativos GNU/Linux es: fdupes

fdupes en primera instancia compara los tamaños de los ficheros y firmas MD5, y después realiza una verificación byte-a-byte.

Para realizar la instalación de fdupes:

Distribuciones RedHat o derivados:

yum install fdupes

Distribuciones Debian o derivados:

apt-get install fdupes

fdupes dispone de varias opciones, por ejemplo excluir o no ficheros ocultos, excluir o no ficheros vacíos, modo recursivo, etc...

Podemos ver todos los parámetros disponibles, ejecutando:

fdupes --help

Algunos ejemplos de cómo funciona:

1)

fdupes /root/sysadmit1 /root/sysadmit2

Muestra los ficheros duplicados que hay en estas dos rutas:

/root/sysadmit1 

y:

/root/sysadmit2 

2)

fdupes /root/sysadmit1 /root/sysadmit2 -r

Muestra los ficheros duplicados que hay en estas dos rutas de forma recursiva:

/root/sysadmit1 

y:

/root/sysadmit2

3)

fdupes /root/sysadmit1 /root/sysadmit2 -m

Muestra el número de ficheros duplicados y el tamaño que ocupan los ficheros duplicados

Linux: Buscar archivos duplicados: fdupes ¿Es posible borrar los duplicados encontrados?

La propia herramienta fdupes, permite borrar los duplicados sin o con confirmación.

Si repasamos la ayuda, podremos ver los parámetros --delete y --noprompt

También podemos combinar los parámetros anteriores con el parámetro -r, para tener recursividad.

Recomendación: Mover los ficheros duplicados en vez de eliminarlos.

En vez de utilizar los parámetros --delete y --noprompt, sería buena idea mover los ficheros duplicados a otra ubicación.

Para mover los ficheros duplicados a otra ubicación, podemos utilizar la herramienta fdupes para que genere un log con los duplicados.

Una vez tenemos el log generado, con el comando: mv, podemos ir moviendo los ficheros a otra ubicación.

Recomendación: Cuidado con el parámetro -s y el borrado

El parámetro -s, corresponde a:

--symlinks          follow symlinks

Significa seguir los enlaces simbólicos.

Si utilizamos los enlaces simbólicos junto a los parámetros de borrado, nos podemos encontrar que salgamos de la estructura de directorios que hemos especificado si dentro de la estructura existe un enlace simbólico que sale de la estructura.