Pruning distribution module compatible with FlexiPrune library

Módulo de distribución de poda compatible con la librería FlexiPrune

Resumen Métricas disponibles Referencias Cómo citar

Resumen (en)

FlexiPrune is a free library (available on GitHub) written in Python - PyTorch that allows to compress image classification models based on CNNs by pruning networks. It consists of three main modules: training, pruning and model evaluation. In the pruning module, users can select different pruning methods and pruning distribution types (e.g., homogeneous, bottomup, top-down, among others); however, users must manually enter the pruning rates (PRs) for each network layer, depending on the type of distribution they want to evaluate. Therefore, this project proposes a module written in Python compatible with FlexiPrune, which automatically calculates the PRs by layer based on a global pruning rate (GPR) and a pruning distribution (PD) type (e.g., PD1 - homogeneous, up to PD5 - top-up/top-down) for a specific network. In addition, users can know the FLOPs and parameter savings of the compressed model for the selected GPR and PD values, and thus choose the one that best suits their needs (e.g. best FLOPs vs. parameters pair, for the same GPR).

Resumen (es)

FlexiPrune es una librería gratuita (disponible en GitHub) escrita en Python - PyTorch que permite comprimir modelos de clasificación de imágenes basados en CNNs mediante la poda de redes. Consta de tres módulos principales: entrenamiento, poda y evaluación del modelo. En el módulo de poda, los usuarios pueden seleccionar diferentes métodos de poda y tipos de distribución de poda (por ejemplo, homogénea, ascendente, descendente, entre otros); sin embargo, los usuarios deben introducir manualmente las tasas de poda (PRs) para cada capa de la red, dependiendo del tipo de distribución que quieran evaluar. Por lo tanto, este proyecto propone un módulo escrito en Python compatible con FlexiPrune, que calcula automáticamente los PRs (porcentaje de poda) por capa, en función de una tasa de poda global (GPR) y un tipo de distribución de poda (PD) (por ejemplo, PD1 - homogénea, hasta PD5 -ascendente/descendente), para una red específica. Además, los usuarios pueden conocer el ahorro de FLOPs y de parámetros del modelo comprimido para los valores de GPR y PD seleccionados, y de esta forma escoger el que más se ajuste a sus necesidades (ej. mejor pareja FLOPs vs parámetros, para un mismo GPR).