Tecnicas inteligentes en la asignacion de espectro dinamica para redes inalambricas cognitivas

DOI: http://dx.doi.org/10.14483/udistrital.jour.tecnura.2016.3.a09

Tecnicas inteligentes en la asignacion de espectro dinamica para redes inalambricas cognitivas

Smart techniques in the dynamic spectrum alocation for cognitive wireless networks

Camila Salgado¹, Hans Márquez², Víctor Gómez³

¹ Ingeniera Electrónica y de Telecomunicaciones, magíster en Ciencia de la Información y las Comunicaciones. Docente Universidad ECCI. Bogotá, Colombia. Contacto: lsalgadof@ecci.edu.co
² Ingeniero Electrónico, magíster en Ciencia de la Información y las Comunicaciones. Analista de automatización ICFES, Bogotá, Colombia. Contacto: Hmarquez@contratista.icfes.gov.co
³ Ingeniero Electrónico, especialista en Gestión de Proyectos en Ingeniería. Coordinador técnico certificación de producto Schneider Electric. Colombia. Bogotá, Colombia. Contacto: victor.gomez@schneider-electric.com

Fecha de recepción: 28 de noviembre de 2015 Fecha de aceptación: 15 de mayo de 2016

Cómo citar: Salgado, C., Marquez, H., & Gomez, V. (2016). Tecnicas inteligentes en la asignacion de espectro dinamica para redes inalambricas cognitivas. Revista Tecnura, 20(49), 135-153. doi: 10.14483/udistrital.jour.tecnura.2016.3.a09

Resumen

Objetivo: El objetivo de este trabajo es estudiar las aplicaciones de las diferentes técnicas de inteligencia artificial y aprendizaje autónomo en la asignación dinámica de espectro para redes inalámbricas cognitivas, es especial las distribuidas.

Método: El desarrollo del presente trabajo se realizó a través del estudio y análisis de algunas de las publicaciones más relevantes en la literatura actual por medio de la búsqueda en revistas internacionales indexadas en ISI y Scopus.

Resultados: Se determinaron las técnicas de inteligencia artificial y aprendizaje autónomo más relevantes y con mayor aplicación en la asignación de espectro para redes inalámbricas cognitivas.

Conclusiones: La implementación de una técnica o del conjunto de las mismas depende de las necesidades en procesamiento de la señal, compensaciones en los tiempos de respuesta, disponibilidad de las muestras, capacidad de almacenamiento, capacidad de aprendizaje, robustez, entre otras.

Palabras Clave: aprendizaje autonomo, asignacion dinamica de espectro, inteligencia artificial, radio cognitivas, redes inalambricas.

Abstract

Objective: The objective of this work is to study the applications of different techniques of artificial intelligence and autonomous learning in the dynamic allocation of spectrum for cognitive wireless networks, especially the distributed ones.

Method: The development of this work was done through the study and analysis of some of the most relevant publications in current literature through the search in indexed international journals in ISI and Scopus.

Results: the most relevant techniques of artificial intelligence and autonomous learning were determined. Also, the ones with more applicability in the allocation of spectrum for cognitive wireless networks were determined, too.

Conclusions: The implementation of a technique, or set of them, depends on the needs in signal processing, compensation in response times, sample availability, storage capacity, learning ability and robustness, among others.

Keywords: machine learning, dynamic spectrum access, artificial intelligent, cognitive radio, wireless networks.

Introducción

El rápido crecimiento de los nuevos servicios móviles, la prevista escasez del espectro radioeléctrico y su amplia subutilización han motivado el uso del modelo de acceso dinámico al espectro (DSA) (Haykin, 2005) y su principio se basa en un conjunto de técnicas soportadas en las teorías de la información y las telecomunicaciones. Así pues, el concepto DSA comprende los campos de acción como: los principios de optimización, la inteligencia artificial, el aprendizaje automático, entre otras (Xenakis, Passas y Merakos, 2014).

En radio cognitiva (CR), DSA incrementa la eficiencia espectral del sistema, permitiendo que los usuarios no licenciados, o usuarios cognitivos (CU), puedan utilizar las bandas del espectro espacio-temporalmente infrautilizadas bajo el precedente de ser transparente a los licenciados, o usuarios primarios (PU) (Xenakis, Passas y Merakos, 2014). La disponibilidad de un canal de transmisión está definida como la probabilidad de que un canal licenciado se encuentre disponible y pueda ser utilizado por un CU. Esta disponibilidad es un parámetro clave para el efectivo diseño de estrategias de selección de canales de comunicación. (Abdelaziz y ElNainay, 2014; Caleffi, Akyildiz, Paura, 2012; Cacciapuoti, Caleffi, Paura y Rahman, 2015).

Los principales avances en la optimización y en el aprovechamiento del espectro electromagnético para telecomunicaciones han tenido el planteamiento del paradigma de la CR como herramienta principal, cuyo objetivo primordial se enmarca en garantizar que la trasmisión y recepción de los datos estén regidas por criterios de eficiencia y calidad, a partir del precedente del estudio de comportamiento de los usuarios y de los estados de la red para la adaptación y repartición idónea o provechosa del espectro radioeléctrico (Abbas, Nasser y El Ahmad, 2015). En concordancia, las tecnologías de CR son consideradas el candidato perfecto para detallar y analizar el paradigma de la comunicación (Mitola III y Maguire Jr., 1999).

Un reto particular para dar cumplimiento a lo mencionado será emplear las técnicas adecuadas para garantizar la exactitud y la eficiencia en las comunicaciones. Así pues, las ciencias de la información serán la herramienta para el tratamiento y administración de datos, desde el estudio sistemático de los procesos y mediante algoritmos que dan un panorama de la implementación y aplicación a las posibles soluciones a las premisas que abordan la CR (Abbas, Nasser y El Ahmad, 2015).

La mayoría de los avances en investigación en CR han llevado a la sinergia de metodologías y técnicas en las teorías de la información hacia el aprovechamiento del espectro electromagnético. Entre las metodologías, se encuentran las ciencias de la computación. Específicamente, la inteligencia artificial (artificial intelligence) y el aprendizaje automático (machine learning). En consecuencia, estas áreas de la ciencia han permitido que los campos de acción de la tecnología se extiendan a subáreas del conocimiento, como la lógica difusa, los algoritmos genéticos, las redes neuronales, los modelos de Markov, las máquinas de soporte vectorial, etc. Si bien, la mayoría de técnicas empleadas de las existentes en la actualidad han tenido como principal desafío garantizar la optimización del espacio tiempo del espectro de frecuencias, más aun cuando día a día la demanda y los cambios en los hábitos de consumo, propenden por la optimización de las técnicas de adaptabilidad (Abbas, Nasser y El Ahmad, 2015).

TRABAJOS RELACIONADOS

En Hashem, Barakat yAttaAlla (2014) la eficiente distribución de canales para CRN ha de tener estudios y análisis sobre cuáles son las técnicas favorables para optimizar la asignación del espectro. Por tal razón, en el presente documento se detalla una solución a través de los pesos ponderados de cada canal en función de la actividad de los usuarios del sistema. Para ello, se ha considerado una red ad hoc para dar una solución específica basada en las entradas de estudio. En ese sentido, la red propuesta posee componentes características que están fundamentadas en el conjunto de nodos de PU y la configuración de nodos de CU. Así, los principales supuestos parten de la necesidad de establecer la multihop wireless networks como metodología eficaz que permite brindar mayor cobertura debido a los multi-hop y, a su vez, mejorar el rendimiento en los saltos de canales en la cobertura presente en los enlaces de comunicación.

A partir de lo anterior, la investigación detalla la creación de una CRN con la habilidad de clasificar canales en función de sus pesos. Así mismo, la clasificación está en función de la no ocupación de usuarios PU y el número de vecinos CU, empleando los rendimientos de cada canal para finalmente lograr mayor conectividad mediante la selección de bandas del espectro y garantizar disminución en la tasa de error de datos trasmitidos. Por último, cabe resaltar que el modelo propuesto ha tenido buenos resultados, en comparación con los métodos tradicionales basados en selección aleatoria (random channel selections) y difusión selectiva (selective broadcast).

En Del Ser, Matinmikko, Gil-López y Mustonen (2012) se revisa el problema de asignación de canal de espectro donde cada nodo que componen la red se le asigna un canal de frecuencia teniendo en cuenta la optimización de la métrica de rendimiento de la red y el nivel de interferencia entre nodos cercanos. Aunque los algoritmos genéticos han sido usados para solucionar este problema, sin embargo esta investigación se enfoca en usar para la solución de este problema un algoritmo de búsqueda de armonías heurística (HS) presentando resultados tanto en técnicas de asignación del espectro distribuida como asignación centralizada. Entre estos avances, se presenta un nuevo procedimiento de asignación distribuida de adaptación, lo que disminuye drásticamente la velocidad de transmisión requerida para el intercambio de control de tráfico entre los nodos con una penalización de rendimiento todavía insignificante. Extensos resultados de la simulación ejecutados a través de redes de tamaño creciente muestran que la técnica propuesta logra asignaciones de canales espectrales casi óptimas con baja complejidad computacional. Por otro lado, los resultados de evaluar el algoritmo HS superan ampliamente los algoritmos de asignación genéticamente inspirados. Finalmente, se muestra el enfoque de la asignación distribuida de adaptación propuesto para lograr un ahorro de ancho de banda de tráfico de control de más de 90 %.

En Hasegawa, Hirai, Nagano, Harada y Aihara (2014) se centra en algoritmos de optimización para mejorar el proceso decisorio en el uso de recursos de radio en redes cognitivas inalámbricas heterogéneas. En las redes con manejo centralizado, se propone un nuevo algoritmo de optimización cuya solución se garantiza que sea igual de óptima, para evitar un aumento exponencial de la complejidad computacional en redes inalámbricas en gran escala; por tanto, se modela el problema de optimización como un problema de costo mínimo de flujo y se encuentra una solución del problema en tiempo polinómico. Para las redes de gestión descentralizada, se propone un algoritmo distribuido utilizando la dinámica de minimización de la energía distribuida de la red neuronal Hopfield.

En Ma (2007) se estudia la técnica de acceso espectral distribuida para canales de interferencia de múltiples bandas sobre redes de radio cognitiva (CRN). Se propone una novedosa técnica de asignación de portadora compartida (SCA) y técnica de asignación exclusiva (ECA), con división de frecuencia ortogonal de acceso múltiple (OFDMA) comparando su rendimiento bajo distintos parámetros del sistema. Basado en SCA se propone un método basado en la relación señal a ruido (SINR), umbral de Carga basado en waterfilling (IWF), que mejora la tasa de suma que el método original de IWF. Para ECA se propone un algoritmo de división OFDMA para lograr la equidad proporcional y el rendimiento cercano a lo óptimo. Variando diferentes parámetros como la máscara espectral, SNR, y el nivel de interferencia, se muestra que, con los resultados de la simulación, ECA es preferible frente a SCA en los casos de poca interferencia y para niveles de SNR medios y altos.

En Liu, Feng y Zhang (2012) se propone un nuevo enfoque de la asignación de espectro para CRN distribuidos, tomando en consideración que los sistemas de CR son capaces de detectar las condiciones ambientales reinantes y automáticamente la adaptación de los parámetros de funcionamiento, con el fin de mejorar el sistema y el rendimiento de la red. A partir de las capacidades de CR el enfoque de esta investigación se enfoca en optimizar cada dispositivo inalámbrico individual y sus enlaces de comunicación de un solo salto utilizando la información del ambiente de los dispositivos cercanos dentro de la red inalámbrica. Suponiendo nodos inalámbricos estacionarios, todos los enlaces de comunicación inalámbricos emplean multiplexación por división de frecuencia ortogonal no contigua (NC-OFDM) con el fin de permitir el acceso de espectro dinámico (DSA). El enfoque propuesto intenta reducir al mínimo la tasa de error de bit, minimizar la interferencia fuera de banda (OOB) y maximizar el rendimiento general utilizando una función de adecuación multiobjetivo. Para esto se emplean algoritmos genéticos los cuales se emplean para desarrollar la optimización necesaria.

En Naeem, Anpalagan, Jaseemuddin y Lee (2014) se presenta un estudio de asignación de recursos en CRN cooperativas. Asimismo se discuten los objetivos y protocolos utilizados en la literatura para la asignación de recursos en CRN cooperativa. Se destaca el uso de control de potencia, tipos de cooperación, las configuraciones de red y tipos de decisión utilizados en CRN cooperativa. Los sistemas de comunicación cooperativa, pueden aumentar la velocidad de datos de los sistemas de comunicación inalámbrica con los mismos valores de potencia y ancho de banda en sistemas de comunicaciones inalámbricas. Si la CR toma en cuenta el concepto de comunicación cooperativa esto podría significar un rendimiento mayor en la red inalámbrica.

Saranya, Santhkumar y Ruby (2014) analizan el rendimiento de los algoritmos de selección de canal, SURF y de difusión selectiva (SB) para seleccionar canales distribuidos en CRN. La CR es capaz de identificar las bandas con licencia están siendo infrautilizadas en el espectro y permite la reutilización a los CU, cada vez que el canal esté desocupado. El método de selección de canal distribuido se utiliza para la transferencia de datos en múltiples saltos. De ahí que la relación promedio de entrega se mejora y las interferencias perjudiciales causadas por los nodos de radio primarios se reducen de manera considerable. A través de simulaciones en NS-2 se analizan los resultados y se confirma que SURF prueba ser un método eficaz para la selección de canal.

Por su parte, Rehmani, Viana, Khalife y Fdida (2013) proponen una estrategia de selección de canal inteligente y distribuido para la difusión de datos eficiente en múltiples saltos de red de CR. La estrategia SURF clasifica los canales disponibles y los utiliza de manera eficiente para aumentar la fiabilidad de difusión de datos en las CRN multi-hop. La clasificación se realiza desde la no ocupación por parte del usuario principal y el número de vecinos de CR utilizando los canales. A través de extensas simulaciones en NS-2, se estudia el comportamiento de SURF en comparación con cuatro enfoques relacionados. Los resultados de la simulación confirman que SURF es eficaz en la selección de los mejores canales para una comunicación eficiente y máxima accesibilidad de difusión en las CRN multi-hop.

Los autores Bayat, Louie, Li y Vucetic (2011) proponen un algoritmo de acceso al espectro distribuido, enfocado en la retransmisión de redes en radio cognitivo, con múltiples PU y múltiples CU. El eje central del algoritmo propuesto se enfoca en que los PU intercambien con los CU la cantidad de tiempo permitido de acceso en el espectro, de manera que ambos usuarios se encuentren compensados. Dentro del análisis numérico se observa que el algoritmo puede lograr un gran desempeño, comparable al alcanzado por un algoritmo de centralización óptima, y superando al algoritmo de emparejamiento aleatorio. También demuestra la capacidad de lograr, un alto número de intercambios con bajos gastos generales y menor complejidad. Gracias a la reemisión cooperativa, se obtiene una mayor velocidad de la que se lograría sin repetición cooperativa, es decir, en transmisión directa.

Liang, Lai y Halloran (2009) incorporan la idea de realizar una implementación distribuida que se ocupe de la mejor asignación de CU, para la detección de los PU, de manera que la probabilidad de error de detección se reduzca al mínimo. Proponen un algoritmo de eliminación, para encontrar de manera eficiente la mejor asignación; mediante la elaboración de conexión entre el problema actual, y el problema de inferencia en el contexto de modelos probabilísticos.

En Debroy, De y Chatterjee (2014) se realiza el diseño de un protocolo, de contienda, el cual es distribuido para control de acceso al medio (MAC), atendiendo el acceso al canal de los CU. El protocolo MAC propuesto permite un acceso libre de colisiones, para los canales de datos disponibles, y su utilización por los CU. Se resalta la parte de detección del espectro, la cual es aplicada por los nodos, como sensores exclusivos. También se implementa, la provisión de la reserva de canales libres, por los CU durante periodos prolongados; para aumentar su uso sin causar interferencias perjudiciales en los PU. Estos autores muestran cómo el acceso ampliado a los recursos se puede ajustar para proporcionar una calidad, diferencial del servicio a los CU. Al final, evalúan el desempeño del protocolo mediante una simulación. En condiciones óptimas, el sistema propuesto permite a los CU en la red, utilizar todos los canales disponibles, superando los esquemas existentes MAC en las redes distribuidas.

APRENDIZAJE EN CRN

Una CR se define como un sistema de comunicación inalámbrica inteligente, que es consciente de su entorno y utiliza la comprensión para aprender del entorno y adaptarse a las variaciones estadísticas en los estímulos de entrada (Haykin, 2005; Bkassiny, Li y Jayaweera, 2013). 

Para Michalski (1995), hay tres condiciones principales para la inteligencia: 1) percepción, que es la capacidad de percibir el entorno y los estados internos para adquirir información; 2) aprendizaje, es la capacidad de transformar la información en conocimiento adquirido mediante el uso de metodologías de clasificación y generalización de hipótesis; 3) razonamiento, donde el conocimiento se utiliza para lograr ciertos objetivos (Bkassiny, Li y Jayaweera, 2013).

Como resultado, el aprendizaje está en el núcleo de cualquier dispositivo inteligente, incluyendo, en particular, los CR. Es la herramienta fundamental que permite a un CR adquirir conocimiento a partir de los datos observados.

Ahora bien, la percepción se puede lograr a través de las mediciones de detección del espectro. Esto permite que el CR identifique las actividades en curso de radiofrecuencia (RF) en su ambiente circundante. Después de la adquisición de las observaciones de detección, el CR intenta aprender de ellos con el fin de clasificar y organizar las observaciones en categorías adecuadas (conocimiento). Por último, la capacidad de razonamiento permite al CR utilizar los conocimientos adquiridos a través del aprendizaje para lograr sus objetivos. Este proceso se llama ciclo-cognición (Mitola III y Maguire Jr., 1999; Bkassiny, Li y Jayaweera, 2013). 

En Jayaweera y Christodoulou (2011) para CR autónomas, los radiobots pueden aprender de sus acciones anteriores mediante la observación a partir de índices de impacto de los resultados. Los resultados del aprendizaje se utilizan para actualizar la detección (es decir, la observación) y el acceso a los canales, es decir, la decisión, reglas de las aplicaciones DSA (Bkassiny, Jayaweera y Avery, 2011; Chen, Zhao y Swami, 2008; Haykin, 2005; Zhao y Swami, 2007).

Características únicas de los problemas de aprendizaje de CR

La definición más ampliamente aceptada de CR es una radio que puede detectar y adaptarse a su medio ambiente (Clancy, Hecker, Stuntebeck y Shea, 2007; Haykin, 2005; Jayaweera y Christodoulou, 2011; Mitola, 2000). El término cognitivo implica la conciencia, percepción, razonamiento y el juicio. Como ya se señaló anteriormente, con el fin de CR para derivar el razonamiento y el juicio de la percepción, que debe poseer la capacidad de aprendizaje (Michalski, 1995). El aprendizaje implica que las acciones actuales deben basarse en observaciones pasadas y actuales del medio ambiente (Burbank, Hammons Jr. y Jones, 2008). De este modo, la historia cumple un papel importante en el proceso de aprendizaje de los CR. (Bkassiny, Li y Jayaweera, 2013).

Varios problemas de aprendizaje son específicos de las aplicaciones de CR debido a sus entornos de RF operativo. En primer lugar, debido a las observaciones ruidosas y los errores de detección, CR solo puede obtener observaciones parciales de sus variables de estado. El problema de aprendizaje es, por consiguiente, equivalente a un proceso de aprendizaje en un entorno parcialmente observable y debe ser tratado en consecuencia.

En segundo lugar, los CR en CRN tratan de aprender y optimizar sus comportamientos simultáneamente. Por tanto, el problema es, naturalmente un proceso de aprendizaje multiagente. Por otra parte, la política de aprendizaje deseado puede fundamentarse ya sea en esquemas cooperativos o no cooperativos y cada CR podría tener el conocimiento total o parcial de las acciones de los otros usuarios cognitivos en la red. En el caso de observabilidad parcial, un CR podría aplicar algoritmos de aprendizaje especiales para estimar las acciones de los demás nodos de la red antes de seleccionar sus acciones apropiadas, como en Bkassiny, Li y Jayaweera (2013) o Claus y Boutilier (1998).

Por último, se desean métodos de aprendizaje autónomo con el fin de permitir a los agentes de la CR aprender por sí solos en un entorno de RF desconocido. En contraste con los usuarios inalámbricos con licencia, se espera que una CR pueda operar en cualquier banda de espectro disponible, en cualquier momento y en cualquier lugar (Jayaweera y Christodoulou, 2011). Por tanto, un CR no puede tener ningún conocimiento previo del entorno de RF de funcionamiento, como los niveles de ruido o interferencia, distribución de ruido o tráficos de usuario. En su lugar, debe poseer algoritmos de aprendizaje autónomo que puedan revelar la naturaleza subyacente del medio ambiente y de sus componentes. Esto hace del aprendizaje no supervisado el candidato perfecto para este tipo de problemas de aprendizaje en aplicaciones de CR (Bkassiny, Li y Jayaweera, 2013).

En resumen, las tres características principales que deben tenerse en cuenta en el diseño de algoritmos de aprendizaje eficaces para CR son:

• Aprender en entornos parcialmente observables.
• Aprendizaje multiagente en CRN distribuidos.
• El aprendizaje autónomo en entornos de RF desconocidos.

APLICACIONES DE LA INTELIGENCIA ARTIFICIAL Y EL APRENDIZAJE AUTÓNOMO EN CRN

Teoría de juegos

Esta se utiliza como una herramienta en la toma de decisiones en la que varios jugadores se enfrentan a una serie de situaciones en donde deben tomar medidas que, en la mayoría de los casos, pueden afectar los intereses de los otros. En otras palabras, cada jugador decide sobre sus acciones en función del historial de acciones de los otros jugadores en rondas anteriores del juego. Así pues, la explicación anterior aplica en la CR, en donde cada RC es un jugador y cada acción se encuentra establecida por los parámetros de radio frecuencia del sistema, como: potencia de trasmisión, selección de canales, entre otras (Bellhouse, 2007).

Las aplicaciones de la teoría de juegos para CR

Existen varios tipos de juegos que se han adaptado a diferentes situaciones en CRN [98]. Juegos supermodulares se han utilizado para el control de potencia distribuida en Li, Chen, Li y Ma (2007), y Zhang y Zhao (2010), y para la adaptación de velocidad, en Pillutla y Krishnamurthy (2008). 

El modelo de juego de Stackelberg se puede utilizar para implementar el comportamiento del RC en el arrendamiento de espectro cooperativo en el que los PU actúan como los juegos líderes y CU como los seguidores (Simeone et al., 2008).

En los juegos de subastas, los jugadores son los compradores que debe seleccionar la estrategia de oferta adecuada con el fin de maximizar su utilidad percibida (es decir, el valor de los artículos adquiridos menos el pago al vendedor). El concepto de juegos de subastas ha aplicado con éxito al arrendamiento espectro dinámico de cooperación (DSL) en Jayaweera, Bkassiny y Avery (2011), y Jayaweera y Bkassiny (2011); así como a la asignación de espectro de problemas en Chen, Iellamo, Coupechoux y Godlewski (2010). Los fundamentos de los juegos de subastas y los desafíos abiertos de la aplicación de juegos de subastas en el campo de la gestión del espectro se discuten en Iosifidis y Koutsopoulos (2011).

Juegos estocásticos (o juegos de Markov) se pueden utilizar para modelar el comportamiento codicioso de una CR en un CRN, donde cada CR trata de aprender de su mejor respuesta y así mejorar sus estrategias en el tiempo (Fu y Van der Schaar, 2008).

En particular, el aprendizaje sin pérdida (learning no-regret) permite a los jugadores que inician y no están informados adquirir el conocimiento sobre su estado en el entorno del juego repetido (Latifa, Gao y Liu, 2012). 

El concepto de pérdida se relaciona con el beneficio de un jugador que siente después de tomar una acción en particular. La acción que tenga la menor pérdida se actualiza con los pesos más altos y por tanto se seleccionan con mayor frecuencia (Latifa, gao y Liu, 2012).

El aprendizaje sin pérdida se aplicó en Latifa, Gao y Liu (2012) para permitir a un CR actualizar tanto su potencia de transmisión como las frecuencias de forma simultánea. En Zhu, Han y Başar (2010), se utiliza para detectar los nodos maliciosos en reconocimiento del espectro, mientras que en el aprendizaje sin pérdida se utilizó para lograr un equilibrio correlacionado en el acceso oportuno al espectro de los CR (Han, Pandana y Liu, 2007).

Recientemente, Xu et al. (2012) sugirieron una solución de aprendizaje estocástico de teoría de juegos para el acceso al espectro cuando no se conocen los datos a priori o las estadísticas de disponibilidad de canal o el número de CU. El modelo de Xu et al. (2012) proporciona una solución alternativa a los esquemas de acceso al espectro propuestos en [9].

Red neuronal artificial

La primera red neuronal artificial fue presentada por el neurosicólogo W. McCulloch y el matemático W. Pits en 1943 para el estudio del cerebro humano. La idea de la red neuronal artifical (ANN) fue aplicada a modelos computacionales. En otras palabras, se tenía un conjunto de funciones no lineales con parámetros ajustables para dar respuesta a una salida deseada (He et al., 2010). De manera que las redes neuronales podrían interactuar entre la experiencia y el aprendizaje debido al entrenamiento.

Aunque existe una numerable combinación de redes neuronales, en las RC se han implementado cuatro clases con resultados favorables: la primera, multi-layer linear perceptron networks (MLPN); la segunda, nonlinear perceptron networks (NPN); la tercera, radial basis function networks (RBFN), y la cuarta, como una aplicación de ANN en las CR.

Aplicación de las ANN en la CR

La mayoría de las diferentes combinaciones de las redes neuronales artificiales han sido adoptadas en la detección del espectro para CR (Fehske, Gaeddert y Reed, 2005; Zhu, Liu, Weng y Yuan, 2008) como clasificador de señales utilizando la extracción de futuras señales de ciclo estacionario. Por tal razón, el uso de las ANN y la combinación de señales cicloestacionarias garantizan una clasificación estable, eficiente y fiable, reduciendo tiempos de procesamiento mediante la realización de una cantidad representativa de cálculos. No obstante, en Zhu, Liu, Weng y Yuan (2008) se emplea un algoritmo de detección de espectro basado en wireless mesh networks. Este último muestra un mejor rendimiento en la precisión y velocidad en comparación a los algoritmos por teoría bayesiana.

Así mismo, en Baldo y Zorzi (2008) se han empleado ANN para caracterizar la comunicación en tiempo real de las RC, con el propósito de medir los tiempos de ejecución que ofrece cierta capacidad de aprendizaje que puede ser explotado por los motores cognitivos. No obstante, en Ustundag y Orcay (2008), y Benidris, Benmammar y Bendimerad (2012) se han empleado ANN para la clasificación de patrones de trasmisión.

Algoritmos metaheurísticos

Este tipo de algoritmos en comúnmente empleado para resolver problemas computacionales en donde las entradas principales son definidas por el usuario sobre procedimientos genéricos basados en optimizaciones combinatorias. Por tal razón, son aplicados a complejos problemas computacionales a través de espacios de soluciones (Glover, 1986). Varios algoritmos metaheurísticos son descritos a continuación.

Algoritmos evolutivos

Su principal campo de acción se encuentra inmerso en la optimización y búsqueda de soluciones, inspirado en la evolución genética y la selección natural de las especies por naturaleza (Goldberg y Holland, 1988).

Los algoritmos evolutivos forman parte de las ciencias de la computación y su principal enfoque está determinado en la inteligencia artificial; siguiendo la terminología de la teoría de la evolución. Así pues, es común encontrar definiciones de los cromosomas y funciones de aptitud como descriptores de un algoritmo genético, en donde los cromosomas son representaciones abstractas de las soluciones candidatas y la función de aptitud está estrechamente relacionada con el objetivo del algoritmo para los procesos de optimización.

Una función ideal de aptitud debe presentarse para un procesamiento rápido, debido a que es importante anticiparse a las que serían varias evaluaciones para producir una sola generación y, de este modo, producir un resultado útil. En concordancia, un algoritmo genético mantiene una población de soluciones candidatas para un problema dado (He et al., 2010), en donde se evalúa la condición física de la población para obtener aquellos individuos que pueden formar una nueva generación o experimentar mutación para seguir aumentando los niveles de aptitud.

Simulated annealing (SA)

Este método está basado en la capacidad probabilística para aproximar un óptimo global de una función dada (Kirkpatrick y Vecchi, 1983). Este método metaheurístico ha sido ampliamente empleado para aproximar una optimización global de un gran espacio de búsqueda. Dicho de otro modo, este enfoque está motivado en el proceso de fundición de la metalurgia, en donde la elevación de la temperatura de una muestra puede reducir o eliminar defectos y lograr la perfecta cristalización del material (He et al., 2010).

En cada caso, este algoritmo considera algunos vecinos de los estados actuales y, en cada paso, el algoritmo SA considera algunos vecinos de los estados actuales y probabilísticamente decide o bien mover el sistema en el estado o permanecer en los estados. Las probabilidades se eligen de modo que el sistema en última instancia, tiende a moverse a estados de menor energía. Normalmente, este paso se repite hasta que el sistema alcanza un estado que es lo suficientemente bueno para la aplicación o hasta que un presupuesto de cálculo en cuestión se ha agotado. El tamaño del espacio de búsqueda local es generalmente una función del nivel actual de energía o, a veces, el tiempo desde el inicio. De esta manera, el algoritmo recorre inicialmente en una amplia área del espacio de búsqueda que contiene buenas soluciones, haciendo caso omiso de pequeñas características de la función de energía, y cuando se mueve hacia las regiones de menor energía, el espacio de búsqueda se hace más estrecho y más estrecho (He et al., 2010).

Tabu search (TS)

Este método se basa en la optimización matemática de técnicas de búsqueda local, mediante el empleo de una estructura de memoria (Niyato y Hossain, 2009). Su principal modo de operación se basa en la búsqueda local o por vecindades en listas de almacenamiento. Así pues, los datos guardados son utilizados de diferentes maneras para guiar los procesos de búsqueda. Por ejemplo, cuando tenemos el proceso de búsqueda en una región con más soluciones aceptables en donde se selecciona un conjunto de las mismas que se acercan a la necesidad actual.

Ant colony optimization (ACO)

Esta técnica, está inspirada en el comportamiento de las hormigas en la búsqueda de caminos más cortos desde sus colonias a la fuente de alimentos más próxima (Dorigo y Blum, 2005). Los algoritmos desarrollados por las ciencias de la computación detallan la manera probabilista de solucionar problemas a rutas críticas presentes en el flujo continuo que empieza desde el planteamiento de un problema, hasta la obtención de una solución.

La implementación de este tipo de algoritmos ha estimulado la idea original de resolver problemas numéricos a partir de los preceptos de la naturaleza animal, en donde los algoritmos han de seguir los mismos patrones de alcance, adaptabilidad a los cambios y desafíos del entorno. Por consiguiente, los algoritmos por colonias de hormigas combinan la información de historial de eventos para luego crear una estructura de posibles soluciones y así concatenarlas a partir de sucesos anteriores.

Application of metaheuristic algorithms to CR

Entre las principales aplicaciones de los algoritmos metaheurísticos encontramos el uso de técnicas para el aprendizaje con la ayuda de ejemplos de entrenamiento, más aún cuando la relación entre los parámetros y las medidas de rendimiento deseado, no se entienden bien (He et al., 2010).

La optimización en la implementación de este tipo de técnicas es comúnmente empleado dada su alta capacidad para resolver problemas, cuya complejidad multidimensional puede ser abordada de forma autónoma. Por esta razón, los algoritmos genéticos han sido ampliamente adoptados para resolver optimización multiobjetivo y problemas de configuración dinámica en CRN, en respuesta al cambiante entorno inalámbrico de las redes de comunicación (Rondeau, Le, Rieser y Bostian, 2004; Newman et al., 2007; Yong, Hong y Qing, 2009).

Las investigaciones desarrolladas en Rondeau et al. (2004) han evidenciado la aplicación de algoritmos genéticos como medio de adaptación de parámetros en la radio definida por software, para el entorno de radio comúnmente cambiante. Así mismo, en Newman et al. (2007) se plantea diseñar un motor cognitivo basado en algoritmos genéticos para controlar parámetros de radio, de una portadora y multiportadora.

En Hauris (2007) los algoritmos genéticos han sido empleados para para adaptar los parámetros de RC en los vehículos autónomos. Estos forman una red inalámbrica dinámica geográficamente variable para la comunicación y el intercambio de información entre los vehículos y la estación base (BS) (He et al., 2010). En otro escenario, Kim et al. (2008) plantean el modelo de implementación de un software operado por banco de pruebas de RC, con la capacidad de detección del espectro y la adaptabilidad en los motores cognitivos basados en algoritmos genéticos para la optimización de los parámetros de acceso dinámico del espectro.

Modelo oculto de Markov (HMM)

El modelo oculto de Markov (hidden Markov model, HMM) es un modelo estadístico para describir y analizar el comportamiento dinámico de un fenómeno aleatorio complejo (Rabiner, 1989) que puede ser modelado como un proceso de Markov con estados observables y no observables. El HMM genera secuencias de símbolos de observación al hacer transiciones de estado a estado. Sin embargo, los estados están ocultos, y solo la salida es observable. En general, un proceso en el mundo real puede ser expresado como un proceso aleatorio que produce una secuencia de símbolos de observación o parámetros ocultos que generan los observables. Los símbolos o patrones pueden ser discretos o continuos dependiendo de los procesos específicos.

Un HHM por completo se puede especificar en una forma compacta de la forma , donde A es un estado de transición de la matriz de probabilidad con dimensiones N x N, B es la matriz probabilística de observación de símbolos y la probabilidad de vector de estado inicial tiene la dimensión N x 1, Nes el número de estados y k es el número de símbolos de observación distintos por estado.

Aplicación de HMM en CR

Numerosas aplicaciones de algoritmos por HHM en CR han sido empleadas para construir sistemas específicos en la explicación de la ocurrencia de los símbolos o patrones observados. Este modelo se puede utilizar para identificar las secuencias de observaciones con el mismo patrón mediante la elección del modelo más probable para producir las secuencias observadas. Por tanto, un HMM se puede utilizar como un proceso de observación de motor cognitivo para reconocer o clasificar los estímulos recibidos y poder alcanzar la conciencia. Además, ya que puede reproducir las secuencias de entrenamiento, que puede ser utilizado para la predicción. Además, el aprendizaje se puede lograr mediante la creación de nuevos modelos (He et al., 2010).

Diferentes propuestas han estado inmersas en el aprovechamiento del espectro radio eléctrico tal como de menciona en (Kim et al., 2007), en donde la principal propuesta se basaba en el uso del HMM para procesar la señal ciclo estacionaria de detección de la señal primaria en RC. El método de detección del espectro se fundamenta en que el HMM puede detectar y clasificar las señales de bajo ruido con solo información limitada sobre el ancho de banda de la señal. No obstante, Ghosh, Cordeiro, Agrawal y Rao (2009) validan la existencia de un modelo de la cadena de Markov para la utilización del canal inalámbrico con datos en tiempo real medidos en la banda de paginación para, finalmente, formular el problema de detección de espectro usando un HMM.

Rule-Based Systems (RBS)

En las ciencias de la computación, es una técnica empleada para manipular el conocimiento e interpretar la información de la mejor forma. Un ejemplo cercano en la implementación de RBS (Ali, 2012), se puede apreciar en los sistemas expertos que utilizan reglas para hacer deducciones o elecciones. Su principal modo de articular la optimización de resultados tiene en cuenta las afirmaciones expuestas por He et al. (2010). La primera indica la lista de reglas permanentes, mientras que la segunda, el motor de inferencia (inference engine-IE). Esto hace deducir información o tomarla a partir de las entradas y en las reglas.

Aplicación de RBS en CR

El razonamiento basado en reglas de motores cognitivos (RBR-CE) ha sido diseñado para la optimización de RC (Reed, 2006; Zhao et al., 2007; Clancy, Kecker, Stuntebeck y Shea, 2007). En consecuencia, numerosas investigaciones han mostrado y evaluado este tipo de técnicas para el estándar IEEE 802.22, cuya utilización ha estado enfocada en la empleabilidad de espacios blancos en el espectro de frecuencia de los canales de TV más específicamente para aplicaciones inalámbricas de red de área rural (WRAN). Es así que la implementación de estas técnicas puede conseguir un rendimiento similar a los motores cognitivos sobre la base de los algoritmos genéticos con una complejidad computacional menor.

Ontology (OBS)

Ontología es una definición formal de las ciencias de la computación en donde se catalogan variables necesitadas para establecer relaciones entre sí (Guarino, 1998). Como una representación formal, la ontología se convierte en la maquina comprensible, capaz de ser aceptada o compartida en un conjunto de datos útil. De esta manera, la ontología se utiliza para razonar acerca de los atributos del dominio o de interés. Guarino (1998) define las cuatro principales componentes de la ontología. En primer lugar, realizan una categoría de clase cuyos conjuntos de objetos están en el dominio de modelado. En segundo lugar, se presentan los casos en donde los individuos que pertenecen a las clases estudiadas a través del modelado del dominio. En tercer lugar, la asignación de atributos al detallar las propiedades de los objetos y, en el cuarto lugar, las relaciones o enlaces entre varias entidades.

Las principales ontologías han sido aplicadas para facilitar el procesamiento de máquina. En consecuencia, los numerosos lenguajes de ontologías se han desarrollado desde la Web, debido al alto impacto en la Word Wide Web (He et al., 2010).

Case-Based System (CBS)

• El razonamiento basado en casos es una técnica de la inteligencia artificial, encargada de solucionar nuevos problemas basados en las soluciones del historial de eventos experimentados por el sistema [69]. En una CBS, una solución al nuevo problema se crea mediante la selección de los casos que son más relevantes para el problema, la reducción a los casos seleccionados a un solo caso, y la adaptación de este caso para amoldarse a la situación actual.
• Los algoritmos CBS son un tipo de programa experto que intenta imitar el comportamiento del ser humano en alguna temática con las mismas características decisorias para resolver problemas dentro de los dominios parcialmente entendidos. Así mismo, este sistema cuenta con la capacidad de proporcionar una explicación única ante los sucesos o decisiones que necesite tomar
• Una de las cuestiones clave de la CBS es que el rendimiento se basa en los casos anteriores. Si estos se han resuelto de forma incorrecta, es posible que los errores se propaguen a nuevos casos con falencias (He et al., 2010). Además, para un dominio complejo en el que el sistema requiere una base de datos numerosa para representar sus características, rellenar y buscar una base de datos de casos específicos, puede llevar mucho tiempo y a veces puede llegar a tornarse compleja. En este caso, la integración con otras técnicas, como las RBS, puede ser necesaria para mejorar el rendimiento y reducir los tiempos de transferencia.

Aplicación de CBS en CR

La numerosa combinación de estados de tráfico en las redes de comunicación puede ser estudiada para obtener patrones de actividad, modelos de ocupación, asignación de canales, etc. Lo anterior, a partir del historial de eventos de la red. Así, investigaciones recientes han evaluado diversos escenarios de radio y comparado con los algoritmos de opmización multiobjetivo, incluyendo la búsqueda de escala (hill-climbing search, HCS) en algoritmos genéticos.

En Le, Rondeau y Bostian (2007) se propone implementar una arquitectura de motor cognitivo junto con las CBR. Así mismo, se discuten las funcionalidades de los bloques de construcción en el ciclo de la cognición y de la búsqueda de sucesos pasados, incluyendo la conciencia medioambiental, el aprendizaje basado en casos, optimización multiobjetivo y la interfaz de hardware portátil. También se sugiere la implementación de los bloques de construcción.

Lógica difusa

La lógica difusa resulta ser una posición relativa desde el observador principal. Sin embargo, las conclusiones de la técnica están respaldas por métricas iniciales que describen el conjunto de valores admisibles de una muestra. De tal manera, la lógica difusa -aunque con una tasa de estudio aleatoria- permite obtener valores diferentes a los supuestos de verdadero o falso (Gavrilovska, Atanasovski, Macaluso y Da Silva, 2013).

La lógica difusa proporciona al sistema, razonamiento aproximado mediante conjuntos de reglas, con la capacidad de obtener condiciones de incertidumbre mediante la predicción de consecuencias, además de la capacidad de adaptarse a nuevas situaciones (Dadios, 2012).

Diferentes investigaciones (Abbas, Nasser y El Ahmad, 2015; Matinmikko, Del Ser, Rauma y Mustonen, 2013) han aplicado la teoría de lógica difusa en la CR para resolver los problemas en función de la asignación del ancho de banda, estudiando de antemano la interferencia y la administración de la energía, los anteriores como métodos de evaluación en la correcta asignación del espectro. No obstante, diferentes resultados de estudios han detallado tópicos como la inferencia difusa centralizada, que asigna los anchos de banda correspondientes a la intensidad de tráfico y la prioridad del servicio. Así pues, esta última detalla cómo los CU tienen que presentar solicitudes de ancho de banda al administrador primario de la red (Abba, Nasser y El Ahmad, 2015). Del mismo modo el administrador analiza el tráfico desde la cola y verifica los retardos producidos por la demora en la trasmisión de paquetes. En otras palabras se determina la latencia para el acceso a CU.

Aprendizaje por refuerzo

Este método permite a los agentes software aprender de sus estados pasados con el fin de mejorar las acciones y movimientos futuros. La clave de su éxito se basa bajo la técnica de ensayo y error, maximizando la recompensa. Por lo cual, esta técnica consiste en la evaluación de los estados del medio ambiente de estudio, las normas para la trasmisión entre estados, las acciones bajo los supuestos, la recompensa inmediata de las reglas de transición y, por último pero no menos importante, las reglas de transición de los agentes de software en un entorno dado (Busoniu, Babuska y De Schutter, 2008; Van Otterlo, 2012).

El aprendizaje por refuerzo ha sido incorporado en la CR específicamente en las telecomunicaciones móviles para la reducción de los retrasos de trasmisión y para el mejoramiento de la calidad del servicio de los CU. Por esa razón, la investigación desarrollada por Abbas, Nasser y El Ahmad (2015) muestra la capacidad de implementar un sistema de errores y recompensas en función de cada decisión. Así pues, con la implementación de esta técnica, se tendría un óptimo desempeño en la toma decisiones en la administración del espectro electromagnético. No obstante, la misma investigación detalló el proceso de modelar problemáticas de CR mediante algoritmos de Markov, en donde las variables principales de estudio serían el costo y el tiempo de las trasmisiones de datos.

Máquinas de soporte vectorial

Las máquinas de soporte vectorial (SVM) son el conjunto de algoritmos que tienen la capacidad de aprender bajo la supervisión de un agente de software. Su principal modo de operación está en función de la regresión y la clasificación en el aprendizaje. Esta técnica es utilizada para llegar a márgenes de clasificación en un conjunto de datos (Han, Kamber y Pei, 2011). Por tanto, el principal objetivo de las SVM consiste en establecer un modelo de predicción en donde una entrada incierta puede ser identificada en una categoría u otra.

Una de las principales aplicaciones de esta técnica en CR se atribuye a Han et al. (2011), en donde las principales investigaciones objeto de estudio han sido encaminadas a generar algoritmos de clasificación de redes secundarias usadas en detección espectral y toma de decisiones. La clasificación es basada en secuencia de pulsos, extensión de repetición y el procesamiento en la circulación de datos.

Otra investigación interesante, desarrollada por Min Lin, Jian Ouyang (2013) muestra la adaptabilidad de las SVM para la solución de las CR en las áreas beam-forming; en donde parámetros importantes como la retrasmisión son estimulados para minimizar la potencia total de la estación base, garantizando en el mismo sentido, una adecuada calidad en el servicio de los PU y CU. No obstante, en las CRN se han empleado numerosos algoritmos SVM para resolver los problemas de optimización de filtrado espacial, por lo que esta última ha sido comúnmente implementada para el procesamiento de señales mediante redes de sensores en los procesos de trasmisión y recepción de datos.

ANÁLISIS DE TÉCNICAS

Las técnicas de inteligencia artificial son el núcleo de la mayoría de los procesos de la CR. Por esa razón, en los siguientes apartados se presenta un resumen de las técnicas más favorables y cuyo análisis se centra en el aprovechamiento óptimo del espectro para comunicaciones. La tabla 1 describe las ventajas y desafíos de cada técnica.

Las redes neuronales artificiales son simulaciones matemáticas basadas en redes neuronales biológicas, que se utilizan principalmente para la coincidencia de patrones no lineales y modelos estadísticos (He et al., 2010). Son capaces de describir las relaciones complejas entre los conjuntos de datos multidimensionales y tiene la capacidad de ser aprender bajo la ponderación de unos pesos de entrada.

Los algoritmos metaheurísticos de búsqueda no son muy eficientes cuando las reglas deben ser aprendidas de un conjunto de parámetros del sistema. Además, la eficacia de los algoritmos en sí puede ser mejorada mediante la fusión con otros algoritmos en conjunción con el aprendizaje. Por esto, mecanismos como el aprendizaje basado en el conocimiento previo (Mitchell, 1997) son ampliamente implementados como complemento y base de la estructura algorítmica.

El mayor desafío para los algoritmos metaheurísticos radica en la búsqueda de una hipótesis de espacio. Por definición, estas técnicas solo tratan de encontrar las mejores hipótesis desde el espacio de búsqueda y no pueden crear nuevas hipótesis más allá del espacio en donde son comprendidas.

Un enfoque basado en HMM analíticamente puede modelar un proceso estocástico complicado utilizando la secuencia de observación. Tanto la clasificación y la predicción se pueden lograr mediante un HMM. Sin embargo, el desarrollo de un HMM requiere una buena secuencia de entrenamiento, y el proceso de formación puede ser complejo computacionalmente (He et al., 2010). Sin embargo, lo anterior no ha representado un impedimento para generar la articulación con otras técnicas de inteligencia artificial que a su vez han permitido el establecimiento de nuevos modelos (Rondeau, Rieser, Gallagher y Bostian, 2004).

Conclusiones

En este trabajo se han revisado varias técnicas de inteligencia artificial que se han supuesto para proporcionar la capacidad de cognición de los motores cognitivos. Así mismo, la revisión bibliográfica detalla que muchas de las implementaciones permanecen rudimentarias tal vez debido a la naturaleza interdisciplinaria de los diferentes campos de actuación que describen la CR. Se muestran las técnicas de inteligencia artificial que han sido experimentadas para dar solución al aprovechamiento del espectro electromagnético en las áreas de desarrollo de la CR. Las diferentes técnicas han sido empleadas para dar solución a diferentes tópicos, como: viabilidad en la disposición del espectro, consumo de energía, caracterización de canales, políticas locales, requisitos de usuario, disponibilidad en agujeros del espectro, entre otras.

Las técnicas de inteligencia artificial son esencialmente las herramientas principales para la CR. Las ventajas y desventajas en la adopción de una técnica u otra están en función de las necesidades específicas del objetivo o propósito al que se desea llegar.

La implementación de una técnica o del conjunto de estas depende de las necesidades en procesamiento de la señal, compensaciones en los tiempos de respuesta, disponibilidad de las muestras, capacidad de almacenamiento, capacidad de aprendizaje, robustez, entre otras.

Por último, el acceso dinámico al espectro ha recibido mayor importancia en la CR y se podría esperar que a futuro estas no dependan de la inteligenciar artificial. Por lo que la mayor ganancia desde las redes de comunicación tendrá la capacidad de soportar una infraestructura reorganizada que pueda continuamente gestionar los elementos de la red, garantizando a su vez mejora en la calidad del servicio de los agentes del sistema. Sin embargo, de la aplicaciones de técnicas de inteligencia artificial deberá ser perfeccionada y ampliado en un proceso metacognitivo.

Financiamiento

Este trabajo es resultado de un proyecto de investigación financiado por la Universidad ECCI a través de la convocatoria interna No. 1 de 2014-2015.

Referencias

Abbas, N.; Nasser, Y. y El Ahmad, K. (2015). Recent advances on artificial intelligence and learning techniques in cognitive radio networks. EURASIP Journal on Wireless Communications and Networking, 1, 1-20.

Abdelaziz, S. y ElNainay, M. (2014). Metric-based taxonomy of routing protocols for cognitive radio ad hoc networks. Journal of Network and Computer Applications, 40, 151-163.

Ali, D.R. (2012). Scalable Parameter Management using Casebased Reasoning for Cognitive Radio Applications. Tesis de magíster. Blacksburg, Virginia: Virginia Polytechnic Institute and State University.

Baldo, N. y Zorzi, M. (2008). Learning and adaptation in cognitive radios using neural networks. In Consumer Communications and Networking Conference, 2008. CCNC 2008. 5th IEEE (pp. 998-1003). IEEE.

Bayat, S.; Louie, R.H.Y.; Li, Y. y Vucetic, B. (2011). Cognitive radio relay networks with multiple primary and secondary users: Distributed stable matching algorithms for spectrum access. IEEE International Conference on Communications. http://doi.org/10.1109/icc.2011.5962935.

Bellhouse, D. (2007). The problem of Waldegrave. Electronic Journal for the History of Probability and Statistics, 3(2), 1-12.

Benidris, F.Z.; Benmammar, B. y Bendimerad, F.T. (2012). Comparative studies of artificial intelligence techniques in the context of cognitive radio. En: International Conference on Multimedia Information Processing. Muaskar, Argelia.

Bkassiny, M., Jayaweera, S. K., & Avery, K. A. (2011). Distributed Reinforcement Learning based MAC protocols for autonomous cognitive secondary users. In Wireless and Optical Communications Conference (WOCC), 2011 20th Annual (pp. 1-6). IEEE.

Bkassiny, M.; Li, Y. y Jayaweera, S.K. (2013). A survey on machine-learning techniques in cognitive radios. Communications Surveys & Tutorials, IEEE, 15(3), 1136-1159.

Burbank, J.L.; Hammons Jr., A.R. y Jones, S.D. (2008). A common lexicon and design issues surrounding cognitive radio networks operating in the presence of jamming. In Military Communications Conference, 2008. MILCOM 2008. IEEE (pp. 1-7). IEEE.

Busoniu, L.; Babuska, R. y De Schutter, B. (2008). A comprehensive survey of multiagent reinforcement learning. Systems, Man, and Cybernetics, Part C: Applications and Reviews, IEEE Transactions on, 38(2), 156-172.

Cacciapuoti, A.S.; Caleffi, M.; Paura, L. y Rahman, M.A. (2015). Channel availability for mobile cognitive radio networks. Journal of Network and Computer Applications, 47, 131-136. http://doi.org/10.1016/j.jnca.2014.10.002.

Caleffi, M.; Akyildiz, I.F. y Paura, L. (2012). OPERA: Optimal routing metric for cognitive radio ad hoc networks. Wireless Communications, IEEE Transactions on, 11(8), 2884-2894.

Chen, L.; Iellamo, S.; Coupechoux, M. y Godlewski, P. (2010). An auction framework for spectrum allocation with interference constraint in cognitive radio networks. In INFOCOM, 2010 Proceedings IEEE (pp. 1-9). IEEE.

Chen, Y.; Zhao, Q. y Swami, A. (2008). Joint design and separation principle for opportunistic spectrum access in the presence of sensing errors. Information Theory, IEEE Transactions on, 54(5), 2053-2071.

Clancy, C.; Hecker, J.; Stuntebeck, E. y Shea, T.O. (2007). Applications of machine learning to cognitive radio networks. Wireless Communications, IEEE, 14(4), 47-52.

Claus, C. y Boutilier, C. (1998). The dynamics of reinforcement learning in cooperative multiagent systems. En: American Association for Artificial Intelligence AAI/IAAI (pp. 746-752).

Dadios, E.P. (2012). Fuzzy Logic-Algorithms, Techniques and Implementations. Croacia: InTech Ltd. http://doi.org/10.5772/2663.

Debroy, S.; De, S. y Chatterjee, M. (2014). Contention based multichannel MAC protocol for distributed cognitive radio networks. IEEE Transactions on Mobile Computing, 13(12), 2749-2762. http://doi.org/10.1109/TMC.2014.2352260.

Del Ser, J.; Matinmikko, M.; Gil-López, S. y Mustonen, M. (2012). Centralized and distributed spectrum channel assignment in cognitive wireless networks: A Harmony Search approach. Applied Soft Computing Journal, 12(2), 921-930. http://doi.org/10.1016/j.asoc.2011.10.001.

Dorigo, M. y Blum, C. (2005). Ant colony optimization theory: A survey. Theoretical Computer Science, 344(2), 243-278.

Fehske, A.; Gaeddert, J. y Reed, J.H. (2005). A new approach to signal classification using spectral correlation and neural networks. En: New Frontiers in Dynamic Spectrum Access Networks, 2005. DySPAN 2005. 2005 First IEEE International Symposium on (pp. 144-150). IEEE.

Fu, F. y Van der Schaar, M. (2008). Stochastic game formulation for cognitive radio networks. In New Frontiers in Dynamic Spectrum Access Networks, 2008. DySPAN 2008. 3rd IEEE Symposium on (pp. 1-5). IEEE.

Gavrilovska, L.; Atanasovski, V.; Macaluso, I. y Da Silva, L. (2013). Learning and reasoning in cognitive radio networks. Communications Surveys & Tutorials, IEEE, 15(4), 1761-1777.

Ghosh, C.; Cordeiro, C.; Agrawal, D.P. y Rao, M.B. (2009). Markov chain existence and hidden Markov models in spectrum sensing. In Pervasive Computing and Communications, 2009. PerCom 2009. IEEE International Conference on (pp. 1-6). IEEE.

Glover, F. (1986). Future paths for integer programming and links to artificial intelligence. Computers & Operations Research, 13(5), 533-549.

Goldberg, D.E. y Holland, J.H. (1988). Genetic algorithms and machine learning. Machine Learning, 3(2), 95-99.

Guarino, N. (1998). Formal ontology in information systems: Proceedings of the first international conference (FOIS'98). Trento, Italy (Vol. 46). IOS press.

Han, J.; Kamber, M. y Pei, J. (2011). Data mining: concepts and techniques. Burlington, Massachusetts: Elsevier.

Han, Z.; Pandana, C. y Liu, K.J. (2007). Distributive opportunistic spectrum access for cognitive radio using correlated equilibrium and no-regret learning. In Wireless Communications and Networking Conference, 2007. WCNC 2007. IEEE (pp. 11-15). IEEE.

Hasegawa, M.; Hirai, H.; Nagano, K.; Harada, H. y Aihara, K. (2014). Optimization for centralized and decentralized cognitive radio networks. Proceedings of the IEEE, 102(4), 574-584. http://doi.org/10.1109/JPROC.2014.2306255.

Hashem, M.; Barakat, S.I. y AttaAlla, M.A. (2014). Distributed channel selection based on channel weight for cognitive radio network. En: Computer Engineering Conference (ICENCO), 2014 10th International (pp. 115-120). IEEE.

Hauris, J. F. (2007). Genetic algorithm optimization in a cognitive radio for autonomous vehicle communications. En: Computational Intelligence in Robotics and Automation, 2007. CIRA 2007. International Symposium on (pp. 427-431). IEEE.

Haykin, S. (2005). Cognitive radio: brain-empowered wireless communications. Selected Areas in Communications, IEEE Journal on Selected Areas in Communications, 23(2), 201-220.

He, A.; Bae, K.K.; Newman, T.R.; Gaeddert, J.; Kim, K.; Menon, R.; ... Reed, J.H. (2010). A survey of artificial intelligence for cognitive radios. IEEE Transactions on Vehicular Technology, 59(1-4), 1578-1592.

Iosifidis, G. y Koutsopoulos, I. (2011). Challenges in auction theory driven spectrum management. Communications Magazine, IEEE, 49(8), 128-135.

Jayaweera, S. y Christodoulou, C. (2011). Radiobots: Architecture, algorithms and realtime reconfigurable antenna designs for autonomous, self-learning future cognitive radios. UNM Technical Report: EECE-TR-11-0001.

Jayaweera, S. K. y Bkassiny, M. (2011). Learning to thrive in a leasing market: an auctioning framework for distributed dynamic spectrum leasing (D-DSL). En: IEEE Wireless Communications & Networking Conference (WCNC'2011), Cancún, México.

Jayaweera, S.K.; Bkassiny, M. y Avery, K.A. (2011). Asymmetric cooperative communications based spectrum leasing via auctions in cognitive radio networks. Wireless Communications, IEEE Transactions on, 10(8), 2716-2724.

Kim, K.; Akbar, I.A.; Bae, K.K.; Um, J.S.; Spooner, C.M. y Reed, J. H. (2007). Cyclostationary approaches to signal detection and classification in cognitive radio. In New frontiers in dynamic spectrum access networks, 2007. DySPAN 2007. 2nd IEEE international symposium on (pp. 212-215). IEEE.

Kim, J.M.; Sohn, S.H.; Han, N.; Zheng, G.; Kim, Y.M. y Lee, J.K. (2008). Cognitive radio software testbed using dual optimization in genetic algorithm. In Cognitive Radio Oriented Wireless Networks and Communications, 2008. CrownCom 2008. 3rd International Conference on (pp. 1-6). IEEE.

Kirkpatrick, S. y Vecchi, M.P. (1983). Optimization by simmulated annealing. Science, 220(4598), 671-680.

Latifa, B.; Gao, Z. y Liu, S. (2012). No-regret learning for simultaneous power control and channel allocation in cognitive radio networks. En: Computing, Communications and Applications Conference (ComComAp'12) (pp. 267-271).

Le, B.; Rondeau, T.W. y Bostian, C.W. (2007). Cognitive radio realities. Wireless Communications and Mobile Computing, 7(9), 1037-1048.

Li, J.; Chen, D.; Li, W. y Ma, J. (2007). Multiuser power and channel allocation algorithm in cognitive radio. In Parallel Processing, 2007. ICPP 2007. International Conference on (p. 72). IEEE.

Liang, Y.; Lai, L. y Halloran, J. (2009). Distributed algorithm for collaborative detection in cognitive radio networks. 2009 47th Annual Allerton Conference on Communication, Control, and Computing (Allerton), 394-399. http://doi.org/10.1109/ALLERTON.2009.5394792.

Lin, M.; Ouyang, J. y Zhu, W.P. (diciembre de 2013). BF design in cognitive relay networks via support vector machines. En: IEEE Global Communications Conference (GLOBECOM) (pp. 3247-3252). IEEE. Atlanta, Georgia, EE. UU.

Liu, Y.; Feng, Z.Y. y Zhang, P. (2012). Optimized in-band control channel with channel selection scheduling and network coding in distributed cognitive radio networks. Journal of China Universities of Posts and Telecommunications, 19(2), 48-56. http://doi.org/10.1016/S1005-8885(11)60245-8.

Ma, Y. (2007). Distributed spectral access schemes for cognitive radio networks. Proceedings-IEEE Military Communications Conference MILCOM, 1-7. http://doi.org/10.1109/MILCOM.2007.4454877.

Matinmikko, M.; Del Ser, J.; Rauma, T. y Mustonen, M. (2013). Fuzzy-Logic Based Framework for Spectrum Availability Assessment in Cognitive Radio Systems. Selected Areas in Communications, IEEE Journal on, 31(11), 2173-2184.

Michalski, R.S. (1995). Learning and Cognition. En: WOCFAI (pp. 507-510). Citeseer.

Mitchell, T.M. (1997). Machine Learning. Computer Science Series. Edición internacional. Nueva York: McGraw-Hill.

Mitola III, J. y Maguire Jr., G.Q. (1999). Cognitive radio: making software radios more personal. Personal Communications, IEEE, 6(4), 13-18.

Mitola, J. (2000). Cognitive radio: An integrated agent architecture for software defined radio. Ph.D. dissertation. Estocolmo, Suecia: Computer Communication System Laboratory, Department of Teleinformatics, Royal Institute of Technology (KTH).

Naeem, M.; Anpalagan, A.; Jaseemuddin, M. y Lee, D.C. (2014). Resource allocation techniques in cooperative cognitive radio networks. IEEE Communications Surveys and Tutorials, 16(2), 729-744. http://doi.org/10.1109/SURV.2013.102313.00272.

Newman, T.R., Barker, B.A.; Wyglinski, A.M.; Agah, A.; Evans, J.B. y Minden, G.J. (2007). Cognitive engine implementation for wireless multicarrier transceivers. Wireless Communications and Mobile Computing, 7(9), 1129-1142. http://doi.org/10.1002/wcm.486.

Niyato, D. y Hossain, E. (2009). Cognitive radio for next-generation wireless networks: An approach to opportunistic channel selection in IEEE 802.11-based wireless mesh. Wireless Communications, IEEE, 16(1).

Pillutla, L.S. y Krishnamurthy, V. (2008). Game theoretic rate adaptation for spectrum-overlay cognitive radio networks. En: Global Telecommunications Conference, 2008. IEEE GLOBECOM 2008. IEEE (pp. 1-5). IEEE.

Rabiner, L.R. (1989). A tutorial on hidden Markov models and selected applications in speech recognition. Proceedings of the IEEE, 77(2), 257-286.

Reed, J.H. (2006). Development of a cognitive engine and analysis of WRAN cognitive radio algorithms phase II. Report Submitted to ETRI, MPRG, Virginia Tech.

Rehmani, M.H.; Viana, A.C.; Khalife, H. y Fdida, S. (2013). SURF: A distributed channel selection strategy for data dissemination in multi-hop cognitive radio networks. Computer Communications, 36(10-11), 1172-1185. http://doi.org/10.1016/j.comcom.2013.03.005.

Rondeau, T.W.; Le, B.; Rieser, C.J. y Bostian, C.W. (2004). Cognitive radios with genetic algorithms: Intelligent control of software defined radios. In Software defined radio forum technical conference (pp. C3-C8). Citeseer.

Rondeau, T. W., Rieser, C. J., Gallagher, T. M., & Bostian, C. W. (2004). Online modeling of wireless channels with hidden markov models and channel impulse responses for cognitive radios. In Microwave Symposium Digest, 2004 IEEE MTT-S International (Vol. 2, pp. 739-742). IEEE.

Saranya, N.; Santhkumar, W.E. y Ruby, E.D.K. (2014). A survey on distributed channel selection technique using surf algorithm for information transfer in multi-hop cognitive radio networks. Proceedings-2014 International Conference on Computational Science and Computational Intelligence, CSCI 2014, 1, 96-100. http://doi.org/10.1109/CSCI.2014.23.

Simeone, O., Stanojev, I., Savazzi, S., Bar-Ness, Y., Spagnolini, U. y Pickholtz, R. (2008). Spectrum leasing to cooperating secondary ad hoc networks. Selected Areas in Communications, IEEE Journal on, 26(1), 203-213.

Ustundag, B. y Orcay, O. (2008). Pattern based encoding for cognitive communication. In Cognitive Radio Oriented Wireless Networks and Communications, 2008. CrownCom 2008. 3rd International Conference on (pp. 1-6). IEEE.

Van Otterlo, M. (2012). Solving relational and first-order logical markov decision processes: A survey. En: Reinforcement Learning (pp. 253-292). Springer.

Xenakis, D.; Passas, N. y Merakos, L. (2014). Multi-parameter performance analysis for decentralized cognitive radio networks. Wireless Networks, 20(4), 787-803.

Xu, Y.; Wang, J.; Wu, Q.; Anpalagan, A. y Yao, Y.-D. (2012). Opportunistic spectrum access in unknown dynamic environment: A game-theoretic stochastic learning solution. Wireless Communications, IEEE Transactions on, 11(4), 1380-1391.

Yong, L.; Hong, J. y Qing, H.Y. (2009). Design of Cognitive Radio Wiereless Parameters Based on Multi-objective Immune Genetic Algorithm. In Communications and Mobile Computing, 2009. CMC'09. WRI International Conference on (Vol. 1, pp. 92-96). IEEE.

Zhang, X. y Zhao, J. (2010). Power control based on the asynchronous distributed pricing algorithm in cognitive radios. In Information Computing and Telecommunications (YC-ICT), 2010 IEEE Youth Conference on (pp. 69-72). IEEE.

Zhao, Q. y Swami, A. (2007). A survey of dynamic spectrum access: signal processing and networking perspectives. DTIC Document.

Zhao, Q., Tong, L., & Swami, A. (2005). Decentralized cognitive MAC for dynamic spectrum access. En: New Frontiers in Dynamic Spectrum Access Networks, 2005. DySPAN 2005. 2005 First IEEE International Symposium on (pp. 224-232). IEEE.

Zhao, Q., Tong, L., Swami, A., & Chen, Y. (2007). Decentralized cognitive MAC for opportunistic spectrum access in ad hoc networks: A POMDP framework. IEEE Journal on Selected Areas in Communications, 25(3), 589-599. http://doi.org/10.1109/JSAC.2007.070409.

Zhao, Y.; Gaeddert, J.; Morales, L.; Bae, K.; Um, J.S. y Reed, J.H. (2007). Development of radio environment map enabled case-and knowledge-based learning algorithms for IEEE 802.22 WRAN cognitive engines. En: Cognitive Radio Oriented Wireless Networks and Communications, 2007. CrownCom 2007. 2nd International Conference on (pp. 44-49). IEEE.

Zhu, Q.; Han, Z. y Başar, T. (2010). No-regret learning in collaborative spectrum sensing with malicious nodes. In Communications (ICC), 2010 IEEE International Conference on (pp. 1-6). IEEE.

Zhu, X.-L.; Liu, Y.-A.; Weng, W.-W. y Yuan, D.-M. (2008). Channel sensing algorithm based on neural networks for cognitive wireless mesh networks. In Wireless Communications, Networking and Mobile Computing, 2008. WiCOM'08. 4th International Conference on (pp. 1-4). IEEE.