En el marco de este acuerdo, se explorará la viabilidad de técnicas de aprendizaje reforzado. El aprendizaje profundo por refuerzo (o Deep RL) es una técnica novedosa de inteligencia artificial que utiliza las redes neuronales y las técnicas de aprendizaje reforzado para entrenar agentes software para la toma de decisiones de manera autónoma. Desde esta premisa, en el proyecto se han definido una serie de retos que han de permitir evaluar e identificar valor en el uso de técnicas de Deep RL para la optimización de redes hidráulicas. La aplicación de estas tecnologías en el ámbito de la gestión del agua tiene aún un alto componente de investigación, por lo que el objetivo del proyecto es validar inicialmente que los agentes son capaces de asignar consignas de gestión de una red que igualen o superen el rendimiento conseguido por los operadores. Además, se explorará la viabilidad de las técnicas de aprendizaje reforzado con aprendizaje profundo para aplicarlo en la mitigación de emergencias y el control inteligente en tiempo real de la red de transporte de agua. Para el actual proyecto con SUEZ en España también se evaluarán técnicas clásicas de Deep Q-Learning, en las que se utiliza una red neuronal para predecir el impacto de una acción en un estado de la red determinado, así como técnicas de Actor-Critic, que están encaminadas a predecir la mejor política de acciones y no el valor específico de una acción concreta. En este proyecto, el equipo técnico del proyecto estará constituido por investigadores en inteligencia artificial del Barcelona Supercomputing Center e investigadores de Cetaqua, el centro tecnológico del agua adscrito a SUEZ España y se realizarán pruebas de concepto en el área metropolitana de Barcelona con Aigües de Barcelona. El objetivo último del proyecto consiste no solo en desarrollar las soluciones sino en validarlas una vez aplicadas a tamaños de red considerables (escala ciudad, por ejemplo) lo cual permita su operación en productivo, y que los algoritmos de aprendizaje reforzado puedan reentrenarse y replicarse en redes con diferente topología y ante diferentes condiciones hidráulicas de operación. Within the framework of this agreement, the feasibility of reinforced learning techniques will be explored. Deep reinforcement learning (Deep RL) is an innovative artificial intelligence technique that uses neural networks and reinforced learning techniques to train software agents for autonomous decisionmaking. Based on this premise, the project has defined a series of challenges that will allow the assessment and identification of value in the use of Deep RL techniques for the optimization of water distribution networks. The application of these technologies in the field of water management still has a high research component, so the initial objective of the project is to validate that agents are capable of assigning network management setpoints that equal or exceed the performance achieved by operators. In addition, the feasibility of applying reinforced learning techniques with deep learning to the mitigation of emergencies, and to intelligent, real-time control of water conveyance networks will be explored. The current project with SUEZ in Spainwill also encompass the evaluation of classic Deep Q-Learning techniques, inwhich a neural network is used to predict the impact of an action on a certain network status, as well as Actor-Critic techniques.These techniques are aimed at predicting the best action policy and not the specific value of a specific action. In this project, the technical teamwill bemade up of artificial intelligence researchers from the Barcelona Supercomputing Center and researchers fromCetaqua, the water technology center affilitiated to SUEZ Spain, and concept tests will be carried out in themetropolitan area of Barcelona with Aigües de Barcelona. The ultimate objective of the project is not only to develop the solutions but also to validate them once they have been applied to considerable network sizes (city scale, for example), thereby enabling them to be implemented in operations, whilst also enabling the retraining of reinforced learning algorithms for replication in networks with different topologies and under different hydraulic operating conditions. PROYECTO PARA APLICAR TECNOLOGÍAS DE BIG DATA AL CICLO INTEGRAL DEL AGUA El Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC) y SUEZ en España han firmado un acuerdo de colaboración, por el cual el BSC aportará conocimiento en tecnologías de computación, algoritmos de altas prestaciones, inteligencia artificial, visualización y big data y SUEZ aportará su conocimiento experto en operación de redes de distribución de agua potable para el testeo, desarrollo, validación y aplicación de nuevas herramientas de gestión. PROJECT TO APPLY BIG DATA TECHNOLOGIES TO THE INTEGRATED URBANWATER CYCLE The Barcelona Supercomputing Center (BSC) and SUEZ in Spain have entered into a collaboration agreement, whereby the BSC will provide knowledge in computing technologies, high-performance algorithms, artificial intelligence, visualization and big data, and SUEZ will contribute its expertise in the operation of drinking water distribution networks for the testing, development, validation and application of new management tools. Smart Cities. Smart Water | Smart Cities. Smart Water FuturEnviro | Noviembre/Diciembre November/December 2020 www.futurenviro.es 103
RkJQdWJsaXNoZXIy Njg1MjYx