基于多智能体强化学习的污水处理厂可持续发展最优控制( Optimal control towards sustainable wastewater treatment plants based on multi-agent reinforcement learning )

K Chen HC Wang BV Pérez S Zhai A Wang

污水处理厂（WWTPs）的设计目的是消除污染物，减轻人类活动造成的环境污染。但污水处理厂的建设和运行消耗资源，排放温室气体，产生剩余污泥，需要进一步优化。由于污水处理厂具有高度的非线性和变化性，使得污水处理厂的控制和优化变得十分复杂。采用多智能体深度强化学习(MADRL)技术对污水处理厂的溶解氧(DO)和化学投加量同时进行优化。从生命周期的角度对奖励函数进行了专门的设计，实现了可持续优化。审议了五种设想方案：基准方案、三种不同的出水质量方案和以成本为导向的设想方案。结果表明,与基准情景相比,基于LCA的优化方案具有较低的环境影响,成本、能耗和温室气体排放分别降低到0.890 CNY/m3-WW,0.530kWh/m3-WW,2.491kg CO2当量/m3-WW。成本导向的控制策略表现出与LCA驱动策略相当的总体性能，因为它牺牲了环境效益，但成本较低，为0.873 CNY/m3-WW。值得一提的是，在实施基于资源的污水处理厂改造时，应考虑影响转移。具体而言，LCA-SW情景在10天内使富营养化潜势比基线降低10公斤PO4-eq,同时显著增加其他指标。确定了每项指标的主要贡献者，以供今后研究和改进。最后，作者讨论了新的动态控制策略需要先进的传感器或大量的数据，因此控制策略的选择也要考虑经济和生态条件。总之，本文的研究还存在一定的局限性，需要进一步的研究。

SciDown文献求助系统（解决99%问题） Public Download Elsevier ResearchGate