Method of Multi-Agent Reinforcement Learning in Systems with a Variable Number of Agents

Методы мультиагентного обучения с подкреплением являются одним из новейших и активно развивающихся направлений машинного обучения. Среди методов мультиагентного обучения с подкреплением одним из наиболее перспективных является метод MADDPG, достоинством которого является высокая сходимость процесса...

Ful tanımlama

Kaydedildi:

Detaylı Bibliyografya
Asıl Yazarlar:	Petrenko, V. I., Петренко, В. И., Tebueva, F. B., Тебуева, Ф. Б., Gurchinsky, M. M., Гурчинский, М. М., Pavlov, A. S., Павлов, А. С.
Materyal Türü:	Статья
Dil:	Russian
Baskı/Yayın Bilgisi:	2023
Konular:	Мультиагентное обучение с подкреплением Переменное число агентов Мультиагентные системы Машинное обучение Независимое обучение Совместное обучение
Online Erişim:	https://dspace.ncfu.ru/handle/20.500.12258/22748
Etiketler:	Etiketle Etiket eklenmemiş, İlk siz ekleyin!

id	ir-20.500.12258-22748
record_format	dspace
spelling	ir-20.500.12258-227482023-02-22T11:51:59Z Method of Multi-Agent Reinforcement Learning in Systems with a Variable Number of Agents Petrenko, V. I. Петренко, В. И. Tebueva, F. B. Тебуева, Ф. Б. Gurchinsky, M. M. Гурчинский, М. М. Pavlov, A. S. Павлов, А. С. Мультиагентное обучение с подкреплением Переменное число агентов Мультиагентные системы Машинное обучение Независимое обучение Совместное обучение Методы мультиагентного обучения с подкреплением являются одним из новейших и активно развивающихся направлений машинного обучения. Среди методов мультиагентного обучения с подкреплением одним из наиболее перспективных является метод MADDPG, достоинством которого является высокая сходимость процесса обучения. Недостатком метода MADDPG является необходимость обеспечения равенства числа агентов N на стадии обучения и числа агентов K на стадии функционирования. В то же время целевые мультиагентные системы (МАС), такие как группы БПЛА или мобильных наземных роботов, являются системами с переменным числом агентов, что не позволяет применять в них метод MADDPG. Для решения данной проблемы в статье предложен усовершенствованный метод MADDPG для мультиагентного обучения с подкреплением в системах с переменным числом агентов. Усовершенствованный метод MADDPG базируется на гипотезе о том, что для выполнения своих функций агенту нужна информация о состоянии не всех прочих агентов МАС, а только нескольких ближайших соседей. На основе данной гипотезы предложен метод гибридного совместного/независимого обучения МАС с переменным числом агентов, который предполагает обучение некоторого небольшого числа агентов N для обеспечения функционирования произвольного числа агентов K, K > N. Проведенные эксперименты показали, что усовершенствованный метод MADDPG обеспечивает сопоставимую с оригинальным методом эффективность функционирования МАС при варьировании числа K агентов на стадии функционирования в широких пределах. 2023-02-22T11:50:01Z 2023-02-22T11:50:01Z 2022 Статья Petrenko, V.I., Tebueva, F.B., Gurchinsky, M.M., Pavlov, A.S. Method of Multi-Agent Reinforcement Learning in Systems with a Variable Number of Agents // Mekhatronika, Avtomatizatsiya, Upravlenie. - 2022. - 23 (10). - 507-514. (In Russ.) - DOI: 10.17587/mau.23.507-514 http://hdl.handle.net/20.500.12258/22748 ru Mekhatronika, Avtomatizatsiya, Upravlenie application/pdf
institution	СКФУ
collection	Репозиторий
language	Russian
topic	Мультиагентное обучение с подкреплением Переменное число агентов Мультиагентные системы Машинное обучение Независимое обучение Совместное обучение
spellingShingle	Мультиагентное обучение с подкреплением Переменное число агентов Мультиагентные системы Машинное обучение Независимое обучение Совместное обучение Petrenko, V. I. Петренко, В. И. Tebueva, F. B. Тебуева, Ф. Б. Gurchinsky, M. M. Гурчинский, М. М. Pavlov, A. S. Павлов, А. С. Method of Multi-Agent Reinforcement Learning in Systems with a Variable Number of Agents
description	Методы мультиагентного обучения с подкреплением являются одним из новейших и активно развивающихся направлений машинного обучения. Среди методов мультиагентного обучения с подкреплением одним из наиболее перспективных является метод MADDPG, достоинством которого является высокая сходимость процесса обучения. Недостатком метода MADDPG является необходимость обеспечения равенства числа агентов N на стадии обучения и числа агентов K на стадии функционирования. В то же время целевые мультиагентные системы (МАС), такие как группы БПЛА или мобильных наземных роботов, являются системами с переменным числом агентов, что не позволяет применять в них метод MADDPG. Для решения данной проблемы в статье предложен усовершенствованный метод MADDPG для мультиагентного обучения с подкреплением в системах с переменным числом агентов. Усовершенствованный метод MADDPG базируется на гипотезе о том, что для выполнения своих функций агенту нужна информация о состоянии не всех прочих агентов МАС, а только нескольких ближайших соседей. На основе данной гипотезы предложен метод гибридного совместного/независимого обучения МАС с переменным числом агентов, который предполагает обучение некоторого небольшого числа агентов N для обеспечения функционирования произвольного числа агентов K, K > N. Проведенные эксперименты показали, что усовершенствованный метод MADDPG обеспечивает сопоставимую с оригинальным методом эффективность функционирования МАС при варьировании числа K агентов на стадии функционирования в широких пределах.
format	Статья
author	Petrenko, V. I. Петренко, В. И. Tebueva, F. B. Тебуева, Ф. Б. Gurchinsky, M. M. Гурчинский, М. М. Pavlov, A. S. Павлов, А. С.
author_facet	Petrenko, V. I. Петренко, В. И. Tebueva, F. B. Тебуева, Ф. Б. Gurchinsky, M. M. Гурчинский, М. М. Pavlov, A. S. Павлов, А. С.
author_sort	Petrenko, V. I.
title	Method of Multi-Agent Reinforcement Learning in Systems with a Variable Number of Agents
title_short	Method of Multi-Agent Reinforcement Learning in Systems with a Variable Number of Agents
title_full	Method of Multi-Agent Reinforcement Learning in Systems with a Variable Number of Agents
title_fullStr	Method of Multi-Agent Reinforcement Learning in Systems with a Variable Number of Agents
title_full_unstemmed	Method of Multi-Agent Reinforcement Learning in Systems with a Variable Number of Agents
title_sort	method of multi-agent reinforcement learning in systems with a variable number of agents
publishDate	2023
url	https://dspace.ncfu.ru/handle/20.500.12258/22748
work_keys_str_mv	AT petrenkovi methodofmultiagentreinforcementlearninginsystemswithavariablenumberofagents AT petrenkovi methodofmultiagentreinforcementlearninginsystemswithavariablenumberofagents AT tebuevafb methodofmultiagentreinforcementlearninginsystemswithavariablenumberofagents AT tebuevafb methodofmultiagentreinforcementlearninginsystemswithavariablenumberofagents AT gurchinskymm methodofmultiagentreinforcementlearninginsystemswithavariablenumberofagents AT gurčinskijmm methodofmultiagentreinforcementlearninginsystemswithavariablenumberofagents AT pavlovas methodofmultiagentreinforcementlearninginsystemswithavariablenumberofagents AT pavlovas methodofmultiagentreinforcementlearninginsystemswithavariablenumberofagents
_version_	1760602114148532224

Method of Multi-Agent Reinforcement Learning in Systems with a Variable Number of Agents

Benzer Materyaller