NAU Harvester System
Аналіз особливостей реалізації EM-алгоритму при кластеризації систем сигнальних конструкцій
Наукові журнали Національного Авіаційного Університету
View Archive Info| Field | Value | |
| Title |
Аналіз особливостей реалізації EM-алгоритму при кластеризації систем сигнальних конструкцій
АНАЛИЗ ОСОБЕННОСТЕЙ РЕАЛИЗАЦИИ EM-АЛГОРИТМА ПРИ КЛАСТЕРИЗАЦИИ СИСТЕМ СИГНАЛЬНЫХ КОНСТРУКЦИЙ ANALYSIS OF PECULIARITIES OF THE EM-ALGORITHM IN THE IMPLEMENTATION OF CLUSTERING OF SIGNAL CONSTRUCTIONS |
|
| Creator |
Голубничий, Олексій Георгійович; Національний авіаційний університет
|
|
| Subject |
Електроніка
кластерний аналіз; ЕМ-алгоритм; математична сингулярність; гаусівська змішана модель; машинне навчання; обробка даних 621.396:51-74 (045) Электроника кластерный анализ; ЕМ-алгоритм; математическая сингулярность; гауссовская смешанная модель; машинное обучение; обработка данных 621.396:51-74 (045) Electronics cluster analysis; expectation-maximization algorithm; mathematical singularity; Gaussian mixture model; machine learning; data processing 621.396:51-74 (045) |
|
| Description |
EM-алгоритм (expectation-maximization algorithm) є відомим статистичним методом, який використовується в області обробки даних та сигналів для кластерного аналізу, оцінювання параметрів, а також в інших методах машинного навчання. ЕМ-алгоритм характеризується деякими специфічними особливостями, наприклад чутливістю до початкових параметрів. Метою статті є аналіз особливостей ЕМ-алгоритму, які виникають внаслідок виявлення порожніх кластерів при розв’язанні задачі кластеризації сигнальних конструкцій. Ці особливості проявляються в утворенні невизначеностей (математичних сингулярностей) у логарифмічній функції правдоподібності, максимізація якої виконується під час ітеративної процедури ЕМ-алгоритму. У статті наведено приклад можливої задачі кластеризації в області аналізу сигналів. У цьому прикладі використовується підхід, що базується на аналізі взаємних кореляцій між сигналами при представленні цих кореляцій гаусівською змішаною моделлю, а також на оцінюванні параметрів гаусівської змішаної моделі та прихованих змінних (ймовірностей приналежності елементів суміші до певних компонент цієї суміші, що є визначальним при прийнятті рішень про приналежність конкретного елемента до певного кластеру) за допомогою ЕМ-алгоритму. В результаті аналізу розглянутого типу математичної сингулярності показано, що можна видалити порожній кластер таким чином, що структура і значення логарифмічної функції правдоподібності коригуються до тих, які були б у випадку апріорної відсутності зазначеного порожнього кластера. Особливість, яка проаналізована у статті, більш характерна для модифікації ЕМ-алгоритму з видаленням компонент гаусівської змішаної моделі. Ця особливість може також виникати у випадках відносно невеликого числа елементів, які підлягають кластерному аналізу, або у випадку відносно великої кількості компонент (кластерів) гаусівської змішаної моделі, яка є структурним параметром ЕМ-алгоритму.
EM-алгоритм (expectation-maximization algorithm) является известным статистическим методом, который используется в области обработки данных и сигналов в целях кластерного анализа, оценки параметров, а также в других методах машинного обучения. EM-алгоритм характеризуется некоторыми специфическими особенностями, например, чувствительностью к начальным параметрам. Целью статьи является анализ особенностей EM-алгоритма, которые возникают в результате обнаружения пустых кластеров при решении задачи кластеризации сигнальных конструкций. Эти особенности проявляются в образовании неопределенностей (математических сингулярностей) в логарифмической функции правдоподобия, максимизация которой выполняется при итерационной процедуре EM-алгоритма. В статье приведен пример возможной задачи кластеризации в области анализа сигналов. В этом примере используется подход, основанный на анализе взаимных корреляций между сигналами при представлении этих корреляций гауссовской смешанной моделью, а также на оценивании параметров гауссовской смешанной модели и скрытых переменных (вероятностей принадлежности элементов смеси определенным компонентам этой смеси, которые являются определяющими при принятии решений о принадлежности конкретного элемента к определенному кластеру) с помощью EM-алгоритма. В результате анализа рассмотренного типа математической сингулярности показано, что является возможным удаление пустого кластера таким образом, что структура и значение логарифмической функции правдоподобия корректируются так, если априори отсутствовал бы указанный пустой кластер. Особенность, которая проанализирована в статье, более характерна для модификации EM-алгоритма с удалением компонент гауссовской смешанной модели. Эта особенность может также возникать в случаях относительно небольшого числа элементов, подлежащих кластерному анализу, или в случае относительно большого количества компонент (кластеров) гауссовской смешанной модели, которое является структурным параметром EM-алгоритма. The expectation-maximization (EM) algorithm is a well-known statistical method, which is used in the field of data and signal processing for cluster analysis, parameter estimation and other machine learning techniques. The EM-algorithm is characterized by some specific peculiarities, e.g., a sensitivity to initial parameters. The article aims to analyze peculiarities of the EM-algorithm, which arise due to the detection of empty clusters in solving the problem of clustering of signal constructions. These peculiarities boil down to the formation of uncertainties (mathematical singularities) in the log-likelihood function, the maximization of which is performed during the iterative procedure of the EM-algorithm. An example of a possible clustering problem in the field of signal analysis is shown. The example uses an approach based on an analysis of correlations between signals using the Gaussian mixture model for these correlations and an estimation of the Gaussian mixture model parameters and hidden variables (the probabilities for belonging of elements of the mixture to certain components of this mixture, which is decisive for a criteria whether a particular element belongs to a particular cluster) using the EM-algorithm. As a result of the analysis of considered type of mathematical singularity, it is shown that it is possible to remove an empty cluster in such a way that the structure and values of the log-likelihood function are adjusted to those that would be in the case of the a priori absence of this specified empty cluster. The peculiarity, which is analyzed in the article, is more typical for the modification of the EM-algorithm with deletion the components of the Gaussian mixture model. This peculiarity may also arise in cases of relatively small number of elements that need to be analyzed through clustering or relatively large number of components of the Gaussian mixture model (clusters), which is the structural parameter of the EM-algorithm |
|
| Publisher |
National Aviation University
|
|
| Contributor |
—
— — |
|
| Date |
2019-07-29
|
|
| Type |
—
— — |
|
| Format |
application/pdf
|
|
| Identifier |
http://jrnl.nau.edu.ua/index.php/SBT/article/view/13758
10.18372/2310-5461.42.13758 |
|
| Source |
Наукоємні технології; Том 42, № 2 (2019); 246-253
Science-based technologies; Том 42, № 2 (2019); 246-253 Наукоемкие технологии; Том 42, № 2 (2019); 246-253 |
|
| Language |
uk
|
|