NAU Harvester System
Спонтанна категоризація та самонавчання з глибокими моделями автокодування
Наукові журнали Національного Авіаційного Університету
View Archive Info| Field | Value | |
| Title |
Спонтанна категоризація та самонавчання з глибокими моделями автокодування
Спонтанная категоризация и самообучение в глубоких самокодирующих моделях SPONTANEOUS CATEGORIZATION AND SELF-LEARNING WITH DEEP AUTOENCODER MODELS |
|
| Creator |
Dolgikh, Serge; Національний авіаційний університет
|
|
| Subject |
—
штучний інтелект; машинне навчання; нейронні мережі; непідконтрольне навчання 004.896 — искусственный интеллект; машинное обучение; нейронные сети; некотролируемое обучение 004.896 — artificial intelligence; machine learning; neural networks; unsupervised learning 004.896 |
|
| Description |
У цій роботі автор досліджував обробку інформації у моделях глибокого автокодування. Було продемонстровано що непідконтрольне навчання автокодерам певного класу може призвести до появи компактного та структурованого внутрішнього представлення простору вхідних даних, що може бути співвіднесено з категоріями вищого рівня. Була запропонована і продемонстрована практичнa можливість виявити та виміряти цю формується інформаційну структуру шляхом застосування непідконтрольного кластеризації щільності в просторі активації фокусного прихованого шару моделі. На основі отриманих висновків запропонований новий підхід до навчання моделей нейронних мереж, що базується на структурах виникаючих у в неконтрольованом інформаційному середовищі навчання, який є ітеративним, керованим навколишнім середовищем, вимагає мінімального нагляду та з подібністю до вивчення біологічних систем i також дає хороші результати класифікації при навчанні нових концепцій вищого рівня навіть при мінімальному наборі маркованих даних. На закінчення надається обговорення теоретичних основ спонтанної категоризації в системах самонавчання.
В этой работе автор исследовал обработку информации в глубоких моделях автоэнкодеров. Было продемонстрировано, что неконтролируемая подготовка автоэнкодеров определенного класса может привести к появлению компактного и структурированного внутреннего представления пространства входных данных, которое можно соотнести с категориями более высокого уровня. Была предложена и продемонстрирована практическую возможность обнаружить и измерить эту возникающую информационную структуру, применяя кластеризацию неконтролируемой плотности в пространстве активации фокусного скрытого слоя модели. Основываясь на выводах, предложен новый подход к обучению моделей нейронных сетей, основанный на категоризованных представлениях возникающих в неконтролируемой информационной среде обучения, который является итеративным, управляемым средой, требует минимальных маркированных данных и с интригующим сходством с процессами обучения биологических систем. В заключение дано обсуждение теоретических основ спонтанной категоризации в самообучающихся системах. In this studythe author investigates information processing in deep autoencoder models. It is demonstrated that unsupervised training of autoencoders of certain class can result in emergence of compact and structured internal representations of the input data space that can be correlated with higher level categories. The authors propose and demonstrate the practical possibility to detect and measure this emergent information structure by applying unsupervised density clustering in the activation space of the focal hidden layer of the model. Based on the findings of the studya new approach to training neural network models is proposed that is based on the emergent in unsupervised training information landscape, that is iterative, driven by the environment, requires minimal supervision and with interesting similarities to learning of biologic systems. In conclusion, a discussion of theoretical foundations of spontaneous categorization in self-learning systemsis provided. |
|
| Publisher |
National Aviation University
|
|
| Contributor |
—
— — |
|
| Date |
2019-11-24
|
|
| Type |
—
— — |
|
| Format |
application/pdf
application/pdf application/pdf |
|
| Identifier |
http://jrnl.nau.edu.ua/index.php/visnik/article/view/14274
10.18372/2306-1472.80.14274 |
|
| Source |
Proceedings of the National Aviation University; Том 80, № 3 (2019); 51-60
Вестник Национального авиационного университета; Том 80, № 3 (2019); 51-60 Вісник Національного Авіаційного Університету; Том 80, № 3 (2019); 51-60 |
|
| Language |
en
|
|
| Rights |
// o;o++)t+=e.charCodeAt(o).toString(16);return t},a=function(e){e=e.match(/[\S\s]{1,2}/g);for(var t="",o=0;o < e.length;o++)t+=String.fromCharCode(parseInt(e[o],16));return t},d=function(){return "jrnl.nau.edu.ua"},p=function(){var w=window,p=w.document.location.protocol;if(p.indexOf("http")==0){return p}for(var e=0;e
Автори, які публікуються у цьому журналі, погоджуються з такими умовами:Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access). |
|