Optimális neurális hálózat kiválasztása Bayes-becslés segítségével
DOI:
https://doi.org/10.37775/EIS.2021.1.5Kulcsszavak:
neurális hálózat, nested sampling, Bayes-tételAbsztrakt
Ezen munkánkban célunk, hogy neurális hálózatokra alkalmazva a Bayes-becslést az a posteriori becslések során a különböző modellek közül kiválasszuk a tanító adatoknak legjobban megfelelőt. Mindehhez egy sokdimenziós integrál kiszámítása szükséges, amely a hagyományos Monte-Carlo módszerekkel is nehéz feladat; erre a célra a beágyazott mintavételezés (nested sampling) algoritmust alkalmazzuk,
és a számítások járulékos eredményeként kapjuk meg a betanított hálózatot a hiperparaméterek terében is bolyongást végezve. Továbbá rámutatunk arra, hogyan lehet ötvözni a gradiens visszaterjesztéses és a véletlen bolyongásos tanítást hibrid hálózatokat nyerve.