← Teatro · Aleph Cero · Sistema · Cantar · Cronología · Hilos · Hashtags · Tipos · Externos · Enlaces · ZIP ↓

Model basat en l'energia - Viquipèdia, l'enciclopèdia lliure

generic · recuperado 2026-09-18 (direct) · original · md
Citado en: 1958567251214213178

De la Viquipèdia, l'enciclopèdia lliure

Un model basat en energia (EBM) (Canonical Ensemble Learning (CEL) o Learning via Canonical Ensemble (LCE)) és una aplicació de la formulació de conjunts canònics de física estadística per aprendre a partir de problemes de dades. L'enfocament apareix de manera destacada en els models generatius.

Els GM aprenen una distribució de dades subjacent mitjançant l'anàlisi d'un conjunt de dades de mostra. Un cop entrenat, un GM pot produir altres conjunts de dades que també coincideixen amb la distribució de dades.[1] Els EBM proporcionen un marc unificat per a molts enfocaments probabilistes i no probabilistes d'aquest aprenentatge, especialment per a la formació de models gràfics) i altres estructurats.[2]

Un EBM aprèn les característiques d'un conjunt de dades objectiu i genera un conjunt de dades similar però més gran. Els EBM detecten les variables latents d'un conjunt de dades i generen nous conjunts de dades amb una distribució similar.[3]

Les xarxes neuronals generatives basades en energia[4][5] són una classe de models generatius, que tenen com a objectiu aprendre distribucions de probabilitats explícites de dades en forma de models basats en energia les funcions energètiques dels quals estan parametritzades per les xarxes neuronals profundes modernes.

Les màquines Boltzmann són una forma especial de models basats en l'energia amb una parametrització específica de l'energia.

Descripció

[

modifica

]

Per a una entrada determinada x {\displaystyle x} imagen: {\displaystyle x}, el model descriu una energia E θ ( x ) {\displaystyle E_{\theta }(x)} imagen: {\displaystyle E_{\theta }(x)} tal que la distribució de Boltzmann P θ ( x ) = exp ⁡ ( − β E θ ( x ) ) / Z ( θ ) {\displaystyle P_{\theta }(x)=\exp(-\beta E_{\theta }(x))/Z(\theta )} imagen: {\displaystyle P_{\theta }(x)=\exp(-\beta E_{\theta }(x))/Z(\theta )} és una probabilitat (densitat) i típicament β = 1 {\displaystyle \beta =1} imagen: {\displaystyle \beta =1}.

Des de la constant de normalització Z ( θ ) := ∫ x ∈ X d x exp ⁡ ( − β E θ ( x ) ) {\displaystyle Z(\theta ):=\int _{x\in X}dx\exp(-\beta E_{\theta }(x))} imagen: {\displaystyle Z(\theta ):=\int _{x\in X}dx\exp(-\beta E_{\theta }(x))}, també coneguda com a funció de partició), depèn de tots els factors de Boltzmann de totes les entrades possibles x {\displaystyle x} imagen: {\displaystyle x} no es pot calcular fàcilment o estimar de manera fiable durant l'entrenament simplement utilitzant l'estimació de màxima probabilitat estàndard.

Tanmateix, per maximitzar la probabilitat durant l'entrenament, el gradient del registre de probabilitat d'un únic exemple d'entrenament x {\displaystyle x} imagen: {\displaystyle x} es dona utilitzant la regla de la cadena

∂ θ log ⁡ ( P θ ( x ) ) = E x ′ ∼ P θ [ ∂ θ E θ ( x ′ ) ] − ∂ θ E θ ( x ) ( ∗ ) {\displaystyle \partial _{\theta }\log \left(P_{\theta }(x)\right)=\mathbb {E} _{x'\sim P_{\theta }}[\partial _{\theta }E_{\theta }(x')]-\partial _{\theta }E_{\theta }(x)\,()} [imagen: {\displaystyle \partial _{\theta }\log \left(P_{\theta }(x)\right)=\mathbb {E} _{x'\sim P_{\theta }}[\partial _{\theta }E_{\theta }(x')]-\partial _{\theta }E_{\theta }(x)\,()}](https://wikimedia.org/api/rest_v1/media/math/render/svg/129766b55b8f95b55ea520f7e494cd5b3c698d81)

L'expectativa de la fórmula anterior per al gradient es pot estimar aproximadament mitjançant l'extracció de mostres x ′ {\displaystyle x'} imagen: {\displaystyle x'} de la distribució P θ {\displaystyle P_{\theta }} imagen: {\displaystyle P_{\theta }} utilitzant la cadena de Markov Montecarlo

Els primers models basats en l'energia, com la màquina Boltzmann de 2003 de Hinton, van estimar aquesta expectativa mitjançant el bloc de mostreig de Gibbs. Els enfocaments més nous fan servir mostres de dibuix de la Dinàmica Langevin de Gradient Estocàstic (LD) més eficients utilitzant:

x 0 ′ ∼ P 0 , x i + 1 ′ = x i ′ − α 2 ∂ E θ ( x i ′ ) ∂ x i ′ + ϵ , {\displaystyle x_{0}'\sim P_{0},x_{i+1}'=x_{i}'-{\frac {\alpha }{2}}{\frac {\partial E_{\theta }(x_{i}')}{\partial x_{i}'}}+\epsilon ,} imagen: {\displaystyle x_{0}'\sim P_{0},x_{i+1}'=x_{i}'-{\frac {\alpha }{2}}{\frac {\partial E_{\theta }(x_{i}')}{\partial x_{i}'}}+\epsilon ,}

i ϵ ∼ N ( 0 , α ) {\displaystyle \epsilon \sim {\mathcal {N}}(0,\alpha )} imagen: {\displaystyle \epsilon \sim {\mathcal {N}}(0,\alpha )}. Un buffer de reproducció de valors passats x i ′ {\displaystyle x_{i}'} imagen: {\displaystyle x_{i}'} s'utilitza amb LD per inicialitzar el mòdul d'optimització.[6]

Els paràmetres θ {\displaystyle \theta } imagen: {\displaystyle \theta } de la xarxa neuronal són, per tant, entrenats de manera generativa mitjançant l'estimació de màxima probabilitat basada en la cadena de Markov Monte Carlo[7] (MCMC): el procés d'aprenentatge segueix un esquema d'"anàlisi per síntesi", on dins de cada iteració d'aprenentatge, l'algorisme mostra mostres. els exemples sintetitzats del model actual mitjançant un mètode MCMC basat en gradients, per exemple, dinàmica Langevin o Hybrid Monte Carlo, i després actualitza els paràmetres del model θ {\displaystyle \theta } imagen: {\displaystyle \theta } a partir de la diferència entre els exemples d'entrenament i els sintetitzats, vegeu l'equació ( ∗ ) {\displaystyle ()} [imagen: {\displaystyle ()}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fae74f24018ce1ff0dc698dbe8181555eb4cd768). Aquest procés es pot interpretar com un procés alternatiu de recerca de mode i canvi de mode, i també té una interpretació contradictòria.[8][9]

Al final, el model aprèn una funció E θ {\displaystyle E_{\theta }} imagen: {\displaystyle E_{\theta }} que associa baixes energies a valors correctes, i altes energies a valors incorrectes.[10]

Després de l'entrenament, donat un model energètic convergent E θ {\displaystyle E_{\theta }} imagen: {\displaystyle E_{\theta }}, l'algorisme de Metropolis-Hastings es pot utilitzar per extreure noves mostres. La probabilitat d'acceptació ve donada per: P a c c ( x i → x ∗ ) = min ( 1 , P θ ( x ∗ ) P θ ( x i ) ) . {\displaystyle P_{acc}(x_{i}\to x^{})=\min \left(1,{\frac {P_{\theta }(x^{})}{P_{\theta }(x_{i})}}\right).} imagen: {\displaystyle P_{acc}(x_{i}\to x^{*})=\min \left(1,{\frac {P_{\theta }(x^{*})}{P_{\theta }(x_{i})}}\right).}

Història

[

modifica

]

El terme "models basats en l'energia" es va encunyar per primera vegada en un document de JMLR de 2003[11] on els autors van definir una generalització de l'anàlisi de components independents a la configuració de sobrecomplet mitjançant EBM. Altres treballs primerencs sobre EBM van proposar models que representaven l'energia com una composició de variables latents i observables.

Característiques

[

modifica

]

Els EBM demostren propietats útils:[12]

Resultats experimentals

[

modifica

]

En conjunts de dades d'imatge com CIFAR-10 i ImageNet 32x32, un model EBM va generar imatges d'alta qualitat amb relativa rapidesa. Admet la combinació de funcions apreses d'un tipus d'imatge per generar altres tipus d'imatges. Va poder generalitzar-se mitjançant conjunts de dades fora de distribució, superant els models basats en flux i autoregressius. EBM era relativament resistent a les pertorbacions adversàries, comportant-se millor que els models entrenats explícitament contra ells amb entrenament per a la classificació.[13]

Aplicacions

[

modifica

]

Les aplicacions objectiu inclouen el processament del llenguatge natural, la robòtica i la visió per ordinador.[14]

La primera xarxa neuronal generativa basada en l'energia és la ConvNet generativa[15] proposada el 2016 per a patrons d'imatge, on la xarxa neuronal és una xarxa neuronal convolucional.[16][17] El model s'ha generalitzat a diversos dominis per aprendre distribucions de vídeos,[18][19] i voxels 3D.[20] Es fan més efectius en les seves variants.[21][22][23][24][25][26] Han demostrat ser útils per a la generació de dades (per exemple, síntesi d'imatges,[15] síntesi de vídeo,[18] síntesi de formes 3D, etc.), recuperació de dades (per exemple, recuperació de vídeos amb píxels o marcs d'imatge que falten,[18] superresolució 3D, etc), reconstrucció de dades (per exemple, reconstrucció d'imatges i interpolació lineal[22]).

Un classificador es pot reinterpretar com un model conjunt basat en l'energia

Alternatives

[

modifica

]

Els EBM competeixen amb tècniques com ara els codificadors automàtics variacionals (VAE), les xarxes adversàries generatives (GAN) o els fluxos normalitzadors.[27]

Extensions

[

modifica

]

Joint energy-based models

[

modifica

]

Els models conjunts basats en energia ( JEM ), proposats el 2020 per Grathwohl et al., permeten interpretar qualsevol classificador amb sortida softmax com a model basat en energia. L'observació clau és que aquest classificador està entrenat per predir la probabilitat condicional p θ ( y | x ) = e f → θ ( x ) [ y ] ∑ j = 1 K e f → θ ( x ) [ j ] for y = 1 , … , K and f → θ = ( f 1 , … , f K ) ∈ R K , {\displaystyle p_{\theta }(y|x)={\frac {e^{{\vec {f}}_{\theta }(x)[y]}}{\sum _{j=1}^{K}e^{{\vec {f}}_{\theta }(x)[j]}}}\ \ {\text{ for }}y=1,\dotsc ,K{\text{ and }}{\vec {f}}_{\theta }=(f_{1},\dotsc ,f_{K})\in \mathbb {R} ^{K},} [imagen: {\displaystyle p_{\theta }(y|x)={\frac {e^{{\vec {f}}_{\theta }(x)[y]}}{\sum _{j=1}^{K}e^{{\vec {f}}_{\theta }(x)[j]}}}\ \ {\text{ for }}y=1,\dotsc ,K{\text{ and }}{\vec {f}}_{\theta }=(f_{1},\dotsc ,f_{K})\in \mathbb {R} ^{K},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d5a3eb004f886a9bfafbba356a64ad5fbb66d859) on f → θ ( x ) [ y ] {\displaystyle {\vec {f}}_{\theta }(x)[y]} [imagen: {\displaystyle {\vec {f}}_{\theta }(x)[y]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5bfdcaeea114d2743b85be16cfb20b22d44ff260) és l'índex y-è dels logits f → {\displaystyle {\vec {f}}} imagen: {\displaystyle {\vec {f}}} corresponent a la classe y. Sense cap canvi als logits, es va proposar reinterpretar els logits per descriure una densitat de probabilitat conjunta:

p θ ( y , x ) = e f → θ ( x ) [ y ] Z ( θ ) , {\displaystyle p_{\theta }(y,x)={\frac {e^{{\vec {f}}_{\theta }(x)[y]}}{Z(\theta )}},} [imagen: {\displaystyle p_{\theta }(y,x)={\frac {e^{{\vec {f}}_{\theta }(x)[y]}}{Z(\theta )}},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d741d35c7eb500fc7d7e63a5c9dfd766e23b9aa7)

Referències

[

modifica

]

Obtingut de «https://ca.wikipedia.org/w/index.php?title=Model_basat_en_l%27energia&oldid=38344960»

Categoria

:

Escrivivir · Scriptorium Skins · Animus Iocandi · Aleph Cero · F.A.R.O. · Material transmedia para agentes del juego ARG · AIGPL · Repositorio