VAE refactor
This commit is contained in:
Johnny Fernandes
@@ -17,318 +17,320 @@
|
||||
"model": "vae",
|
||||
"latent_dim": 256,
|
||||
"ngf": 64,
|
||||
"free_bits": 0.1,
|
||||
"grad_clip": 1.0,
|
||||
"run_name": "p3_2_vae_perceptual",
|
||||
"lr": 0.001,
|
||||
"beta_kl": 0.0001,
|
||||
"lr": 0.0005,
|
||||
"beta_kl": 0.1,
|
||||
"lambda_perceptual": 0.1,
|
||||
"lambda_adversarial": 0.0
|
||||
},
|
||||
"history": {
|
||||
"recon_loss": [
|
||||
NaN,
|
||||
0.041370747770127066,
|
||||
0.035506031866002284,
|
||||
0.06229733923672993,
|
||||
0.06089382184048494,
|
||||
0.053464704654856116,
|
||||
0.04950355895213846,
|
||||
0.04674786329269409,
|
||||
0.05693557829811023,
|
||||
0.04808994451076047,
|
||||
NaN,
|
||||
0.05869839608701121,
|
||||
0.05293231666820426,
|
||||
0.05057006603918779,
|
||||
0.04713928615117175,
|
||||
0.04481589820427008,
|
||||
0.04331832689543565,
|
||||
0.041820655449524395,
|
||||
NaN,
|
||||
0.24315394992884407,
|
||||
0.24305414841470555,
|
||||
0.2429187158998261,
|
||||
0.24289727962424612,
|
||||
0.2377373814328104,
|
||||
0.23880945107875726,
|
||||
0.24047312904626894,
|
||||
0.23915709144411942,
|
||||
NaN,
|
||||
0.24000247061634675,
|
||||
0.2362435321904655,
|
||||
0.23705266075383905,
|
||||
NaN,
|
||||
0.23998981039238793,
|
||||
0.23828768376738596,
|
||||
0.23908851302077627,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN
|
||||
0.13868479322419208,
|
||||
0.1345828948622076,
|
||||
0.13401474649261716,
|
||||
0.13219879449814811,
|
||||
0.13071280969386426,
|
||||
0.12897613197246677,
|
||||
0.12651141290353912,
|
||||
0.12554800317773962,
|
||||
0.123991425602864,
|
||||
0.12276749478446113,
|
||||
0.12151926139799449,
|
||||
0.1200498831896191,
|
||||
0.11872616813032545,
|
||||
0.11811881408923203,
|
||||
0.11655244218488024,
|
||||
0.11565455276932982,
|
||||
0.11529083312767693,
|
||||
0.11437753734425601,
|
||||
0.11373461206626688,
|
||||
0.1133939535317258,
|
||||
0.11269663740745467,
|
||||
0.11214834819428432,
|
||||
0.11180534907895276,
|
||||
0.1112786961448753,
|
||||
0.11112714579535855,
|
||||
0.11040605649224713,
|
||||
0.11024710934004213,
|
||||
0.11025449748222645,
|
||||
0.10986682841092603,
|
||||
0.10947157509433918,
|
||||
0.10914939207335313,
|
||||
0.1090434947425229,
|
||||
0.10872587247982494,
|
||||
0.10891366730897854,
|
||||
0.10840102485739268,
|
||||
0.10831964285009438,
|
||||
0.10826414010017855,
|
||||
0.10774775957449889,
|
||||
0.10791046626101701,
|
||||
0.10784940838686422,
|
||||
0.10743295191190182,
|
||||
0.10734256694459507,
|
||||
0.10702427010187227,
|
||||
0.10701240906412275,
|
||||
0.10711385588296968,
|
||||
0.10697286784585215,
|
||||
0.10673481402679896,
|
||||
0.10650451705814937,
|
||||
0.10629599592369846,
|
||||
0.1064668823288292,
|
||||
0.1063920924296746,
|
||||
0.10610189062789974,
|
||||
0.10592550779573429,
|
||||
0.10588065830942912,
|
||||
0.105781758379223,
|
||||
0.10560809290752961,
|
||||
0.10550812136732106,
|
||||
0.10535470090615444,
|
||||
0.10536463093808573,
|
||||
0.1051216669794586,
|
||||
0.10498357508490738,
|
||||
0.10464231009220976,
|
||||
0.10468940513256268,
|
||||
0.10468925925719942,
|
||||
0.10429271149775411,
|
||||
0.10437219857405393,
|
||||
0.10406083403489529,
|
||||
0.10395075554330634,
|
||||
0.10419673752835673,
|
||||
0.10405941009839885,
|
||||
0.10379417274051751,
|
||||
0.10373205498943472,
|
||||
0.10360019166882221,
|
||||
0.10355540880790123,
|
||||
0.10355440188103761,
|
||||
0.10325965399925525,
|
||||
0.10304029177651446,
|
||||
0.10311986905578364,
|
||||
0.10273497300142916,
|
||||
0.10302559410532315,
|
||||
0.10278304515040329,
|
||||
0.10263998298627189,
|
||||
0.10254473253511466,
|
||||
0.10245785787383206,
|
||||
0.10246957698438922,
|
||||
0.10233539204375866,
|
||||
0.1025002559280803,
|
||||
0.10214536613187729,
|
||||
0.10215426669416265,
|
||||
0.10214609539725332,
|
||||
0.10188078407484752,
|
||||
0.1020691341951362,
|
||||
0.1019192597645725,
|
||||
0.10151305177018173,
|
||||
0.10163224848289774,
|
||||
0.10181667007760614,
|
||||
0.10129789227985928,
|
||||
0.10133470410210454,
|
||||
0.1014308016269635,
|
||||
0.10122469465574647
|
||||
],
|
||||
"kl_loss": [
|
||||
41526536.5961082,
|
||||
1258.7768262553418,
|
||||
1165.5987154968784,
|
||||
3689.321748260759,
|
||||
1320.3167513333833,
|
||||
928.3473894168169,
|
||||
789.754654843583,
|
||||
693.4729607736963,
|
||||
1017.8856519389357,
|
||||
622.2623097998464,
|
||||
304942.2120989938,
|
||||
750.5718396830763,
|
||||
618.6888906364767,
|
||||
586.4194498958751,
|
||||
579.2793892102363,
|
||||
525.8830437945504,
|
||||
497.5363791050055,
|
||||
452.93342662061383,
|
||||
172476214612.95245,
|
||||
1112.027792645316,
|
||||
1109.8156276605068,
|
||||
1109.8872808472722,
|
||||
1112.3999198196282,
|
||||
1163.6093267457097,
|
||||
1195.4633280436199,
|
||||
1232.709252512353,
|
||||
1253.0651078183428,
|
||||
19923.65347159622,
|
||||
6871.588723207132,
|
||||
6872.017739842081,
|
||||
6872.62934758113,
|
||||
27062.17111336472,
|
||||
4992.576698759683,
|
||||
5000.895510942508,
|
||||
5011.723715236044,
|
||||
4.196954763212122e+20,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN
|
||||
32.82580094867282,
|
||||
27.63585641649034,
|
||||
26.858297156472492,
|
||||
26.36294916756133,
|
||||
26.101821015023777,
|
||||
25.925728178431847,
|
||||
25.810632864634197,
|
||||
25.75408285499638,
|
||||
25.714011412400467,
|
||||
25.691052310487144,
|
||||
25.673080118293438,
|
||||
25.658130865830643,
|
||||
25.648127645508858,
|
||||
25.640685057028747,
|
||||
25.63372629116743,
|
||||
25.62904858792949,
|
||||
25.625450937157,
|
||||
25.622334708515396,
|
||||
25.61985801631569,
|
||||
25.61797430168869,
|
||||
25.617105920090633,
|
||||
25.61665568800054,
|
||||
25.615915049854507,
|
||||
25.615573080176983,
|
||||
25.61539109955486,
|
||||
25.614891084850345,
|
||||
25.614565458053196,
|
||||
25.614424391689464,
|
||||
25.614320644965538,
|
||||
25.613855867304352,
|
||||
25.613705484276142,
|
||||
25.613627437852386,
|
||||
25.61319611215184,
|
||||
25.613402957590218,
|
||||
25.612938135098187,
|
||||
25.612793853140285,
|
||||
25.61277205719907,
|
||||
25.6125225368728,
|
||||
25.612593328850902,
|
||||
25.612471242236275,
|
||||
25.61213506796421,
|
||||
25.61220080220801,
|
||||
25.612097707569088,
|
||||
25.611939287593223,
|
||||
25.611856093773476,
|
||||
25.611754238096058,
|
||||
25.61164761812259,
|
||||
25.61152194096492,
|
||||
25.61156750948001,
|
||||
25.611467068011944,
|
||||
25.61140904059777,
|
||||
25.611222067449848,
|
||||
25.61103208655985,
|
||||
25.610888195852947,
|
||||
25.610904620243954,
|
||||
25.610692464388332,
|
||||
25.610453536367825,
|
||||
25.610431373628796,
|
||||
25.610199642996502,
|
||||
25.609933506729256,
|
||||
25.60987384095151,
|
||||
25.609577077066795,
|
||||
25.6096679817917,
|
||||
25.60952104666294,
|
||||
25.60934520786644,
|
||||
25.60918986899221,
|
||||
25.60895837474073,
|
||||
25.6090076030829,
|
||||
25.60884045331906,
|
||||
25.608697809724728,
|
||||
25.608583588885445,
|
||||
25.608446227179634,
|
||||
25.60828152273455,
|
||||
25.608113199217705,
|
||||
25.60813422080798,
|
||||
25.607940327407967,
|
||||
25.60771349963979,
|
||||
25.607653996883293,
|
||||
25.607560540875816,
|
||||
25.607479812752487,
|
||||
25.607303941351734,
|
||||
25.607178337553627,
|
||||
25.60706621968848,
|
||||
25.60683028310792,
|
||||
25.60676119470189,
|
||||
25.606651432493813,
|
||||
25.606486483516857,
|
||||
25.606393325023163,
|
||||
25.606248602907883,
|
||||
25.60615853366689,
|
||||
25.605982751927826,
|
||||
25.60586034334623,
|
||||
25.60572910308838,
|
||||
25.605554120153442,
|
||||
25.605445796607906,
|
||||
25.605342062110577,
|
||||
25.605153943738365,
|
||||
25.60500627501398,
|
||||
25.60483596263788,
|
||||
25.60475177031297
|
||||
],
|
||||
"perc_loss": [
|
||||
NaN,
|
||||
3.0017659954535656,
|
||||
2.8931196978968434,
|
||||
3.084328340159522,
|
||||
3.1398269641093717,
|
||||
3.0839009172896032,
|
||||
3.0459561949102287,
|
||||
3.015714469628456,
|
||||
3.0917934143645134,
|
||||
3.010985380054539,
|
||||
NaN,
|
||||
3.102917709411719,
|
||||
3.055045795746339,
|
||||
3.0351512865123587,
|
||||
3.002274121993627,
|
||||
2.9754957128793764,
|
||||
2.9553630066733074,
|
||||
2.936704080328982,
|
||||
NaN,
|
||||
3.66463458385223,
|
||||
3.6419444985878773,
|
||||
3.6321474706005845,
|
||||
3.6272282503608966,
|
||||
3.781295938878997,
|
||||
3.740793755421272,
|
||||
3.759704489993234,
|
||||
3.7078149914741516,
|
||||
NaN,
|
||||
3.7647176323792872,
|
||||
3.7441278461717133,
|
||||
3.7264530261357627,
|
||||
NaN,
|
||||
3.7299226170931106,
|
||||
3.7314435080585318,
|
||||
3.754668933713538,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN
|
||||
3.4957813187542124,
|
||||
3.3751721346480217,
|
||||
3.341614580561972,
|
||||
3.325737010209988,
|
||||
3.314503056371314,
|
||||
3.3061294968311605,
|
||||
3.2988068002920885,
|
||||
3.2951497960294414,
|
||||
3.289724970475221,
|
||||
3.2849769531152186,
|
||||
3.2810079547075124,
|
||||
3.2768430485684648,
|
||||
3.2737610197474813,
|
||||
3.270859044331771,
|
||||
3.267263490929563,
|
||||
3.2641563344205546,
|
||||
3.2620158368705683,
|
||||
3.259672654999627,
|
||||
3.2573955410566087,
|
||||
3.2559085101143928,
|
||||
3.2524190697914515,
|
||||
3.2508940416523533,
|
||||
3.2493486078376446,
|
||||
3.2472466857005386,
|
||||
3.246741561808138,
|
||||
3.2446710722059264,
|
||||
3.2429053090576434,
|
||||
3.2415418217324805,
|
||||
3.2410791664042025,
|
||||
3.238901428687267,
|
||||
3.2372534682608056,
|
||||
3.2365858203325515,
|
||||
3.2345399107688513,
|
||||
3.234266322392684,
|
||||
3.2330421667832594,
|
||||
3.2321024134627776,
|
||||
3.2317300596807756,
|
||||
3.2297990515700774,
|
||||
3.2291462492739034,
|
||||
3.229038153958117,
|
||||
3.227532477969797,
|
||||
3.227750709423652,
|
||||
3.22642219117564,
|
||||
3.225604632980803,
|
||||
3.224408136983203,
|
||||
3.2237918310695224,
|
||||
3.223153405719333,
|
||||
3.2227800172618313,
|
||||
3.22208283854346,
|
||||
3.2215008134515877,
|
||||
3.220343905636388,
|
||||
3.2200386534389267,
|
||||
3.2190595391469126,
|
||||
3.218352971932827,
|
||||
3.2173767803061724,
|
||||
3.2164535395100584,
|
||||
3.2164310828233376,
|
||||
3.2155216560404525,
|
||||
3.2145652862695546,
|
||||
3.2132638708139076,
|
||||
3.213306623136895,
|
||||
3.2116519161778636,
|
||||
3.2117279686479487,
|
||||
3.210561112460927,
|
||||
3.2098504080731645,
|
||||
3.2099855195762763,
|
||||
3.2090730035406914,
|
||||
3.2085196706983776,
|
||||
3.208222340824258,
|
||||
3.207890693448548,
|
||||
3.206765956348843,
|
||||
3.2065086430973477,
|
||||
3.2055318915945854,
|
||||
3.204780939297798,
|
||||
3.205001257933103,
|
||||
3.203499240243537,
|
||||
3.20293498905296,
|
||||
3.2031849953863354,
|
||||
3.2017455717437286,
|
||||
3.2029461646691346,
|
||||
3.202106138579866,
|
||||
3.200608807751256,
|
||||
3.200435662880922,
|
||||
3.2001758396116076,
|
||||
3.199647111260993,
|
||||
3.199422711490566,
|
||||
3.1987570305155892,
|
||||
3.198392223089169,
|
||||
3.1976211967631283,
|
||||
3.1978414170762415,
|
||||
3.197227580425067,
|
||||
3.197008974531777,
|
||||
3.1967804961734347,
|
||||
3.1954670217302112,
|
||||
3.19552276073358,
|
||||
3.1953888051530237,
|
||||
3.194187126098535,
|
||||
3.194483350484799,
|
||||
3.1943916347291736,
|
||||
3.194042898650862
|
||||
],
|
||||
"adv_g_loss": [
|
||||
0.0,
|
||||
@@ -535,12 +537,12 @@
|
||||
0.0
|
||||
],
|
||||
"fid": {
|
||||
"25": 263.1458740234375,
|
||||
"50": 598.3736572265625,
|
||||
"75": 598.3736572265625,
|
||||
"100": 598.3736572265625
|
||||
"25": 218.6470947265625,
|
||||
"50": 236.44911193847656,
|
||||
"75": 235.74722290039062,
|
||||
"100": 237.4191436767578
|
||||
},
|
||||
"train_time_s": 952.6596128940582
|
||||
"train_time_s": 1509.468991279602
|
||||
},
|
||||
"n_params": 10608451
|
||||
}
|
||||
Reference in New Issue
Block a user