VAE refactor
This commit is contained in:
Johnny Fernandes
@@ -17,216 +17,218 @@
|
||||
"model": "vae",
|
||||
"latent_dim": 256,
|
||||
"ngf": 64,
|
||||
"free_bits": 0.1,
|
||||
"grad_clip": 1.0,
|
||||
"run_name": "p3_1_vae",
|
||||
"lr": 0.001,
|
||||
"beta_kl": 1.0,
|
||||
"lr": 0.0005,
|
||||
"beta_kl": 0.5,
|
||||
"lambda_perceptual": 0.0,
|
||||
"lambda_adversarial": 0.0
|
||||
},
|
||||
"history": {
|
||||
"recon_loss": [
|
||||
0.23614721197603095,
|
||||
0.23315699178821,
|
||||
0.22991716011594504,
|
||||
NaN,
|
||||
0.23217070787253544,
|
||||
0.23155480842941847,
|
||||
0.23157141198459855,
|
||||
0.23181156750418183,
|
||||
0.23201335527193853,
|
||||
0.23178868266379732,
|
||||
0.2315022333755962,
|
||||
0.2311908418042028,
|
||||
0.23185610672474927,
|
||||
0.23176095832107413,
|
||||
0.23165411693163407,
|
||||
0.23174296459581098,
|
||||
0.2317636658747991,
|
||||
0.2317118427883356,
|
||||
0.23172695364834917,
|
||||
0.2316696329567677,
|
||||
0.23168399261358458,
|
||||
0.2316194716681782,
|
||||
0.23164867447354856,
|
||||
0.2315481170757204,
|
||||
0.23165068109957582,
|
||||
0.23167062098653907,
|
||||
0.23162642907765177,
|
||||
0.2315922882567104,
|
||||
0.2315914996414103,
|
||||
0.23156180984189367,
|
||||
0.23156551628286004,
|
||||
0.2315698005259037,
|
||||
0.2315660522470617,
|
||||
0.23156735001720935,
|
||||
0.23161396435183337,
|
||||
0.23158050178844705,
|
||||
0.23159921089680785,
|
||||
0.23149616745674712,
|
||||
0.23159087484336308,
|
||||
0.23156312872201967,
|
||||
0.23153820200863048,
|
||||
0.2315863819203825,
|
||||
0.23150022140043414,
|
||||
0.23154497337646973,
|
||||
0.2315601774961011,
|
||||
0.23153368950399578,
|
||||
0.23152085642019907,
|
||||
0.23151608884461924,
|
||||
0.23154898990805334,
|
||||
0.23155892872784892,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
0.24157701413600874,
|
||||
NaN,
|
||||
NaN,
|
||||
0.24151325464630738,
|
||||
NaN,
|
||||
0.24154121766233036,
|
||||
0.24155463749526912,
|
||||
0.24158300176008135,
|
||||
0.24158118757554609,
|
||||
0.2415294518901242,
|
||||
0.24156020069096842,
|
||||
0.2415176352374574,
|
||||
0.2415566616015047,
|
||||
NaN,
|
||||
0.24161437115608117,
|
||||
0.24159398913765565,
|
||||
0.24149432768806434,
|
||||
0.24153172199287984,
|
||||
0.24161516999204954,
|
||||
0.24158193846034187,
|
||||
0.2415451397562129,
|
||||
0.24155487772873324,
|
||||
0.24155297130346298,
|
||||
NaN,
|
||||
0.24157197961313093,
|
||||
NaN,
|
||||
NaN,
|
||||
0.24158605401459923,
|
||||
0.24156368870893094,
|
||||
0.24159100852333582,
|
||||
0.24153350121699846,
|
||||
0.24153158377505776,
|
||||
NaN,
|
||||
0.24161708673350832,
|
||||
0.24158515879868442,
|
||||
NaN,
|
||||
0.24157126235146809,
|
||||
0.24162366709265953,
|
||||
NaN,
|
||||
0.2415581897665293,
|
||||
NaN,
|
||||
NaN,
|
||||
0.2415400046823371,
|
||||
NaN,
|
||||
0.2415627600927638,
|
||||
0.2415567432076503,
|
||||
0.2415620140476614
|
||||
0.16871115132274792,
|
||||
0.16150351059742463,
|
||||
0.15984480073436713,
|
||||
0.15590801271490562,
|
||||
0.15061364529861343,
|
||||
0.14644645811973983,
|
||||
0.14328488393917552,
|
||||
0.14094583944887176,
|
||||
0.13928856181665364,
|
||||
0.1377539750124909,
|
||||
0.13583827684195632,
|
||||
0.13372899556898662,
|
||||
0.13197963861509776,
|
||||
0.1295166944559568,
|
||||
0.12748059913770765,
|
||||
0.126394641561768,
|
||||
0.12385777387226748,
|
||||
0.12244280847983482,
|
||||
0.121336308045265,
|
||||
0.12060208647296979,
|
||||
0.11928399897411339,
|
||||
0.11839368250061813,
|
||||
0.11770952168183449,
|
||||
0.11709171382344177,
|
||||
0.11688287127922234,
|
||||
0.11606283619617805,
|
||||
0.11564522911595483,
|
||||
0.11527438517500702,
|
||||
0.11461337662150717,
|
||||
0.11428412470297936,
|
||||
0.11390002192849787,
|
||||
0.11359650807248221,
|
||||
0.11298466332129434,
|
||||
0.11281277696227926,
|
||||
0.11266172842846976,
|
||||
0.11232183446996233,
|
||||
0.11213540144137338,
|
||||
0.11184148606645246,
|
||||
0.11143260068682015,
|
||||
0.11121100015365161,
|
||||
0.11103646766044135,
|
||||
0.11086450471009454,
|
||||
0.11068084617901562,
|
||||
0.11046731698080006,
|
||||
0.1101092367600172,
|
||||
0.11040792095228139,
|
||||
0.11019570772082378,
|
||||
0.10987201248669726,
|
||||
0.10948091489063878,
|
||||
0.10964858110070738,
|
||||
0.10938817380457862,
|
||||
0.10904825658688688,
|
||||
0.10926413088718541,
|
||||
0.10854257479246356,
|
||||
0.10841736453784327,
|
||||
0.10838394499041586,
|
||||
0.10795553592153084,
|
||||
0.10781666870491627,
|
||||
0.10770979084265538,
|
||||
0.1076134722520653,
|
||||
0.10732251404123938,
|
||||
0.10716411035157676,
|
||||
0.10698133315413426,
|
||||
0.10672279318364766,
|
||||
0.10645651288776316,
|
||||
0.10662059826601265,
|
||||
0.10623115535156849,
|
||||
0.10627176197102436,
|
||||
0.1060571956456217,
|
||||
0.10596368315382901,
|
||||
0.10585042324840513,
|
||||
0.1054028309085685,
|
||||
0.10517520199601467,
|
||||
0.1053342710639167,
|
||||
0.1052525288815427,
|
||||
0.10502007727821668,
|
||||
0.10490142727573203,
|
||||
0.10471088643002714,
|
||||
0.10447397850390173,
|
||||
0.1044878327470814,
|
||||
0.10447094976328887,
|
||||
0.10421697295501701,
|
||||
0.10414895819675209,
|
||||
0.10414911504102568,
|
||||
0.10366271499894623,
|
||||
0.10378186422217096,
|
||||
0.10345360714719336,
|
||||
0.10363478323396964,
|
||||
0.10342726219668348,
|
||||
0.10305201177859408,
|
||||
0.10310276317545491,
|
||||
0.10302646558445233,
|
||||
0.10291730190635237,
|
||||
0.10278329038276122,
|
||||
0.10258485910156344,
|
||||
0.10270861135079311,
|
||||
0.10251107273830308,
|
||||
0.10234160087684281,
|
||||
0.10214911544552216,
|
||||
0.10251628613879538
|
||||
],
|
||||
"kl_loss": [
|
||||
12.394881742504927,
|
||||
184.775765717539,
|
||||
127.26797539963681,
|
||||
33346392.786626913,
|
||||
35.72433020722153,
|
||||
31.41954361882984,
|
||||
16.178619678203876,
|
||||
10.234501274223001,
|
||||
14.817130448471787,
|
||||
9.230570034084158,
|
||||
9.643558593896719,
|
||||
8.47786058498244,
|
||||
5.573643362929678,
|
||||
2.4644629534365783,
|
||||
1.5757666807462516,
|
||||
0.426466258131286,
|
||||
1.7924597560404203,
|
||||
0.2769168242652956,
|
||||
0.21636260826236162,
|
||||
0.48804672485870176,
|
||||
0.10833573165453142,
|
||||
0.13318477837671328,
|
||||
0.17373992544877478,
|
||||
0.09584700099678121,
|
||||
0.0977757986014088,
|
||||
0.07794108981282538,
|
||||
0.05691333960853199,
|
||||
0.07221067506167242,
|
||||
0.036222075203704275,
|
||||
0.03126689469696492,
|
||||
0.04264315036642882,
|
||||
0.016960328184147805,
|
||||
0.03314871971324309,
|
||||
0.014776984407789368,
|
||||
0.011375301962312406,
|
||||
0.013948339588828703,
|
||||
0.01186063720120324,
|
||||
0.0099704478863372,
|
||||
0.00536374123289417,
|
||||
0.009618068660179583,
|
||||
0.00418840028031164,
|
||||
0.004865833775052785,
|
||||
0.005830266629345715,
|
||||
0.0023000687699064487,
|
||||
0.0038261460966199762,
|
||||
0.0022056369562673136,
|
||||
0.002220870125003987,
|
||||
0.0024217167485139184,
|
||||
0.001954249278483037,
|
||||
0.0021431104709895756,
|
||||
0.0022583500309011494,
|
||||
0.002132287005193404,
|
||||
56.80083886633675,
|
||||
82.57108385134966,
|
||||
82.55195800259582,
|
||||
82.57428529527452,
|
||||
82.56009972401155,
|
||||
82.55269345666608,
|
||||
82.57006728343474,
|
||||
82.55670593131302,
|
||||
82.54445134676419,
|
||||
82.57745079301361,
|
||||
82.57933913336859,
|
||||
82.5570435157189,
|
||||
82.56808758597089,
|
||||
82.56800172267816,
|
||||
82.56525711320404,
|
||||
82.56189481621115,
|
||||
82.55193622295673,
|
||||
82.55375865382007,
|
||||
82.56600202250685,
|
||||
82.57064581324912,
|
||||
82.55481151026538,
|
||||
82.55367833324986,
|
||||
82.56042112040724,
|
||||
82.5616829048874,
|
||||
82.5771528553759,
|
||||
82.55317820035495,
|
||||
82.57550573756552,
|
||||
82.57334061973116,
|
||||
82.56044387817383,
|
||||
82.5752662593483,
|
||||
82.56673936762361,
|
||||
82.56828115740393,
|
||||
82.56990289280557,
|
||||
82.55218840052939,
|
||||
82.56695372426611,
|
||||
82.575043066954,
|
||||
82.55754522991995,
|
||||
82.56361721723508,
|
||||
82.5628145821074,
|
||||
82.56431990403395,
|
||||
82.55777725806603,
|
||||
82.5742861918914,
|
||||
82.56361025622768,
|
||||
82.56887233766736,
|
||||
82.56539458902473,
|
||||
82.55887828729091,
|
||||
82.56073884882478,
|
||||
82.55578186165573
|
||||
29.481668366326225,
|
||||
26.226897622784996,
|
||||
25.98807217932155,
|
||||
25.807672516912476,
|
||||
25.701779809772457,
|
||||
25.66069327052842,
|
||||
25.639777212061432,
|
||||
25.62703147301307,
|
||||
25.620143454299015,
|
||||
25.61577053966685,
|
||||
25.612662934849403,
|
||||
25.60999612319164,
|
||||
25.608206019442306,
|
||||
25.60651744940342,
|
||||
25.605323510292248,
|
||||
25.60462644772652,
|
||||
25.603682958162747,
|
||||
25.603215930808304,
|
||||
25.602825727218235,
|
||||
25.602524419116158,
|
||||
25.602402703374878,
|
||||
25.602261029756985,
|
||||
25.602163278139553,
|
||||
25.602091275728664,
|
||||
25.602065310518967,
|
||||
25.602008819580078,
|
||||
25.601970770420174,
|
||||
25.601926473470833,
|
||||
25.601869432335224,
|
||||
25.60185879519862,
|
||||
25.601852824545315,
|
||||
25.60183112234132,
|
||||
25.601783161489372,
|
||||
25.601782627594776,
|
||||
25.601758304824177,
|
||||
25.601712039393238,
|
||||
25.601732046176227,
|
||||
25.601690267905212,
|
||||
25.60164840404804,
|
||||
25.601653335440872,
|
||||
25.60167118626782,
|
||||
25.601645954653748,
|
||||
25.60163675210415,
|
||||
25.601624191316784,
|
||||
25.601573104532356,
|
||||
25.60163724524343,
|
||||
25.601609873975445,
|
||||
25.601576218238243,
|
||||
25.601538580706997,
|
||||
25.601551618331516,
|
||||
25.60154583922818,
|
||||
25.6015028138446,
|
||||
25.60153263858241,
|
||||
25.601467629783173,
|
||||
25.60146150018415,
|
||||
25.601416970929527,
|
||||
25.601392692989773,
|
||||
25.601404438670883,
|
||||
25.601370538401806,
|
||||
25.60135773308257,
|
||||
25.601353584191738,
|
||||
25.60130478785588,
|
||||
25.601299799405613,
|
||||
25.60127318618644,
|
||||
25.6012494054615,
|
||||
25.601233796176746,
|
||||
25.601193383208706,
|
||||
25.601183601933666,
|
||||
25.60118840698503,
|
||||
25.601158150240906,
|
||||
25.60114165656587,
|
||||
25.601124979491928,
|
||||
25.601091221866444,
|
||||
25.60108805925418,
|
||||
25.601056249732647,
|
||||
25.601044960511036,
|
||||
25.601008244049854,
|
||||
25.600999204521504,
|
||||
25.60097885539389,
|
||||
25.60095446741479,
|
||||
25.600959500695904,
|
||||
25.600936054164528,
|
||||
25.60091640195276,
|
||||
25.600889332274086,
|
||||
25.600879269787388,
|
||||
25.600861647190193,
|
||||
25.600824853293915,
|
||||
25.6008102914207,
|
||||
25.600796605786705,
|
||||
25.600769034817688,
|
||||
25.600744826161964,
|
||||
25.600724538167317,
|
||||
25.60070591298943,
|
||||
25.600691750518276,
|
||||
25.600666380336143,
|
||||
25.60064803636991,
|
||||
25.60063368642432,
|
||||
25.600601587540066,
|
||||
25.60058915309417,
|
||||
25.600568995516525
|
||||
],
|
||||
"perc_loss": [
|
||||
0.0,
|
||||
@@ -535,12 +537,12 @@
|
||||
0.0
|
||||
],
|
||||
"fid": {
|
||||
"25": 315.9393615722656,
|
||||
"50": 419.273193359375,
|
||||
"75": 360.4432678222656,
|
||||
"100": 363.9911193847656
|
||||
"25": 238.42819213867188,
|
||||
"50": 232.70050048828125,
|
||||
"75": 234.88893127441406,
|
||||
"100": 236.51181030273438
|
||||
},
|
||||
"train_time_s": 660.9630489349365
|
||||
"train_time_s": 676.644668340683
|
||||
},
|
||||
"n_params": 10608451
|
||||
}
|
||||
Reference in New Issue
Block a user