Results from phase 3 VAE modifications
This commit is contained in:
@@ -17,216 +17,218 @@
|
||||
"model": "vae",
|
||||
"latent_dim": 256,
|
||||
"ngf": 64,
|
||||
"free_bits": 0.1,
|
||||
"grad_clip": 1.0,
|
||||
"run_name": "p3_1_vae",
|
||||
"lr": 0.001,
|
||||
"beta_kl": 1.0,
|
||||
"lr": 0.0005,
|
||||
"beta_kl": 0.005,
|
||||
"lambda_perceptual": 0.0,
|
||||
"lambda_adversarial": 0.0
|
||||
},
|
||||
"history": {
|
||||
"recon_loss": [
|
||||
0.23614721197603095,
|
||||
0.23315699178821,
|
||||
0.22991716011594504,
|
||||
NaN,
|
||||
0.23217070787253544,
|
||||
0.23155480842941847,
|
||||
0.23157141198459855,
|
||||
0.23181156750418183,
|
||||
0.23201335527193853,
|
||||
0.23178868266379732,
|
||||
0.2315022333755962,
|
||||
0.2311908418042028,
|
||||
0.23185610672474927,
|
||||
0.23176095832107413,
|
||||
0.23165411693163407,
|
||||
0.23174296459581098,
|
||||
0.2317636658747991,
|
||||
0.2317118427883356,
|
||||
0.23172695364834917,
|
||||
0.2316696329567677,
|
||||
0.23168399261358458,
|
||||
0.2316194716681782,
|
||||
0.23164867447354856,
|
||||
0.2315481170757204,
|
||||
0.23165068109957582,
|
||||
0.23167062098653907,
|
||||
0.23162642907765177,
|
||||
0.2315922882567104,
|
||||
0.2315914996414103,
|
||||
0.23156180984189367,
|
||||
0.23156551628286004,
|
||||
0.2315698005259037,
|
||||
0.2315660522470617,
|
||||
0.23156735001720935,
|
||||
0.23161396435183337,
|
||||
0.23158050178844705,
|
||||
0.23159921089680785,
|
||||
0.23149616745674712,
|
||||
0.23159087484336308,
|
||||
0.23156312872201967,
|
||||
0.23153820200863048,
|
||||
0.2315863819203825,
|
||||
0.23150022140043414,
|
||||
0.23154497337646973,
|
||||
0.2315601774961011,
|
||||
0.23153368950399578,
|
||||
0.23152085642019907,
|
||||
0.23151608884461924,
|
||||
0.23154898990805334,
|
||||
0.23155892872784892,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
0.24157701413600874,
|
||||
NaN,
|
||||
NaN,
|
||||
0.24151325464630738,
|
||||
NaN,
|
||||
0.24154121766233036,
|
||||
0.24155463749526912,
|
||||
0.24158300176008135,
|
||||
0.24158118757554609,
|
||||
0.2415294518901242,
|
||||
0.24156020069096842,
|
||||
0.2415176352374574,
|
||||
0.2415566616015047,
|
||||
NaN,
|
||||
0.24161437115608117,
|
||||
0.24159398913765565,
|
||||
0.24149432768806434,
|
||||
0.24153172199287984,
|
||||
0.24161516999204954,
|
||||
0.24158193846034187,
|
||||
0.2415451397562129,
|
||||
0.24155487772873324,
|
||||
0.24155297130346298,
|
||||
NaN,
|
||||
0.24157197961313093,
|
||||
NaN,
|
||||
NaN,
|
||||
0.24158605401459923,
|
||||
0.24156368870893094,
|
||||
0.24159100852333582,
|
||||
0.24153350121699846,
|
||||
0.24153158377505776,
|
||||
NaN,
|
||||
0.24161708673350832,
|
||||
0.24158515879868442,
|
||||
NaN,
|
||||
0.24157126235146809,
|
||||
0.24162366709265953,
|
||||
NaN,
|
||||
0.2415581897665293,
|
||||
NaN,
|
||||
NaN,
|
||||
0.2415400046823371,
|
||||
NaN,
|
||||
0.2415627600927638,
|
||||
0.2415567432076503,
|
||||
0.2415620140476614
|
||||
0.07730471308573954,
|
||||
0.06593808977522402,
|
||||
0.06487635838297698,
|
||||
0.06536683298520043,
|
||||
0.06676436582596129,
|
||||
0.06822305706799285,
|
||||
0.07009286439826345,
|
||||
0.0716893181968958,
|
||||
0.07343342525359148,
|
||||
0.075231988938191,
|
||||
0.07698834319718373,
|
||||
0.0781789975734348,
|
||||
0.07966307190875722,
|
||||
0.08127817829959413,
|
||||
0.08283065850090267,
|
||||
0.08466114240706477,
|
||||
0.08580355486299238,
|
||||
0.08649945996192276,
|
||||
0.08722176170374593,
|
||||
0.0878506902541615,
|
||||
0.08772704952484013,
|
||||
0.0878396618187937,
|
||||
0.08760359356354953,
|
||||
0.08755779992311429,
|
||||
0.08766099331406955,
|
||||
0.08788286568198958,
|
||||
0.0880148638612949,
|
||||
0.0880719024496965,
|
||||
0.08799157871140374,
|
||||
0.08789104575084315,
|
||||
0.08781521651161532,
|
||||
0.08772920075262713,
|
||||
0.08761804038260737,
|
||||
0.08748868394356507,
|
||||
0.0876523340996514,
|
||||
0.08761706726991722,
|
||||
0.08738589645005189,
|
||||
0.08738058178215964,
|
||||
0.08751415275037289,
|
||||
0.08737453581112573,
|
||||
0.08756884259100144,
|
||||
0.08753167293392695,
|
||||
0.08771920282170813,
|
||||
0.08771870020999868,
|
||||
0.08811150293829095,
|
||||
0.08813091252858822,
|
||||
0.08838469075023109,
|
||||
0.08847005421725604,
|
||||
0.08863859883167295,
|
||||
0.08869685632232417,
|
||||
0.08851750366962872,
|
||||
0.08844129702983758,
|
||||
0.08849497742823556,
|
||||
0.08820333027750508,
|
||||
0.0882302947087675,
|
||||
0.08809250190408312,
|
||||
0.08821920114449966,
|
||||
0.08808790903506625,
|
||||
0.08793783823075967,
|
||||
0.08809815778627865,
|
||||
0.08792639472800443,
|
||||
0.08773358266514081,
|
||||
0.08771742116182278,
|
||||
0.08763711888374937,
|
||||
0.08763587549647205,
|
||||
0.08757383744112957,
|
||||
0.08740564774817382,
|
||||
0.08760064023618515,
|
||||
0.08756772452631058,
|
||||
0.08748207171248575,
|
||||
0.08743569531883949,
|
||||
0.08756201617164999,
|
||||
0.08752684823722921,
|
||||
0.08740174391458178,
|
||||
0.08721604804771069,
|
||||
0.08738407018220323,
|
||||
0.08733521637498823,
|
||||
0.0873828605772593,
|
||||
0.08724558114623412,
|
||||
0.0872362587823827,
|
||||
0.08704395339083977,
|
||||
0.0871862175468451,
|
||||
0.08712937674907029,
|
||||
0.08717458137971723,
|
||||
0.08691909113246152,
|
||||
0.08707771377048941,
|
||||
0.0870408087523065,
|
||||
0.08690907467061128,
|
||||
0.08700524977384469,
|
||||
0.08686018860938712,
|
||||
0.08692594942374107,
|
||||
0.08688000118375844,
|
||||
0.08683701932557628,
|
||||
0.08682236053113244,
|
||||
0.08666048966284491,
|
||||
0.0866338494591988,
|
||||
0.08675910368498065,
|
||||
0.08661951002083783,
|
||||
0.0864848897466038,
|
||||
0.08664045786946757
|
||||
],
|
||||
"kl_loss": [
|
||||
12.394881742504927,
|
||||
184.775765717539,
|
||||
127.26797539963681,
|
||||
33346392.786626913,
|
||||
35.72433020722153,
|
||||
31.41954361882984,
|
||||
16.178619678203876,
|
||||
10.234501274223001,
|
||||
14.817130448471787,
|
||||
9.230570034084158,
|
||||
9.643558593896719,
|
||||
8.47786058498244,
|
||||
5.573643362929678,
|
||||
2.4644629534365783,
|
||||
1.5757666807462516,
|
||||
0.426466258131286,
|
||||
1.7924597560404203,
|
||||
0.2769168242652956,
|
||||
0.21636260826236162,
|
||||
0.48804672485870176,
|
||||
0.10833573165453142,
|
||||
0.13318477837671328,
|
||||
0.17373992544877478,
|
||||
0.09584700099678121,
|
||||
0.0977757986014088,
|
||||
0.07794108981282538,
|
||||
0.05691333960853199,
|
||||
0.07221067506167242,
|
||||
0.036222075203704275,
|
||||
0.03126689469696492,
|
||||
0.04264315036642882,
|
||||
0.016960328184147805,
|
||||
0.03314871971324309,
|
||||
0.014776984407789368,
|
||||
0.011375301962312406,
|
||||
0.013948339588828703,
|
||||
0.01186063720120324,
|
||||
0.0099704478863372,
|
||||
0.00536374123289417,
|
||||
0.009618068660179583,
|
||||
0.00418840028031164,
|
||||
0.004865833775052785,
|
||||
0.005830266629345715,
|
||||
0.0023000687699064487,
|
||||
0.0038261460966199762,
|
||||
0.0022056369562673136,
|
||||
0.002220870125003987,
|
||||
0.0024217167485139184,
|
||||
0.001954249278483037,
|
||||
0.0021431104709895756,
|
||||
0.0022583500309011494,
|
||||
0.002132287005193404,
|
||||
56.80083886633675,
|
||||
82.57108385134966,
|
||||
82.55195800259582,
|
||||
82.57428529527452,
|
||||
82.56009972401155,
|
||||
82.55269345666608,
|
||||
82.57006728343474,
|
||||
82.55670593131302,
|
||||
82.54445134676419,
|
||||
82.57745079301361,
|
||||
82.57933913336859,
|
||||
82.5570435157189,
|
||||
82.56808758597089,
|
||||
82.56800172267816,
|
||||
82.56525711320404,
|
||||
82.56189481621115,
|
||||
82.55193622295673,
|
||||
82.55375865382007,
|
||||
82.56600202250685,
|
||||
82.57064581324912,
|
||||
82.55481151026538,
|
||||
82.55367833324986,
|
||||
82.56042112040724,
|
||||
82.5616829048874,
|
||||
82.5771528553759,
|
||||
82.55317820035495,
|
||||
82.57550573756552,
|
||||
82.57334061973116,
|
||||
82.56044387817383,
|
||||
82.5752662593483,
|
||||
82.56673936762361,
|
||||
82.56828115740393,
|
||||
82.56990289280557,
|
||||
82.55218840052939,
|
||||
82.56695372426611,
|
||||
82.575043066954,
|
||||
82.55754522991995,
|
||||
82.56361721723508,
|
||||
82.5628145821074,
|
||||
82.56431990403395,
|
||||
82.55777725806603,
|
||||
82.5742861918914,
|
||||
82.56361025622768,
|
||||
82.56887233766736,
|
||||
82.56539458902473,
|
||||
82.55887828729091,
|
||||
82.56073884882478,
|
||||
82.55578186165573
|
||||
97.64885638310359,
|
||||
62.855894651168434,
|
||||
51.748125516451324,
|
||||
46.85192030719203,
|
||||
43.88861534738133,
|
||||
41.6780331440461,
|
||||
40.001986854096764,
|
||||
38.64640927110982,
|
||||
37.41358267955291,
|
||||
36.41640040405795,
|
||||
35.55877452426486,
|
||||
34.7982840415759,
|
||||
34.11121509421585,
|
||||
33.47962024884346,
|
||||
32.765580996488914,
|
||||
32.12892857983581,
|
||||
31.5787715096759,
|
||||
31.23355184457241,
|
||||
30.95730068337204,
|
||||
30.6620740116152,
|
||||
30.60565506698739,
|
||||
30.529209638253235,
|
||||
30.491252128894512,
|
||||
30.418221693772537,
|
||||
30.34073096870357,
|
||||
30.201212308345696,
|
||||
30.061584020272278,
|
||||
29.970419724782307,
|
||||
29.8875841523847,
|
||||
29.83627580985045,
|
||||
29.782486483582066,
|
||||
29.725191291580852,
|
||||
29.67253409491645,
|
||||
29.62634592382317,
|
||||
29.588209629058838,
|
||||
29.532620438143738,
|
||||
29.495509889390732,
|
||||
29.449343318613167,
|
||||
29.384501049661228,
|
||||
29.349107827895725,
|
||||
29.295700040637936,
|
||||
29.241306573916706,
|
||||
29.166094502832134,
|
||||
29.11005148113283,
|
||||
29.028348319550865,
|
||||
28.94603967666626,
|
||||
28.882984246963108,
|
||||
28.78164738467616,
|
||||
28.735162518982193,
|
||||
28.679843005971012,
|
||||
28.659660514603313,
|
||||
28.619067306192512,
|
||||
28.596742373246414,
|
||||
28.562309256985657,
|
||||
28.52451869768974,
|
||||
28.490606548439743,
|
||||
28.49845803497184,
|
||||
28.45612907002115,
|
||||
28.454183386941242,
|
||||
28.419613467322456,
|
||||
28.41504774745713,
|
||||
28.364814460787,
|
||||
28.368678023672512,
|
||||
28.338627220219017,
|
||||
28.325380044105724,
|
||||
28.32440700694027,
|
||||
28.297185176458115,
|
||||
28.266021508436936,
|
||||
28.25893593649579,
|
||||
28.229272165869038,
|
||||
28.20741213692559,
|
||||
28.18922700229873,
|
||||
28.178358025021023,
|
||||
28.16814616195157,
|
||||
28.143704161684738,
|
||||
28.140413304679413,
|
||||
28.134240329775036,
|
||||
28.117950944819,
|
||||
28.1009096161932,
|
||||
28.077010008004997,
|
||||
28.061608836182163,
|
||||
28.044516302581528,
|
||||
28.028144938314064,
|
||||
28.01604707016904,
|
||||
27.992277870830307,
|
||||
27.991227651253723,
|
||||
27.98667734097212,
|
||||
27.938560457311127,
|
||||
27.945909381931664,
|
||||
27.928414560790756,
|
||||
27.932809756352352,
|
||||
27.928062125148937,
|
||||
27.91421982773349,
|
||||
27.90757109161116,
|
||||
27.89331733671009,
|
||||
27.897906148535572,
|
||||
27.880407887646275,
|
||||
27.88155363360022,
|
||||
27.862588609385693,
|
||||
27.864495530087723
|
||||
],
|
||||
"perc_loss": [
|
||||
0.0,
|
||||
@@ -535,12 +537,12 @@
|
||||
0.0
|
||||
],
|
||||
"fid": {
|
||||
"25": 315.9393615722656,
|
||||
"50": 419.273193359375,
|
||||
"75": 360.4432678222656,
|
||||
"100": 363.9911193847656
|
||||
"25": 244.70846557617188,
|
||||
"50": 227.29347229003906,
|
||||
"75": 228.68997192382812,
|
||||
"100": 234.52761840820312
|
||||
},
|
||||
"train_time_s": 660.9630489349365
|
||||
"train_time_s": 588.5088336467743
|
||||
},
|
||||
"n_params": 10608451
|
||||
}
|
||||
Reference in New Issue
Block a user