VAE fix w/ new results
This commit is contained in:
Johnny Fernandes
@@ -11,222 +11,224 @@
|
||||
"sample_interval": 10,
|
||||
"fid_interval": 25,
|
||||
"fid_n_real": 5000,
|
||||
"num_workers": 2,
|
||||
"epochs": 100,
|
||||
"augment": "hflip",
|
||||
"image_size": 64,
|
||||
"model": "vae",
|
||||
"latent_dim": 256,
|
||||
"ngf": 64,
|
||||
"grad_clip": 1.0,
|
||||
"run_name": "p3_1_vae",
|
||||
"lr": 0.001,
|
||||
"beta_kl": 1.0,
|
||||
"lr": 0.0005,
|
||||
"beta_kl": 0.25,
|
||||
"lambda_perceptual": 0.0,
|
||||
"lambda_adversarial": 0.0
|
||||
},
|
||||
"history": {
|
||||
"recon_loss": [
|
||||
0.23614721197603095,
|
||||
0.23315699178821,
|
||||
0.22991716011594504,
|
||||
NaN,
|
||||
0.23217070787253544,
|
||||
0.23155480842941847,
|
||||
0.23157141198459855,
|
||||
0.23181156750418183,
|
||||
0.23201335527193853,
|
||||
0.23178868266379732,
|
||||
0.2315022333755962,
|
||||
0.2311908418042028,
|
||||
0.23185610672474927,
|
||||
0.23176095832107413,
|
||||
0.23165411693163407,
|
||||
0.23174296459581098,
|
||||
0.2317636658747991,
|
||||
0.2317118427883356,
|
||||
0.23172695364834917,
|
||||
0.2316696329567677,
|
||||
0.23168399261358458,
|
||||
0.2316194716681782,
|
||||
0.23164867447354856,
|
||||
0.2315481170757204,
|
||||
0.23165068109957582,
|
||||
0.23167062098653907,
|
||||
0.23162642907765177,
|
||||
0.2315922882567104,
|
||||
0.2315914996414103,
|
||||
0.23156180984189367,
|
||||
0.23156551628286004,
|
||||
0.2315698005259037,
|
||||
0.2315660522470617,
|
||||
0.23156735001720935,
|
||||
0.23161396435183337,
|
||||
0.23158050178844705,
|
||||
0.23159921089680785,
|
||||
0.23149616745674712,
|
||||
0.23159087484336308,
|
||||
0.23156312872201967,
|
||||
0.23153820200863048,
|
||||
0.2315863819203825,
|
||||
0.23150022140043414,
|
||||
0.23154497337646973,
|
||||
0.2315601774961011,
|
||||
0.23153368950399578,
|
||||
0.23152085642019907,
|
||||
0.23151608884461924,
|
||||
0.23154898990805334,
|
||||
0.23155892872784892,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
0.24157701413600874,
|
||||
NaN,
|
||||
NaN,
|
||||
0.24151325464630738,
|
||||
NaN,
|
||||
0.24154121766233036,
|
||||
0.24155463749526912,
|
||||
0.24158300176008135,
|
||||
0.24158118757554609,
|
||||
0.2415294518901242,
|
||||
0.24156020069096842,
|
||||
0.2415176352374574,
|
||||
0.2415566616015047,
|
||||
NaN,
|
||||
0.24161437115608117,
|
||||
0.24159398913765565,
|
||||
0.24149432768806434,
|
||||
0.24153172199287984,
|
||||
0.24161516999204954,
|
||||
0.24158193846034187,
|
||||
0.2415451397562129,
|
||||
0.24155487772873324,
|
||||
0.24155297130346298,
|
||||
NaN,
|
||||
0.24157197961313093,
|
||||
NaN,
|
||||
NaN,
|
||||
0.24158605401459923,
|
||||
0.24156368870893094,
|
||||
0.24159100852333582,
|
||||
0.24153350121699846,
|
||||
0.24153158377505776,
|
||||
NaN,
|
||||
0.24161708673350832,
|
||||
0.24158515879868442,
|
||||
NaN,
|
||||
0.24157126235146809,
|
||||
0.24162366709265953,
|
||||
NaN,
|
||||
0.2415581897665293,
|
||||
NaN,
|
||||
NaN,
|
||||
0.2415400046823371,
|
||||
NaN,
|
||||
0.2415627600927638,
|
||||
0.2415567432076503,
|
||||
0.2415620140476614
|
||||
0.07131652818180811,
|
||||
0.04839004274521373,
|
||||
0.04452062843956499,
|
||||
0.04353479713870165,
|
||||
0.043699693698913626,
|
||||
0.044162471062288836,
|
||||
0.044934689377744995,
|
||||
0.04592526849741355,
|
||||
0.047077489165095694,
|
||||
0.04793272184160275,
|
||||
0.04926021105776995,
|
||||
0.05025381562260226,
|
||||
0.05120742289174316,
|
||||
0.052108900581733286,
|
||||
0.053131219620505966,
|
||||
0.05401940069869798,
|
||||
0.05489145301314246,
|
||||
0.055811726878214084,
|
||||
0.05665480460907914,
|
||||
0.0575029267412093,
|
||||
0.05754986319404382,
|
||||
0.057160187035034865,
|
||||
0.05722308493991438,
|
||||
0.05713338962891418,
|
||||
0.05686132515119946,
|
||||
0.056816555862116,
|
||||
0.05664816373784063,
|
||||
0.05655015064164614,
|
||||
0.056517735943516605,
|
||||
0.056386624335542194,
|
||||
0.05631861151156262,
|
||||
0.056178740154092126,
|
||||
0.056074508314586095,
|
||||
0.05601463455738675,
|
||||
0.05584243320438088,
|
||||
0.05574028127086468,
|
||||
0.05563880511137665,
|
||||
0.055547706926098235,
|
||||
0.05556490144923202,
|
||||
0.05538980011692923,
|
||||
0.05529476007303366,
|
||||
0.05527778912303794,
|
||||
0.0552029303378529,
|
||||
0.05519345425801654,
|
||||
0.05497326165374018,
|
||||
0.05496025659366805,
|
||||
0.0549636375095345,
|
||||
0.0548208407086567,
|
||||
0.05475613919015114,
|
||||
0.05467982544826391,
|
||||
0.05467521703332408,
|
||||
0.05451676477160719,
|
||||
0.054423171549271315,
|
||||
0.05440536335620106,
|
||||
0.054226587956341415,
|
||||
0.05415793756643931,
|
||||
0.0540492157650809,
|
||||
0.0539091299725776,
|
||||
0.05381450568859139,
|
||||
0.053790501263151824,
|
||||
0.053688646684217654,
|
||||
0.05361353090176216,
|
||||
0.05348594906206569,
|
||||
0.053407231775613934,
|
||||
0.05329926665394734,
|
||||
0.053199282489143886,
|
||||
0.05318549033413585,
|
||||
0.053034571994446285,
|
||||
0.05299898797375524,
|
||||
0.052894837278713525,
|
||||
0.05281204023422339,
|
||||
0.05279633629685029,
|
||||
0.05266677101071064,
|
||||
0.0525879480310867,
|
||||
0.052519615285862714,
|
||||
0.05243872805761221,
|
||||
0.05236124007715883,
|
||||
0.052327762763851725,
|
||||
0.05222526421117732,
|
||||
0.05212976400636964,
|
||||
0.05209252470706263,
|
||||
0.0520137355177321,
|
||||
0.051939742568020635,
|
||||
0.05186714857625656,
|
||||
0.051828445420942754,
|
||||
0.051747049658726424,
|
||||
0.05169421551414789,
|
||||
0.05160299702109689,
|
||||
0.05152464638917874,
|
||||
0.051478635081941754,
|
||||
0.0514086935764704,
|
||||
0.05138895747403049,
|
||||
0.051289146423785605,
|
||||
0.05126826443637793,
|
||||
0.05114383632555986,
|
||||
0.051157466693120636,
|
||||
0.05104086854550828,
|
||||
0.05102811497437139,
|
||||
0.0509683930545918,
|
||||
0.05096899156068635
|
||||
],
|
||||
"kl_loss": [
|
||||
12.394881742504927,
|
||||
184.775765717539,
|
||||
127.26797539963681,
|
||||
33346392.786626913,
|
||||
35.72433020722153,
|
||||
31.41954361882984,
|
||||
16.178619678203876,
|
||||
10.234501274223001,
|
||||
14.817130448471787,
|
||||
9.230570034084158,
|
||||
9.643558593896719,
|
||||
8.47786058498244,
|
||||
5.573643362929678,
|
||||
2.4644629534365783,
|
||||
1.5757666807462516,
|
||||
0.426466258131286,
|
||||
1.7924597560404203,
|
||||
0.2769168242652956,
|
||||
0.21636260826236162,
|
||||
0.48804672485870176,
|
||||
0.10833573165453142,
|
||||
0.13318477837671328,
|
||||
0.17373992544877478,
|
||||
0.09584700099678121,
|
||||
0.0977757986014088,
|
||||
0.07794108981282538,
|
||||
0.05691333960853199,
|
||||
0.07221067506167242,
|
||||
0.036222075203704275,
|
||||
0.03126689469696492,
|
||||
0.04264315036642882,
|
||||
0.016960328184147805,
|
||||
0.03314871971324309,
|
||||
0.014776984407789368,
|
||||
0.011375301962312406,
|
||||
0.013948339588828703,
|
||||
0.01186063720120324,
|
||||
0.0099704478863372,
|
||||
0.00536374123289417,
|
||||
0.009618068660179583,
|
||||
0.00418840028031164,
|
||||
0.004865833775052785,
|
||||
0.005830266629345715,
|
||||
0.0023000687699064487,
|
||||
0.0038261460966199762,
|
||||
0.0022056369562673136,
|
||||
0.002220870125003987,
|
||||
0.0024217167485139184,
|
||||
0.001954249278483037,
|
||||
0.0021431104709895756,
|
||||
0.0022583500309011494,
|
||||
0.002132287005193404,
|
||||
56.80083886633675,
|
||||
82.57108385134966,
|
||||
82.55195800259582,
|
||||
82.57428529527452,
|
||||
82.56009972401155,
|
||||
82.55269345666608,
|
||||
82.57006728343474,
|
||||
82.55670593131302,
|
||||
82.54445134676419,
|
||||
82.57745079301361,
|
||||
82.57933913336859,
|
||||
82.5570435157189,
|
||||
82.56808758597089,
|
||||
82.56800172267816,
|
||||
82.56525711320404,
|
||||
82.56189481621115,
|
||||
82.55193622295673,
|
||||
82.55375865382007,
|
||||
82.56600202250685,
|
||||
82.57064581324912,
|
||||
82.55481151026538,
|
||||
82.55367833324986,
|
||||
82.56042112040724,
|
||||
82.5616829048874,
|
||||
82.5771528553759,
|
||||
82.55317820035495,
|
||||
82.57550573756552,
|
||||
82.57334061973116,
|
||||
82.56044387817383,
|
||||
82.5752662593483,
|
||||
82.56673936762361,
|
||||
82.56828115740393,
|
||||
82.56990289280557,
|
||||
82.55218840052939,
|
||||
82.56695372426611,
|
||||
82.575043066954,
|
||||
82.55754522991995,
|
||||
82.56361721723508,
|
||||
82.5628145821074,
|
||||
82.56431990403395,
|
||||
82.55777725806603,
|
||||
82.5742861918914,
|
||||
82.56361025622768,
|
||||
82.56887233766736,
|
||||
82.56539458902473,
|
||||
82.55887828729091,
|
||||
82.56073884882478,
|
||||
82.55578186165573
|
||||
0.7611013715847944,
|
||||
0.5151619965321997,
|
||||
0.39718208143599015,
|
||||
0.3297253664360087,
|
||||
0.2878693372138545,
|
||||
0.257130523904776,
|
||||
0.23313261619490436,
|
||||
0.21345858896772066,
|
||||
0.1973419941197603,
|
||||
0.18355375779872266,
|
||||
0.1717705535583007,
|
||||
0.1612550135797415,
|
||||
0.15217030946260843,
|
||||
0.1444861331047156,
|
||||
0.13738160394132137,
|
||||
0.1306394640611023,
|
||||
0.12505544035926333,
|
||||
0.12011377760169344,
|
||||
0.11535473169488275,
|
||||
0.1109595281095841,
|
||||
0.11022479862420477,
|
||||
0.10970949868743236,
|
||||
0.10961869400408533,
|
||||
0.10945094661771232,
|
||||
0.10919397698444688,
|
||||
0.10875842463957448,
|
||||
0.10874241859548622,
|
||||
0.10849472851707385,
|
||||
0.10825413890565053,
|
||||
0.10820380448658243,
|
||||
0.10811882353045492,
|
||||
0.10812433239104402,
|
||||
0.10808505038293,
|
||||
0.10790401608006567,
|
||||
0.10787000140955305,
|
||||
0.10800883411151221,
|
||||
0.10767164218247446,
|
||||
0.10764909312765822,
|
||||
0.10733446480435693,
|
||||
0.10740953346348217,
|
||||
0.10733820650822078,
|
||||
0.10725643148279598,
|
||||
0.10736855125834799,
|
||||
0.10717424525855443,
|
||||
0.10725876993030055,
|
||||
0.10694582887694366,
|
||||
0.10713813684753373,
|
||||
0.10726828694853008,
|
||||
0.10701580285134478,
|
||||
0.10700331553498395,
|
||||
0.10686330029215568,
|
||||
0.10687567073947345,
|
||||
0.10698378102010132,
|
||||
0.10673714201483461,
|
||||
0.10696066876188812,
|
||||
0.10678731051520404,
|
||||
0.10679936213180041,
|
||||
0.10696167247290285,
|
||||
0.1067299399142846,
|
||||
0.10684242702893212,
|
||||
0.10679143969701906,
|
||||
0.10698746744957235,
|
||||
0.10674736718846183,
|
||||
0.10685917330730675,
|
||||
0.1070305180664246,
|
||||
0.10704450406388849,
|
||||
0.10696375739370656,
|
||||
0.10697911899441327,
|
||||
0.10700849091841115,
|
||||
0.10684541509383255,
|
||||
0.10709039088434134,
|
||||
0.10708275965900503,
|
||||
0.10700157213096435,
|
||||
0.10683403667221722,
|
||||
0.10696323639434627,
|
||||
0.10717970753709476,
|
||||
0.10707768420569408,
|
||||
0.10707720299052377,
|
||||
0.10703401576377387,
|
||||
0.10714245904396233,
|
||||
0.10722182246928032,
|
||||
0.10714326931052229,
|
||||
0.10708108509325573,
|
||||
0.10726493315245861,
|
||||
0.10718185655199565,
|
||||
0.10716394220407192,
|
||||
0.10727782184496903,
|
||||
0.10729229825938869,
|
||||
0.10722832862510641,
|
||||
0.10727461647146787,
|
||||
0.10739002018593825,
|
||||
0.10721855878065793,
|
||||
0.10737398387784632,
|
||||
0.10721981757853785,
|
||||
0.10756766480895188,
|
||||
0.10733713450021723,
|
||||
0.10742478621884799,
|
||||
0.10721213524986027,
|
||||
0.10737172850113139,
|
||||
0.10744189095293355
|
||||
],
|
||||
"perc_loss": [
|
||||
0.0,
|
||||
@@ -535,12 +537,12 @@
|
||||
0.0
|
||||
],
|
||||
"fid": {
|
||||
"25": 315.9393615722656,
|
||||
"50": 419.273193359375,
|
||||
"75": 360.4432678222656,
|
||||
"100": 363.9911193847656
|
||||
"25": 108.92365264892578,
|
||||
"50": 93.73921203613281,
|
||||
"75": 90.11531829833984,
|
||||
"100": 88.40287780761719
|
||||
},
|
||||
"train_time_s": 660.9630489349365
|
||||
"train_time_s": 1526.7542352676392
|
||||
},
|
||||
"n_params": 10608451
|
||||
}
|
||||
Reference in New Issue
Block a user