Testing VAE until it works - v1
This commit is contained in:
Johnny Fernandes
@@ -1,550 +0,0 @@
|
||||
{
|
||||
"run_name": "p3_3_vae_patchgan",
|
||||
"config": {
|
||||
"batch_size": 64,
|
||||
"ema_decay": 0.9999,
|
||||
"data_dir": "cropped/generator",
|
||||
"sources": [
|
||||
"wiki"
|
||||
],
|
||||
"subsample": 1.0,
|
||||
"sample_interval": 10,
|
||||
"fid_interval": 25,
|
||||
"fid_n_real": 5000,
|
||||
"epochs": 100,
|
||||
"augment": "hflip",
|
||||
"image_size": 64,
|
||||
"model": "vae",
|
||||
"latent_dim": 256,
|
||||
"ngf": 64,
|
||||
"free_bits": 0.1,
|
||||
"grad_clip": 1.0,
|
||||
"run_name": "p3_3_vae_patchgan",
|
||||
"lr": 0.0005,
|
||||
"lr_d": 0.0001,
|
||||
"beta_kl": 0.05,
|
||||
"lambda_perceptual": 0.1,
|
||||
"lambda_adversarial": 0.1,
|
||||
"ndf_patch": 64
|
||||
},
|
||||
"history": {
|
||||
"recon_loss": [
|
||||
0.20664009576042494,
|
||||
0.20546884704222027,
|
||||
0.2026536207423251,
|
||||
0.19372608764176694,
|
||||
0.18886286809913114,
|
||||
0.18587723256558433,
|
||||
0.18252239019697547,
|
||||
0.18123333547741938,
|
||||
0.1826040716125415,
|
||||
0.17910013230055824,
|
||||
0.17871976541912454,
|
||||
0.1786047644340075,
|
||||
0.17894037895732456,
|
||||
0.1770373120203487,
|
||||
0.17791039133683229,
|
||||
0.17689791439562783,
|
||||
0.1768273785073533,
|
||||
0.17606183192414096,
|
||||
0.17561813542603427,
|
||||
0.17555826488468382,
|
||||
0.1764616704840436,
|
||||
0.17546906631089684,
|
||||
0.17435517222580746,
|
||||
0.17366362592348686,
|
||||
0.17288134801082122,
|
||||
0.17304196351995835,
|
||||
0.1726210970336046,
|
||||
0.17214958993797627,
|
||||
0.17092827892201579,
|
||||
0.17048384440250886,
|
||||
0.17009502111209762,
|
||||
0.16923288472442546,
|
||||
0.16926560054222742,
|
||||
0.1685944145752324,
|
||||
0.16913408833818558,
|
||||
0.16864649152271768,
|
||||
0.16715254338505942,
|
||||
0.1674847087671614,
|
||||
0.16627334867022994,
|
||||
0.16667878182015866,
|
||||
0.1673471293069868,
|
||||
0.1658064564769594,
|
||||
0.16568841266199055,
|
||||
0.1656897024721162,
|
||||
0.16533309702053028,
|
||||
0.1651330927116239,
|
||||
0.16490820941762027,
|
||||
0.16450774570942944,
|
||||
0.16505960890879998,
|
||||
0.1657766858036192,
|
||||
0.16384747038539657,
|
||||
0.16329284715983602,
|
||||
0.1630541528774123,
|
||||
0.1632642790547803,
|
||||
0.16329585748095798,
|
||||
0.16283382962529475,
|
||||
0.162109665827364,
|
||||
0.16237290041186872,
|
||||
0.16060760107814756,
|
||||
0.15995743348557726,
|
||||
0.16160479480894202,
|
||||
0.16059094689722753,
|
||||
0.16062985516638836,
|
||||
0.1601817585591577,
|
||||
0.15990230441093445,
|
||||
0.15923667055928808,
|
||||
0.15944513557558385,
|
||||
0.15786530402226326,
|
||||
0.157669540717561,
|
||||
0.15771191879215404,
|
||||
0.15836861143764266,
|
||||
0.1579915552567213,
|
||||
0.1574682067347388,
|
||||
0.15650623944452685,
|
||||
0.15726811556607231,
|
||||
0.15652572038846138,
|
||||
0.15526711217995381,
|
||||
0.15566525547804996,
|
||||
0.1559221432504491,
|
||||
0.15413334128311557,
|
||||
0.1538484821525904,
|
||||
0.15617854215013674,
|
||||
0.15460723718134767,
|
||||
0.15452368347308573,
|
||||
0.15389670648126522,
|
||||
0.153534261111775,
|
||||
0.15374353961047962,
|
||||
0.15358849379241976,
|
||||
0.15341616234081423,
|
||||
0.1539706002570625,
|
||||
0.15283517762381807,
|
||||
0.15448490144987392,
|
||||
0.15431701716704246,
|
||||
0.15514606670436695,
|
||||
0.15397184323041868,
|
||||
0.15382100995152426,
|
||||
0.15411812398168775,
|
||||
0.15284074429008696,
|
||||
0.15258317590396628,
|
||||
0.15257134797990832
|
||||
],
|
||||
"kl_loss": [
|
||||
68.12842368264484,
|
||||
58.52319613888732,
|
||||
44.18469975544856,
|
||||
33.35476183279967,
|
||||
29.756296320858166,
|
||||
28.173175371610203,
|
||||
27.34979814545721,
|
||||
26.876195630456646,
|
||||
26.51762535633185,
|
||||
26.26355965117104,
|
||||
26.173303608201508,
|
||||
26.087695989853298,
|
||||
26.018392094180115,
|
||||
25.98833444383409,
|
||||
25.93635396875887,
|
||||
25.901821535876675,
|
||||
25.878659419524364,
|
||||
25.856926702026627,
|
||||
25.831880243415508,
|
||||
25.809421323303482,
|
||||
25.812285415127747,
|
||||
25.809016423347668,
|
||||
25.803619710808125,
|
||||
25.80864535845243,
|
||||
25.807042011847862,
|
||||
25.807511097345596,
|
||||
25.80379281899868,
|
||||
25.800463224068665,
|
||||
25.80085773141975,
|
||||
25.803321630526813,
|
||||
25.80114118461935,
|
||||
25.797412778577232,
|
||||
25.79841448710515,
|
||||
25.803915830758903,
|
||||
25.800587319920204,
|
||||
25.799186054457966,
|
||||
25.79303413374811,
|
||||
25.800722203703007,
|
||||
25.78836956187191,
|
||||
25.795500290699493,
|
||||
25.801840765863403,
|
||||
25.795673590440018,
|
||||
25.788382379417744,
|
||||
25.790301979097546,
|
||||
25.79772145523984,
|
||||
25.786431638603535,
|
||||
25.788207636939156,
|
||||
25.7939785117777,
|
||||
25.790546046362984,
|
||||
25.791608264303616,
|
||||
25.782368317628517,
|
||||
25.781000569335415,
|
||||
25.78018570353842,
|
||||
25.78992747852945,
|
||||
25.791334254109962,
|
||||
25.785102526346844,
|
||||
25.777616117754555,
|
||||
25.787795796353592,
|
||||
25.77431806336101,
|
||||
25.780450967641976,
|
||||
25.76879140250703,
|
||||
25.769127409682316,
|
||||
25.77564622601892,
|
||||
25.774933334089752,
|
||||
25.773548411507893,
|
||||
25.781807695698536,
|
||||
25.767144321376442,
|
||||
25.76645992556189,
|
||||
25.764682867588142,
|
||||
25.763574934413292,
|
||||
25.764604503272945,
|
||||
25.757338796925342,
|
||||
25.760351731226994,
|
||||
25.753257017869217,
|
||||
25.756990607987102,
|
||||
25.74790485903748,
|
||||
25.750839449401596,
|
||||
25.762463439224113,
|
||||
25.747816888695088,
|
||||
25.745640946249676,
|
||||
25.755338065644615,
|
||||
25.75259123500596,
|
||||
25.73955793462248,
|
||||
25.74994816739335,
|
||||
25.743701678055984,
|
||||
25.741836702721752,
|
||||
25.746034561059414,
|
||||
25.74659049205291,
|
||||
25.748252192114155,
|
||||
25.75794408667801,
|
||||
25.740664445436916,
|
||||
25.729339342850906,
|
||||
25.73942155104417,
|
||||
25.73681424621843,
|
||||
25.74283838679648,
|
||||
25.743645028171375,
|
||||
25.737078760424232,
|
||||
25.738885565700695,
|
||||
25.730926350650623,
|
||||
25.73253002329769
|
||||
],
|
||||
"perc_loss": [
|
||||
4.284683430296743,
|
||||
4.412672106017414,
|
||||
4.450774787328182,
|
||||
4.398514354330862,
|
||||
4.374030993534968,
|
||||
4.3477759218623495,
|
||||
4.351976938736745,
|
||||
4.363105954777481,
|
||||
4.3694430824018955,
|
||||
4.36106641883524,
|
||||
4.347512537597591,
|
||||
4.3484030238583555,
|
||||
4.345626479540115,
|
||||
4.3261580187031345,
|
||||
4.325833334882035,
|
||||
4.326021440008766,
|
||||
4.3213376805313635,
|
||||
4.314768468212877,
|
||||
4.3192369550721255,
|
||||
4.318043978805216,
|
||||
4.3108146455552845,
|
||||
4.308960727137378,
|
||||
4.298641049963797,
|
||||
4.289013148373009,
|
||||
4.271883454078283,
|
||||
4.273704745830634,
|
||||
4.270601803420956,
|
||||
4.263830899173378,
|
||||
4.2647860131712045,
|
||||
4.259130676077981,
|
||||
4.248837271307269,
|
||||
4.246620962762425,
|
||||
4.243108230778295,
|
||||
4.251198922467028,
|
||||
4.23574418695564,
|
||||
4.232880752310794,
|
||||
4.219367954466078,
|
||||
4.214961731026316,
|
||||
4.215395676274585,
|
||||
4.21049471033944,
|
||||
4.21475775527139,
|
||||
4.209023853143056,
|
||||
4.196490774806748,
|
||||
4.201774182992104,
|
||||
4.191486187979707,
|
||||
4.182125541389498,
|
||||
4.182892669469882,
|
||||
4.186337848504384,
|
||||
4.185713631984515,
|
||||
4.185926957008166,
|
||||
4.173205633448739,
|
||||
4.170292638815367,
|
||||
4.171781816543677,
|
||||
4.1742227994478664,
|
||||
4.162097737320468,
|
||||
4.153104884502215,
|
||||
4.148357060220507,
|
||||
4.1533002023004055,
|
||||
4.14140139787625,
|
||||
4.12923164652963,
|
||||
4.1401490854401874,
|
||||
4.1272752071038274,
|
||||
4.130248739169194,
|
||||
4.132051646200001,
|
||||
4.123921276157738,
|
||||
4.123644507338858,
|
||||
4.120624431687543,
|
||||
4.116347138698284,
|
||||
4.098994751771291,
|
||||
4.10354998223802,
|
||||
4.115526872312921,
|
||||
4.093757800057403,
|
||||
4.108234375969976,
|
||||
4.095992333359188,
|
||||
4.090389885963538,
|
||||
4.086705027482449,
|
||||
4.077634346281362,
|
||||
4.082558892730974,
|
||||
4.089221684341757,
|
||||
4.073336944620833,
|
||||
4.064374155977852,
|
||||
4.082791697775197,
|
||||
4.069841699213044,
|
||||
4.076490493411692,
|
||||
4.064204802370479,
|
||||
4.061286298128275,
|
||||
4.052628819759075,
|
||||
4.0491809697232695,
|
||||
4.058965112409021,
|
||||
4.052690645568391,
|
||||
4.058227839632931,
|
||||
4.052835367683672,
|
||||
4.053200018711579,
|
||||
4.058637539036254,
|
||||
4.054576839646723,
|
||||
4.049067093266381,
|
||||
4.050501744971316,
|
||||
4.0333083093675794,
|
||||
4.031478229241493,
|
||||
4.03050094944799
|
||||
],
|
||||
"adv_g_loss": [
|
||||
1.6945906835488784,
|
||||
2.2359936534084826,
|
||||
2.1402350850084906,
|
||||
2.315248914508738,
|
||||
2.233884201202,
|
||||
2.1723885705583115,
|
||||
2.0820165915239572,
|
||||
2.055549093959933,
|
||||
2.051057412153763,
|
||||
2.015316769034944,
|
||||
1.9094728334179012,
|
||||
1.8913572477674288,
|
||||
1.897682955655723,
|
||||
1.882107293062135,
|
||||
1.8927111610666745,
|
||||
1.8688224147782366,
|
||||
1.9567883037255567,
|
||||
1.8886699466538241,
|
||||
1.9518562734075304,
|
||||
1.9636508357814617,
|
||||
1.9562227244520736,
|
||||
1.9984713741598061,
|
||||
1.9947010266294098,
|
||||
1.931989847578936,
|
||||
2.0217894085197368,
|
||||
2.087464853603807,
|
||||
2.0854533564132183,
|
||||
2.073050996646858,
|
||||
2.1703977200529003,
|
||||
2.2110010142991334,
|
||||
2.1600928430119133,
|
||||
2.216297351460681,
|
||||
2.3224761097763595,
|
||||
2.304568846176705,
|
||||
2.2836171977030926,
|
||||
2.297615868668271,
|
||||
2.3322910882182355,
|
||||
2.3625818552115025,
|
||||
2.38175813596632,
|
||||
2.406708580911414,
|
||||
2.405017257691958,
|
||||
2.40933440421891,
|
||||
2.466819341907389,
|
||||
2.5458592870551295,
|
||||
2.5856447751259704,
|
||||
2.5504658403050184,
|
||||
2.55090725606578,
|
||||
2.635533580954513,
|
||||
2.676304424420381,
|
||||
2.709152910380791,
|
||||
2.6734945714537406,
|
||||
2.6929639437769213,
|
||||
2.741068474438965,
|
||||
2.788715256075574,
|
||||
2.749225435858099,
|
||||
2.7717263867330346,
|
||||
2.8026352137581916,
|
||||
2.8223156610615234,
|
||||
2.7881575422918696,
|
||||
2.831760157632013,
|
||||
2.8619034027951393,
|
||||
2.924719768202203,
|
||||
2.900455035460301,
|
||||
2.8933564607913675,
|
||||
2.921116583240338,
|
||||
2.9773028457266655,
|
||||
2.9610479168402843,
|
||||
2.990598867336909,
|
||||
3.0113285031074133,
|
||||
3.009772124708208,
|
||||
3.024522620643306,
|
||||
3.030661901092937,
|
||||
3.0474760035673776,
|
||||
3.0628549543201413,
|
||||
3.096129789056941,
|
||||
3.149008815869307,
|
||||
3.1224647607558813,
|
||||
3.2760142256052065,
|
||||
3.228409260766119,
|
||||
3.2076573489058733,
|
||||
3.2398641476264367,
|
||||
3.232522460639986,
|
||||
3.2508003120748405,
|
||||
3.240605200967218,
|
||||
3.286187628395537,
|
||||
3.2734705255581784,
|
||||
3.2855510803369374,
|
||||
3.299281896688999,
|
||||
3.3648755433212996,
|
||||
3.4358235439683638,
|
||||
3.368582401520167,
|
||||
3.305457336270911,
|
||||
3.3189472449131503,
|
||||
3.3348770279150743,
|
||||
3.2767913479071398,
|
||||
3.2550050493998404,
|
||||
3.280222808193957,
|
||||
3.2900603296410322,
|
||||
3.300272215125907,
|
||||
3.312584845428793
|
||||
],
|
||||
"adv_d_loss": [
|
||||
0.4152746302131404,
|
||||
0.20451608963278878,
|
||||
0.23405680463959774,
|
||||
0.19588809168268728,
|
||||
0.23218965130802402,
|
||||
0.21756976912928444,
|
||||
0.24355858413136414,
|
||||
0.24630528256997594,
|
||||
0.2544653647953374,
|
||||
0.2547152943781808,
|
||||
0.28348284006182456,
|
||||
0.27956568545255905,
|
||||
0.2854043210291455,
|
||||
0.2891966873286372,
|
||||
0.27150706937297797,
|
||||
0.2832239268618262,
|
||||
0.26533032114752847,
|
||||
0.2864285026255072,
|
||||
0.26611408748878884,
|
||||
0.2652207337415371,
|
||||
0.2585428311752203,
|
||||
0.2641343518168244,
|
||||
0.26014862816112166,
|
||||
0.255134222519576,
|
||||
0.23690097094473675,
|
||||
0.23983751258088482,
|
||||
0.23426481247202963,
|
||||
0.23212065616160885,
|
||||
0.21858446362117925,
|
||||
0.2071263620104545,
|
||||
0.21544637269953376,
|
||||
0.2005526166027173,
|
||||
0.189934483769103,
|
||||
0.21699241688873014,
|
||||
0.1878608494487583,
|
||||
0.2009370942783152,
|
||||
0.18916509833791825,
|
||||
0.18732606336219698,
|
||||
0.18729545694226638,
|
||||
0.17616531394549415,
|
||||
0.1873442790287937,
|
||||
0.18464299187892014,
|
||||
0.16848225999846417,
|
||||
0.1521743570661379,
|
||||
0.16208869308774543,
|
||||
0.15208105374382347,
|
||||
0.16345988764053482,
|
||||
0.15889255851347986,
|
||||
0.1423531938981042,
|
||||
0.14329825668858412,
|
||||
0.14804775817876953,
|
||||
0.13917387437680337,
|
||||
0.1278887752793793,
|
||||
0.13149240751488087,
|
||||
0.1295400700237379,
|
||||
0.11739795816202576,
|
||||
0.10729667171039897,
|
||||
0.11524664730422644,
|
||||
0.10759468113159777,
|
||||
0.1041740366918409,
|
||||
0.09709937493993431,
|
||||
0.09480845095175836,
|
||||
0.09410861701680681,
|
||||
0.09673418626428032,
|
||||
0.09225290424278022,
|
||||
0.08629086040533505,
|
||||
0.08498162722899619,
|
||||
0.08168459130833164,
|
||||
0.0742182365945007,
|
||||
0.07380153158775125,
|
||||
0.07149151855140415,
|
||||
0.06872231239437038,
|
||||
0.06956076094259818,
|
||||
0.06435911980274524,
|
||||
0.0590689304865833,
|
||||
0.05689009580697514,
|
||||
0.05565431249391638,
|
||||
0.05011548129961085,
|
||||
0.05019014166532737,
|
||||
0.04653629917317094,
|
||||
0.04471593751556152,
|
||||
0.04516388761460718,
|
||||
0.04336228132502645,
|
||||
0.04008000360455555,
|
||||
0.03857759905493476,
|
||||
0.037857113883663446,
|
||||
0.035939875439915836,
|
||||
0.035004505209035724,
|
||||
0.031199621726185657,
|
||||
0.02919165365712351,
|
||||
0.030646794869636115,
|
||||
0.02958681059575393,
|
||||
0.027908083806152686,
|
||||
0.027144664387083333,
|
||||
0.026594226197817195,
|
||||
0.026633828753529865,
|
||||
0.025609989997803465,
|
||||
0.023096644604164693,
|
||||
0.02264232223885309,
|
||||
0.02160924944964946
|
||||
],
|
||||
"fid": {
|
||||
"25": 237.9630584716797,
|
||||
"50": 250.21066284179688,
|
||||
"75": 254.84861755371094,
|
||||
"100": 259.5051574707031
|
||||
},
|
||||
"train_time_s": 2268.0758962631226
|
||||
},
|
||||
"n_params": 10608451
|
||||
}
|
||||
Reference in New Issue
Block a user