Results from phase 3 VAE modifications
This commit is contained in:
Johnny Fernandes
@@ -17,318 +17,320 @@
|
||||
"model": "vae",
|
||||
"latent_dim": 256,
|
||||
"ngf": 64,
|
||||
"free_bits": 0.1,
|
||||
"grad_clip": 1.0,
|
||||
"run_name": "p3_2_vae_perceptual",
|
||||
"lr": 0.001,
|
||||
"beta_kl": 0.0001,
|
||||
"lr": 0.0005,
|
||||
"beta_kl": 0.005,
|
||||
"lambda_perceptual": 0.1,
|
||||
"lambda_adversarial": 0.0
|
||||
},
|
||||
"history": {
|
||||
"recon_loss": [
|
||||
NaN,
|
||||
0.041370747770127066,
|
||||
0.035506031866002284,
|
||||
0.06229733923672993,
|
||||
0.06089382184048494,
|
||||
0.053464704654856116,
|
||||
0.04950355895213846,
|
||||
0.04674786329269409,
|
||||
0.05693557829811023,
|
||||
0.04808994451076047,
|
||||
NaN,
|
||||
0.05869839608701121,
|
||||
0.05293231666820426,
|
||||
0.05057006603918779,
|
||||
0.04713928615117175,
|
||||
0.04481589820427008,
|
||||
0.04331832689543565,
|
||||
0.041820655449524395,
|
||||
NaN,
|
||||
0.24315394992884407,
|
||||
0.24305414841470555,
|
||||
0.2429187158998261,
|
||||
0.24289727962424612,
|
||||
0.2377373814328104,
|
||||
0.23880945107875726,
|
||||
0.24047312904626894,
|
||||
0.23915709144411942,
|
||||
NaN,
|
||||
0.24000247061634675,
|
||||
0.2362435321904655,
|
||||
0.23705266075383905,
|
||||
NaN,
|
||||
0.23998981039238793,
|
||||
0.23828768376738596,
|
||||
0.23908851302077627,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN
|
||||
0.07706982396447505,
|
||||
0.06330727752393638,
|
||||
0.060562346210209735,
|
||||
0.06067247126792741,
|
||||
0.06168853705669315,
|
||||
0.06303556570703657,
|
||||
0.06482723723842293,
|
||||
0.06669721933097666,
|
||||
0.0683129624200937,
|
||||
0.06987012332926194,
|
||||
0.07130966042606239,
|
||||
0.07270127332681774,
|
||||
0.07425614913654888,
|
||||
0.07580115537867586,
|
||||
0.07719200621876451,
|
||||
0.078589656127569,
|
||||
0.07977109738331065,
|
||||
0.08097509191268021,
|
||||
0.0821382127638556,
|
||||
0.08324004981953365,
|
||||
0.08320301078642026,
|
||||
0.08301973822088833,
|
||||
0.08318755321968825,
|
||||
0.08317961664790781,
|
||||
0.08314789212348624,
|
||||
0.08329373801875319,
|
||||
0.08338832993728992,
|
||||
0.08336645318593225,
|
||||
0.08318959130372247,
|
||||
0.08320376128913501,
|
||||
0.08317808063430154,
|
||||
0.08312527894273274,
|
||||
0.08306075425611602,
|
||||
0.08289793944065897,
|
||||
0.0828752614175662,
|
||||
0.08287284457976492,
|
||||
0.08268047039771181,
|
||||
0.08271352856014019,
|
||||
0.0829078034362477,
|
||||
0.0827700739614984,
|
||||
0.0827989391823355,
|
||||
0.08292064927199967,
|
||||
0.0828404097029796,
|
||||
0.08288907250150657,
|
||||
0.0829680990268532,
|
||||
0.08282275031456071,
|
||||
0.08290983905267511,
|
||||
0.08281088118942884,
|
||||
0.08267007887554474,
|
||||
0.08269618300354889,
|
||||
0.0827041374057786,
|
||||
0.0825083223131732,
|
||||
0.08238164631602092,
|
||||
0.08237539884498996,
|
||||
0.0822869433870173,
|
||||
0.08221659919199271,
|
||||
0.08213427105647886,
|
||||
0.08218342011683008,
|
||||
0.082064455613876,
|
||||
0.08187834614426152,
|
||||
0.08198784355424409,
|
||||
0.08176947068263832,
|
||||
0.08174051175642218,
|
||||
0.08147429703519894,
|
||||
0.08165825637550946,
|
||||
0.08149343700363086,
|
||||
0.08137227281227581,
|
||||
0.08143208594594756,
|
||||
0.08119541610408033,
|
||||
0.08130555122326581,
|
||||
0.08124906267238478,
|
||||
0.08108980721260747,
|
||||
0.08119610937423685,
|
||||
0.08095862009586433,
|
||||
0.08084884440351246,
|
||||
0.08087979268250811,
|
||||
0.08086979661423427,
|
||||
0.08077665719275291,
|
||||
0.08070505911914203,
|
||||
0.08077280767835103,
|
||||
0.0806472651564922,
|
||||
0.08055042177757137,
|
||||
0.08046174721203299,
|
||||
0.08041473021173579,
|
||||
0.08053297676846512,
|
||||
0.08046999694699915,
|
||||
0.0805438561603809,
|
||||
0.0802764052636603,
|
||||
0.08026964488065141,
|
||||
0.08028597289170974,
|
||||
0.0801090358191321,
|
||||
0.08017482723181064,
|
||||
0.08005877630387107,
|
||||
0.08010221279075003,
|
||||
0.07999415299258171,
|
||||
0.0798476467975694,
|
||||
0.07997323754124153,
|
||||
0.0798028621217634,
|
||||
0.07988279134544551,
|
||||
0.07989695622052392
|
||||
],
|
||||
"kl_loss": [
|
||||
41526536.5961082,
|
||||
1258.7768262553418,
|
||||
1165.5987154968784,
|
||||
3689.321748260759,
|
||||
1320.3167513333833,
|
||||
928.3473894168169,
|
||||
789.754654843583,
|
||||
693.4729607736963,
|
||||
1017.8856519389357,
|
||||
622.2623097998464,
|
||||
304942.2120989938,
|
||||
750.5718396830763,
|
||||
618.6888906364767,
|
||||
586.4194498958751,
|
||||
579.2793892102363,
|
||||
525.8830437945504,
|
||||
497.5363791050055,
|
||||
452.93342662061383,
|
||||
172476214612.95245,
|
||||
1112.027792645316,
|
||||
1109.8156276605068,
|
||||
1109.8872808472722,
|
||||
1112.3999198196282,
|
||||
1163.6093267457097,
|
||||
1195.4633280436199,
|
||||
1232.709252512353,
|
||||
1253.0651078183428,
|
||||
19923.65347159622,
|
||||
6871.588723207132,
|
||||
6872.017739842081,
|
||||
6872.62934758113,
|
||||
27062.17111336472,
|
||||
4992.576698759683,
|
||||
5000.895510942508,
|
||||
5011.723715236044,
|
||||
4.196954763212122e+20,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN
|
||||
114.89598556257721,
|
||||
77.33424778473683,
|
||||
62.9100211705917,
|
||||
55.875159540746964,
|
||||
51.501892236562874,
|
||||
48.34236133608044,
|
||||
45.885433547517174,
|
||||
43.94423294067383,
|
||||
42.245688601436775,
|
||||
40.89320367829413,
|
||||
39.69322418147682,
|
||||
38.6090751876179,
|
||||
37.7343929486397,
|
||||
36.89236228486411,
|
||||
36.14446016458365,
|
||||
35.46583691621438,
|
||||
34.81329877967509,
|
||||
34.25002269255809,
|
||||
33.78917465862046,
|
||||
33.34034808069213,
|
||||
33.22343346196362,
|
||||
33.14858524615948,
|
||||
33.055273805928024,
|
||||
32.99898836347792,
|
||||
32.90522269713573,
|
||||
32.836681887634796,
|
||||
32.76146248874501,
|
||||
32.68683499556322,
|
||||
32.632087422232345,
|
||||
32.59484779325306,
|
||||
32.54658634642251,
|
||||
32.49264952260205,
|
||||
32.471018106509476,
|
||||
32.43708103946132,
|
||||
32.433846559280006,
|
||||
32.40765173822387,
|
||||
32.363136197766686,
|
||||
32.320940767597946,
|
||||
32.29645855813964,
|
||||
32.26480372746786,
|
||||
32.22680737829616,
|
||||
32.176548860011955,
|
||||
32.135557647444244,
|
||||
32.11595243877835,
|
||||
32.05515718867636,
|
||||
32.04982715997941,
|
||||
32.00999742084079,
|
||||
31.98886978931916,
|
||||
31.965849428095368,
|
||||
31.92324785085825,
|
||||
31.916118495484703,
|
||||
31.915471476367397,
|
||||
31.903850473909298,
|
||||
31.890775949527058,
|
||||
31.8645691993909,
|
||||
31.869942917783035,
|
||||
31.860487742301746,
|
||||
31.850944148169624,
|
||||
31.843142101907322,
|
||||
31.839001268403145,
|
||||
31.847271275316547,
|
||||
31.829896576384193,
|
||||
31.801259293515457,
|
||||
31.81849612130059,
|
||||
31.774390408116528,
|
||||
31.791951089842705,
|
||||
31.79695913526747,
|
||||
31.78303485038953,
|
||||
31.772433419512886,
|
||||
31.75331918602316,
|
||||
31.766783274137058,
|
||||
31.768596893701798,
|
||||
31.765920822436993,
|
||||
31.724387494926777,
|
||||
31.745759788741413,
|
||||
31.730095512846596,
|
||||
31.737777669205624,
|
||||
31.726243728246445,
|
||||
31.71437902532072,
|
||||
31.71155218792777,
|
||||
31.704629376403286,
|
||||
31.707098475888245,
|
||||
31.703360154078556,
|
||||
31.695194660088955,
|
||||
31.685226285559498,
|
||||
31.6823458956857,
|
||||
31.674420800983395,
|
||||
31.686162447318054,
|
||||
31.676387077722794,
|
||||
31.680302566952175,
|
||||
31.657646749773598,
|
||||
31.67580248759343,
|
||||
31.65489924259675,
|
||||
31.662759666768913,
|
||||
31.655795794266922,
|
||||
31.663332922845825,
|
||||
31.652285494356075,
|
||||
31.666093015263222,
|
||||
31.64289121546297,
|
||||
31.66365980083107
|
||||
],
|
||||
"perc_loss": [
|
||||
NaN,
|
||||
3.0017659954535656,
|
||||
2.8931196978968434,
|
||||
3.084328340159522,
|
||||
3.1398269641093717,
|
||||
3.0839009172896032,
|
||||
3.0459561949102287,
|
||||
3.015714469628456,
|
||||
3.0917934143645134,
|
||||
3.010985380054539,
|
||||
NaN,
|
||||
3.102917709411719,
|
||||
3.055045795746339,
|
||||
3.0351512865123587,
|
||||
3.002274121993627,
|
||||
2.9754957128793764,
|
||||
2.9553630066733074,
|
||||
2.936704080328982,
|
||||
NaN,
|
||||
3.66463458385223,
|
||||
3.6419444985878773,
|
||||
3.6321474706005845,
|
||||
3.6272282503608966,
|
||||
3.781295938878997,
|
||||
3.740793755421272,
|
||||
3.759704489993234,
|
||||
3.7078149914741516,
|
||||
NaN,
|
||||
3.7647176323792872,
|
||||
3.7441278461717133,
|
||||
3.7264530261357627,
|
||||
NaN,
|
||||
3.7299226170931106,
|
||||
3.7314435080585318,
|
||||
3.754668933713538,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN,
|
||||
NaN
|
||||
3.347367505232493,
|
||||
3.1841943034758935,
|
||||
3.1360840721008105,
|
||||
3.1123677431008754,
|
||||
3.102960804079333,
|
||||
3.0996367656267605,
|
||||
3.100349969843514,
|
||||
3.1043578926314654,
|
||||
3.1047080194848213,
|
||||
3.10818816963424,
|
||||
3.1107087919854712,
|
||||
3.11433150116195,
|
||||
3.1165808979262652,
|
||||
3.1217524506087995,
|
||||
3.124025124769944,
|
||||
3.1286499158948913,
|
||||
3.1313081755597367,
|
||||
3.135032072535947,
|
||||
3.1376487164415865,
|
||||
3.140188893191835,
|
||||
3.138313090699351,
|
||||
3.136352961898869,
|
||||
3.1350333721209793,
|
||||
3.1340697214134736,
|
||||
3.1320774601056027,
|
||||
3.1314907603793674,
|
||||
3.1301532255278692,
|
||||
3.12954652411306,
|
||||
3.12765454991251,
|
||||
3.126848427658407,
|
||||
3.1259387716268883,
|
||||
3.1238634581239815,
|
||||
3.1228250631919274,
|
||||
3.1218308898118825,
|
||||
3.120684378167503,
|
||||
3.1207721839603195,
|
||||
3.1186747016050878,
|
||||
3.118101167373168,
|
||||
3.11715858308678,
|
||||
3.1159399615393744,
|
||||
3.1157061961980967,
|
||||
3.115308819163559,
|
||||
3.114226241906484,
|
||||
3.113662652989738,
|
||||
3.112562283491477,
|
||||
3.1123410055780005,
|
||||
3.1108450038820252,
|
||||
3.110834915413816,
|
||||
3.11004300453724,
|
||||
3.1096309413257828,
|
||||
3.1089638593869333,
|
||||
3.1076014179449816,
|
||||
3.1071455493951454,
|
||||
3.1054801660725193,
|
||||
3.1046676870085235,
|
||||
3.1034356477933054,
|
||||
3.1028999105477943,
|
||||
3.10203901773844,
|
||||
3.100277382084447,
|
||||
3.0997838067193317,
|
||||
3.0997486939797034,
|
||||
3.0976629460978713,
|
||||
3.096854481432173,
|
||||
3.0961881641648774,
|
||||
3.0957974134347377,
|
||||
3.094707619940114,
|
||||
3.0938115603903418,
|
||||
3.0930811013930883,
|
||||
3.092930595589499,
|
||||
3.091999230731247,
|
||||
3.0908807531381264,
|
||||
3.0901810919117723,
|
||||
3.089734352551974,
|
||||
3.0887419851417217,
|
||||
3.087375036162189,
|
||||
3.088294555998256,
|
||||
3.087375529301472,
|
||||
3.0865699587724147,
|
||||
3.085814117366432,
|
||||
3.086571911970774,
|
||||
3.0848990953885593,
|
||||
3.0839059826655264,
|
||||
3.0831500668810983,
|
||||
3.082290298408932,
|
||||
3.083427106213366,
|
||||
3.0819556769142804,
|
||||
3.0830693351916776,
|
||||
3.080666415202312,
|
||||
3.0801111816341042,
|
||||
3.080527792119572,
|
||||
3.0795028067042685,
|
||||
3.078920972143483,
|
||||
3.078586568689754,
|
||||
3.0789812258166127,
|
||||
3.0772171998635316,
|
||||
3.077096633422069,
|
||||
3.0768553665560536,
|
||||
3.0771814630581784,
|
||||
3.076374116616371,
|
||||
3.076963826122447
|
||||
],
|
||||
"adv_g_loss": [
|
||||
0.0,
|
||||
@@ -535,12 +537,12 @@
|
||||
0.0
|
||||
],
|
||||
"fid": {
|
||||
"25": 263.1458740234375,
|
||||
"50": 598.3736572265625,
|
||||
"75": 598.3736572265625,
|
||||
"100": 598.3736572265625
|
||||
"25": 244.7733612060547,
|
||||
"50": 231.2705535888672,
|
||||
"75": 229.399658203125,
|
||||
"100": 230.25457763671875
|
||||
},
|
||||
"train_time_s": 952.6596128940582
|
||||
"train_time_s": 1399.3615255355835
|
||||
},
|
||||
"n_params": 10608451
|
||||
}
|
||||
Reference in New Issue
Block a user