Johnny Fernandes
1890 lines
45 KiB
JSON
1890 lines
45 KiB
JSON
{
|
|
"run_name": "p2c_simplecnn_facecrop",
|
|
"n_folds": 5,
|
|
"fold_results": [
|
|
{
|
|
"fold": 0,
|
|
"train_size": 17280,
|
|
"val_size": 1920,
|
|
"test_size": 4800,
|
|
"history": {
|
|
"train_loss": [
|
|
0.33534963467606793,
|
|
0.3235572189092636,
|
|
0.3171152654345389,
|
|
0.31327827986743717,
|
|
0.31033674619264073,
|
|
0.30600922115974954,
|
|
0.3029164695629367,
|
|
0.2985397193442892,
|
|
0.2957023377495783,
|
|
0.2929931388684997,
|
|
0.29124047027693856,
|
|
0.289444793815966,
|
|
0.28789058402180673,
|
|
0.28674482085086683,
|
|
0.2855528046411497
|
|
],
|
|
"train_acc": [
|
|
0.505150462962963,
|
|
0.6240162037037037,
|
|
0.6297453703703704,
|
|
0.6519675925925926,
|
|
0.6519675925925926,
|
|
0.6697916666666667,
|
|
0.6739583333333333,
|
|
0.6771412037037037,
|
|
0.6871527777777777,
|
|
0.6933449074074074,
|
|
0.6957175925925926,
|
|
0.7017361111111111,
|
|
0.7012731481481481,
|
|
0.7065972222222222,
|
|
0.7072916666666667
|
|
],
|
|
"train_auc": [
|
|
0.6263689379000914,
|
|
0.6740577578446502,
|
|
0.6934107617455418,
|
|
0.7053752554155236,
|
|
0.7127962552154778,
|
|
0.7262564300411523,
|
|
0.7339958240454961,
|
|
0.7445143086276863,
|
|
0.7509831175697304,
|
|
0.7575106363597394,
|
|
0.7618086544781665,
|
|
0.766314845178898,
|
|
0.769531589363283,
|
|
0.7734971743541381,
|
|
0.7762781314300411
|
|
],
|
|
"train_f1": [
|
|
0.5627205318332907,
|
|
0.7125348435909915,
|
|
0.7161238796698909,
|
|
0.7394054944102608,
|
|
0.7381118272078036,
|
|
0.7545806451612903,
|
|
0.7575105448911078,
|
|
0.7595362268867721,
|
|
0.768697586856067,
|
|
0.7747119595255304,
|
|
0.7765595784463709,
|
|
0.7819058903182126,
|
|
0.7805085466451229,
|
|
0.7846768028539879,
|
|
0.785295865523389
|
|
],
|
|
"val_loss": [
|
|
0.33023928925395013,
|
|
0.3251593872904778,
|
|
0.3177362270653248,
|
|
0.31646473705768585,
|
|
0.31118818186223507,
|
|
0.3061512573311726,
|
|
0.30492371941606206,
|
|
0.30204968092342216,
|
|
0.3095003794878721,
|
|
0.3010386052230994,
|
|
0.29479843166967235,
|
|
0.29448223834236464,
|
|
0.293135704472661,
|
|
0.2926966001590093,
|
|
0.2926642368237177
|
|
],
|
|
"val_acc": [
|
|
0.6432291666666666,
|
|
0.621875,
|
|
0.6088541666666667,
|
|
0.7,
|
|
0.6661458333333333,
|
|
0.6401041666666667,
|
|
0.6796875,
|
|
0.6802083333333333,
|
|
0.7442708333333333,
|
|
0.6151041666666667,
|
|
0.6380208333333334,
|
|
0.7182291666666667,
|
|
0.7005208333333334,
|
|
0.6973958333333333,
|
|
0.6989583333333333
|
|
],
|
|
"val_auc": [
|
|
0.6544914641203703,
|
|
0.6718988715277778,
|
|
0.7002271412037038,
|
|
0.7136226851851851,
|
|
0.7157537615740741,
|
|
0.7245818865740741,
|
|
0.7274066840277778,
|
|
0.7377973090277778,
|
|
0.7438194444444444,
|
|
0.7416587094907408,
|
|
0.7539554398148147,
|
|
0.7581662326388888,
|
|
0.759189814814815,
|
|
0.7572041377314815,
|
|
0.7597214988425927
|
|
],
|
|
"val_f1": [
|
|
0.741216471477144,
|
|
0.7109872611464968,
|
|
0.6859054788791301,
|
|
0.7906976744186046,
|
|
0.7500974658869396,
|
|
0.7219315895372234,
|
|
0.766248574686431,
|
|
0.7652905198776758,
|
|
0.8301625735039778,
|
|
0.6869970351545955,
|
|
0.711737868104521,
|
|
0.8016134946828016,
|
|
0.782608695652174,
|
|
0.7783288821060664,
|
|
0.781557067271353
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.718125,
|
|
"auc_roc": 0.7698571759259261,
|
|
"f1": 0.7970601469926504,
|
|
"confusion_matrix": [
|
|
[
|
|
790,
|
|
410
|
|
],
|
|
[
|
|
943,
|
|
2657
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.7533333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
296,
|
|
904
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.7533333333333333,
|
|
"pairwise_auc": 0.7727059027777777,
|
|
"pairwise_f1": 0.7191726332537789
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.5525,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
537,
|
|
663
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.5525,
|
|
"pairwise_auc": 0.646773263888889,
|
|
"pairwise_f1": 0.5833699956005279
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9083333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
110,
|
|
1090
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.9083333333333333,
|
|
"pairwise_auc": 0.8900923611111111,
|
|
"pairwise_f1": 0.8074074074074075
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.6583333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
790,
|
|
410
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"false_alarm_rate": 0.3416666666666667
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.7058333333333333,
|
|
"auc_roc": 0.7727059027777777,
|
|
"f1": 0.7191726332537789,
|
|
"confusion_matrix": [
|
|
[
|
|
790,
|
|
410
|
|
],
|
|
[
|
|
296,
|
|
904
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.6054166666666667,
|
|
"auc_roc": 0.646773263888889,
|
|
"f1": 0.5833699956005279,
|
|
"confusion_matrix": [
|
|
[
|
|
790,
|
|
410
|
|
],
|
|
[
|
|
537,
|
|
663
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.7833333333333333,
|
|
"auc_roc": 0.8900923611111111,
|
|
"f1": 0.8074074074074075,
|
|
"confusion_matrix": [
|
|
[
|
|
790,
|
|
410
|
|
],
|
|
[
|
|
110,
|
|
1090
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 1,
|
|
"train_size": 17280,
|
|
"val_size": 1920,
|
|
"test_size": 4800,
|
|
"history": {
|
|
"train_loss": [
|
|
0.33503686451801545,
|
|
0.32277677677295824,
|
|
0.31805250788176503,
|
|
0.3142383051967179,
|
|
0.3094754738940133,
|
|
0.3068588615015701,
|
|
0.3051918382997866,
|
|
0.30135664796387707,
|
|
0.2982914166593993,
|
|
0.29571508094668386,
|
|
0.29429655058516396,
|
|
0.2921788873495879,
|
|
0.29186505976098553,
|
|
0.29059922350225625,
|
|
0.29067752968381955
|
|
],
|
|
"train_acc": [
|
|
0.5513888888888889,
|
|
0.6213541666666667,
|
|
0.6432291666666666,
|
|
0.6490162037037037,
|
|
0.6556712962962963,
|
|
0.6656828703703703,
|
|
0.6737847222222222,
|
|
0.6768518518518518,
|
|
0.6764467592592592,
|
|
0.6832754629629629,
|
|
0.6901041666666666,
|
|
0.6892939814814815,
|
|
0.6947337962962963,
|
|
0.695949074074074,
|
|
0.6942708333333333
|
|
],
|
|
"train_auc": [
|
|
0.6244928394347279,
|
|
0.676084185313786,
|
|
0.692228330761317,
|
|
0.702313635973937,
|
|
0.7141995670438956,
|
|
0.7240220264631916,
|
|
0.72704001093107,
|
|
0.738377021890718,
|
|
0.7440825938786009,
|
|
0.7494291195130316,
|
|
0.7544271726394604,
|
|
0.7589719435871056,
|
|
0.7599465949359854,
|
|
0.7633568029835391,
|
|
0.76321705675583
|
|
],
|
|
"train_f1": [
|
|
0.631768953068592,
|
|
0.7088765294771969,
|
|
0.7313842534094375,
|
|
0.735787410150294,
|
|
0.7410341225626741,
|
|
0.7495773548918462,
|
|
0.7584936378047213,
|
|
0.7591234578552325,
|
|
0.7582688399844352,
|
|
0.7645109935028613,
|
|
0.7699248120300752,
|
|
0.7685676106728738,
|
|
0.7736925651036081,
|
|
0.775527642484833,
|
|
0.7729987539208525
|
|
],
|
|
"val_loss": [
|
|
0.3270006366074085,
|
|
0.32059879961113136,
|
|
0.32616251905759175,
|
|
0.31671720544497173,
|
|
0.328063361470898,
|
|
0.303794256473581,
|
|
0.30220593375464283,
|
|
0.3008812251190344,
|
|
0.30283960898717244,
|
|
0.2976109920690457,
|
|
0.2951974760740995,
|
|
0.2948875146607558,
|
|
0.29335316171248754,
|
|
0.29429919583102065,
|
|
0.29334711730480195
|
|
],
|
|
"val_acc": [
|
|
0.5895833333333333,
|
|
0.6822916666666666,
|
|
0.6932291666666667,
|
|
0.5567708333333333,
|
|
0.7020833333333333,
|
|
0.6557291666666667,
|
|
0.6796875,
|
|
0.6109375,
|
|
0.71875,
|
|
0.671875,
|
|
0.6692708333333334,
|
|
0.6572916666666667,
|
|
0.7015625,
|
|
0.6848958333333334,
|
|
0.6875
|
|
],
|
|
"val_auc": [
|
|
0.6702575231481483,
|
|
0.6945775462962962,
|
|
0.6884975405092593,
|
|
0.7100557002314815,
|
|
0.6958210358796296,
|
|
0.731765769675926,
|
|
0.7375441261574074,
|
|
0.749129050925926,
|
|
0.7465776909722223,
|
|
0.7491493055555556,
|
|
0.7528739872685184,
|
|
0.7585908564814815,
|
|
0.760939670138889,
|
|
0.7562912326388889,
|
|
0.7590277777777779
|
|
],
|
|
"val_f1": [
|
|
0.6702928870292887,
|
|
0.7799422799422799,
|
|
0.7929701230228471,
|
|
0.607291185971389,
|
|
0.7992982456140351,
|
|
0.7361277445109781,
|
|
0.764638346727899,
|
|
0.6764833261152013,
|
|
0.8053352559480894,
|
|
0.748,
|
|
0.7467092142002393,
|
|
0.7301066447908121,
|
|
0.7833648393194707,
|
|
0.7655947307245253,
|
|
0.7667185069984448
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.7002083333333333,
|
|
"auc_roc": 0.7605444444444445,
|
|
"f1": 0.7826612294215375,
|
|
"confusion_matrix": [
|
|
[
|
|
770,
|
|
430
|
|
],
|
|
[
|
|
1009,
|
|
2591
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.7083333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
350,
|
|
850
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.7083333333333334,
|
|
"pairwise_auc": 0.7455847222222223,
|
|
"pairwise_f1": 0.6854838709677419
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.5391666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
553,
|
|
647
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.5391666666666667,
|
|
"pairwise_auc": 0.6429701388888889,
|
|
"pairwise_f1": 0.5682916117698726
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9116666666666666,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
106,
|
|
1094
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.9116666666666666,
|
|
"pairwise_auc": 0.8930784722222223,
|
|
"pairwise_f1": 0.8032305433186491
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.6416666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
770,
|
|
430
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"false_alarm_rate": 0.3583333333333333
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.675,
|
|
"auc_roc": 0.7455847222222223,
|
|
"f1": 0.6854838709677419,
|
|
"confusion_matrix": [
|
|
[
|
|
770,
|
|
430
|
|
],
|
|
[
|
|
350,
|
|
850
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.5904166666666667,
|
|
"auc_roc": 0.6429701388888889,
|
|
"f1": 0.5682916117698726,
|
|
"confusion_matrix": [
|
|
[
|
|
770,
|
|
430
|
|
],
|
|
[
|
|
553,
|
|
647
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.7766666666666666,
|
|
"auc_roc": 0.8930784722222223,
|
|
"f1": 0.8032305433186491,
|
|
"confusion_matrix": [
|
|
[
|
|
770,
|
|
430
|
|
],
|
|
[
|
|
106,
|
|
1094
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 2,
|
|
"train_size": 17280,
|
|
"val_size": 1920,
|
|
"test_size": 4800,
|
|
"history": {
|
|
"train_loss": [
|
|
0.3364739426308208,
|
|
0.3257173133117181,
|
|
0.3191978419268573,
|
|
0.31475865840911865,
|
|
0.3104811983803908,
|
|
0.3067943162664219,
|
|
0.3046634111967352,
|
|
0.3019978031792023,
|
|
0.2989502435205159,
|
|
0.2969158275535813,
|
|
0.29395404678803905,
|
|
0.2935019516006664,
|
|
0.29131871784726776,
|
|
0.29010633034286676,
|
|
0.2895898224854911
|
|
],
|
|
"train_acc": [
|
|
0.6266782407407407,
|
|
0.6070023148148148,
|
|
0.6330439814814814,
|
|
0.6465856481481481,
|
|
0.6571759259259259,
|
|
0.6667824074074075,
|
|
0.6752314814814815,
|
|
0.6715277777777777,
|
|
0.6829282407407408,
|
|
0.6857060185185185,
|
|
0.690162037037037,
|
|
0.6949652777777777,
|
|
0.6958333333333333,
|
|
0.7016203703703704,
|
|
0.7013310185185185
|
|
],
|
|
"train_auc": [
|
|
0.6196772923096707,
|
|
0.66664474201246,
|
|
0.6890921764260403,
|
|
0.7021147512288524,
|
|
0.7146474908550526,
|
|
0.7254038333762003,
|
|
0.7303141789551898,
|
|
0.734999258759145,
|
|
0.7441112075617284,
|
|
0.7483698238168726,
|
|
0.7565775480824188,
|
|
0.7568492262517147,
|
|
0.7620775195044581,
|
|
0.7653932327389118,
|
|
0.7671726394604481
|
|
],
|
|
"train_f1": [
|
|
0.7297104789039259,
|
|
0.6943331682945493,
|
|
0.7202294286344584,
|
|
0.7329105619943145,
|
|
0.743260813036318,
|
|
0.7510807539339444,
|
|
0.7601299367413233,
|
|
0.7548587717025136,
|
|
0.7658847156347477,
|
|
0.7673591775540801,
|
|
0.7708244157178323,
|
|
0.7761117954381345,
|
|
0.776511608129943,
|
|
0.7808941016488187,
|
|
0.7811559173981257
|
|
],
|
|
"val_loss": [
|
|
0.3374361862738927,
|
|
0.32487107887864114,
|
|
0.3151769695182641,
|
|
0.34831909922262033,
|
|
0.3085048049688339,
|
|
0.3033625200390816,
|
|
0.30210716277360916,
|
|
0.2975748070826133,
|
|
0.29701284045974413,
|
|
0.30581669323146343,
|
|
0.2960714076956113,
|
|
0.29469408467411995,
|
|
0.2966602848221858,
|
|
0.2917791905502478,
|
|
0.2914164108534654
|
|
],
|
|
"val_acc": [
|
|
0.6557291666666667,
|
|
0.5223958333333333,
|
|
0.64375,
|
|
0.7270833333333333,
|
|
0.696875,
|
|
0.6286458333333333,
|
|
0.6729166666666667,
|
|
0.6817708333333333,
|
|
0.6953125,
|
|
0.753125,
|
|
0.6390625,
|
|
0.7125,
|
|
0.7265625,
|
|
0.6942708333333333,
|
|
0.6895833333333333
|
|
],
|
|
"val_auc": [
|
|
0.6229116030092593,
|
|
0.6753002025462962,
|
|
0.7035865162037037,
|
|
0.6813382523148148,
|
|
0.7272186053240741,
|
|
0.7343366608796296,
|
|
0.7358557581018518,
|
|
0.7465791377314814,
|
|
0.748572048611111,
|
|
0.7571180555555556,
|
|
0.7543959780092593,
|
|
0.7582233796296296,
|
|
0.7582581018518519,
|
|
0.7625180844907407,
|
|
0.7636074942129629
|
|
],
|
|
"val_f1": [
|
|
0.7595489268825028,
|
|
0.5692813527477689,
|
|
0.7279236276849642,
|
|
0.8276315789473684,
|
|
0.7842846553002224,
|
|
0.7064635652531907,
|
|
0.7548790007806401,
|
|
0.7619789637709389,
|
|
0.7778199772123053,
|
|
0.8373369938229238,
|
|
0.7087011349306431,
|
|
0.7924812030075188,
|
|
0.8091603053435115,
|
|
0.774490971955436,
|
|
0.7679127725856698
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.6891666666666667,
|
|
"auc_roc": 0.7577002314814816,
|
|
"f1": 0.7690402476780186,
|
|
"confusion_matrix": [
|
|
[
|
|
824,
|
|
376
|
|
],
|
|
[
|
|
1116,
|
|
2484
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.6808333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
383,
|
|
817
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.6808333333333333,
|
|
"pairwise_auc": 0.7459881944444444,
|
|
"pairwise_f1": 0.6828249059757626
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.47583333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
629,
|
|
571
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.47583333333333333,
|
|
"pairwise_auc": 0.6303194444444444,
|
|
"pairwise_f1": 0.5319049836981835
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9133333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
104,
|
|
1096
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.9133333333333333,
|
|
"pairwise_auc": 0.8967930555555557,
|
|
"pairwise_f1": 0.8203592814371258
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.6866666666666666,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
824,
|
|
376
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"false_alarm_rate": 0.31333333333333335
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.68375,
|
|
"auc_roc": 0.7459881944444444,
|
|
"f1": 0.6828249059757626,
|
|
"confusion_matrix": [
|
|
[
|
|
824,
|
|
376
|
|
],
|
|
[
|
|
383,
|
|
817
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.58125,
|
|
"auc_roc": 0.6303194444444444,
|
|
"f1": 0.5319049836981835,
|
|
"confusion_matrix": [
|
|
[
|
|
824,
|
|
376
|
|
],
|
|
[
|
|
629,
|
|
571
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.8,
|
|
"auc_roc": 0.8967930555555557,
|
|
"f1": 0.8203592814371258,
|
|
"confusion_matrix": [
|
|
[
|
|
824,
|
|
376
|
|
],
|
|
[
|
|
104,
|
|
1096
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 3,
|
|
"train_size": 17280,
|
|
"val_size": 1920,
|
|
"test_size": 4800,
|
|
"history": {
|
|
"train_loss": [
|
|
0.3353836394294544,
|
|
0.32259115118671344,
|
|
0.3174777179128594,
|
|
0.31266347663822,
|
|
0.3088702575476081,
|
|
0.30478058032415534,
|
|
0.30158055444006565,
|
|
0.2999485428686495,
|
|
0.2953231288603059,
|
|
0.2923485529091623,
|
|
0.290638677113586,
|
|
0.28876484593859425,
|
|
0.287046128704592,
|
|
0.28589169733502245,
|
|
0.28556128365022165
|
|
],
|
|
"train_acc": [
|
|
0.6427662037037037,
|
|
0.6274884259259259,
|
|
0.6494791666666667,
|
|
0.6559606481481481,
|
|
0.6636574074074074,
|
|
0.6642361111111111,
|
|
0.6725694444444444,
|
|
0.6872685185185186,
|
|
0.6883101851851852,
|
|
0.6949074074074074,
|
|
0.6920138888888889,
|
|
0.6994791666666667,
|
|
0.7,
|
|
0.7056134259259259,
|
|
0.7027777777777777
|
|
],
|
|
"train_auc": [
|
|
0.6252745984796524,
|
|
0.6772062542866941,
|
|
0.6943444305126886,
|
|
0.7079929162379973,
|
|
0.7176040594993143,
|
|
0.7267386741969594,
|
|
0.7361496645661866,
|
|
0.7418370002429127,
|
|
0.7525480556270004,
|
|
0.7595829939700502,
|
|
0.7619877489854824,
|
|
0.7670766621656379,
|
|
0.7709038405206905,
|
|
0.7749076842564014,
|
|
0.774598167081047
|
|
],
|
|
"train_f1": [
|
|
0.7459775317888153,
|
|
0.7162191949918442,
|
|
0.7373715475003252,
|
|
0.7421607320987119,
|
|
0.748789764868603,
|
|
0.7488529131676911,
|
|
0.7551709216789269,
|
|
0.7706865823644233,
|
|
0.769592744695414,
|
|
0.7746815967176682,
|
|
0.7717643022557681,
|
|
0.7782190903267137,
|
|
0.7780251776997517,
|
|
0.7833013844515442,
|
|
0.7799674406648959
|
|
],
|
|
"val_loss": [
|
|
0.33067879155278207,
|
|
0.31833433161179225,
|
|
0.31625557964046797,
|
|
0.32984760105609895,
|
|
0.3070489232738813,
|
|
0.30327728651463987,
|
|
0.30142497407893337,
|
|
0.29803119239707787,
|
|
0.2943152385453383,
|
|
0.29500476717948915,
|
|
0.29081568531692026,
|
|
0.2908581268042326,
|
|
0.2895766315360864,
|
|
0.28882027106980485,
|
|
0.2892854228615761
|
|
],
|
|
"val_acc": [
|
|
0.6479166666666667,
|
|
0.5953125,
|
|
0.5901041666666667,
|
|
0.7208333333333333,
|
|
0.659375,
|
|
0.6734375,
|
|
0.6338541666666667,
|
|
0.6963541666666667,
|
|
0.7010416666666667,
|
|
0.7197916666666667,
|
|
0.7005208333333334,
|
|
0.7135416666666666,
|
|
0.703125,
|
|
0.7010416666666667,
|
|
0.715625
|
|
],
|
|
"val_auc": [
|
|
0.6509143518518519,
|
|
0.6982942708333333,
|
|
0.6995392071759259,
|
|
0.7052047164351851,
|
|
0.7219053819444445,
|
|
0.7319661458333334,
|
|
0.7466218171296297,
|
|
0.7510192418981482,
|
|
0.760144675925926,
|
|
0.7611422164351851,
|
|
0.7662398726851852,
|
|
0.7672996238425926,
|
|
0.7694596354166667,
|
|
0.7714149305555555,
|
|
0.7731358506944445
|
|
],
|
|
"val_f1": [
|
|
0.7534646243617797,
|
|
0.6675224646983312,
|
|
0.6594547814798788,
|
|
0.82145236508994,
|
|
0.7449297971918877,
|
|
0.7593090211132437,
|
|
0.7049937054133445,
|
|
0.777055449330784,
|
|
0.7797390636991558,
|
|
0.8010355029585798,
|
|
0.7784200385356455,
|
|
0.7929216867469879,
|
|
0.7799227799227799,
|
|
0.7761310452418096,
|
|
0.7938066465256798
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.7033333333333334,
|
|
"auc_roc": 0.7640530092592592,
|
|
"f1": 0.7838494231936854,
|
|
"confusion_matrix": [
|
|
[
|
|
794,
|
|
406
|
|
],
|
|
[
|
|
1018,
|
|
2582
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.7133333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
344,
|
|
856
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.7133333333333334,
|
|
"pairwise_auc": 0.7618437499999999,
|
|
"pairwise_f1": 0.6953696181965882
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.5425,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
549,
|
|
651
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.5425,
|
|
"pairwise_auc": 0.6448930555555555,
|
|
"pairwise_f1": 0.5768719539211342
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.8958333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
125,
|
|
1075
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.8958333333333334,
|
|
"pairwise_auc": 0.8854222222222223,
|
|
"pairwise_f1": 0.8019395747855278
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.6616666666666666,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
794,
|
|
406
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"false_alarm_rate": 0.3383333333333334
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.6875,
|
|
"auc_roc": 0.7618437499999999,
|
|
"f1": 0.6953696181965882,
|
|
"confusion_matrix": [
|
|
[
|
|
794,
|
|
406
|
|
],
|
|
[
|
|
344,
|
|
856
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.6020833333333333,
|
|
"auc_roc": 0.6448930555555555,
|
|
"f1": 0.5768719539211342,
|
|
"confusion_matrix": [
|
|
[
|
|
794,
|
|
406
|
|
],
|
|
[
|
|
549,
|
|
651
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.77875,
|
|
"auc_roc": 0.8854222222222223,
|
|
"f1": 0.8019395747855278,
|
|
"confusion_matrix": [
|
|
[
|
|
794,
|
|
406
|
|
],
|
|
[
|
|
125,
|
|
1075
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 4,
|
|
"train_size": 17280,
|
|
"val_size": 1920,
|
|
"test_size": 4800,
|
|
"history": {
|
|
"train_loss": [
|
|
0.3342884210248788,
|
|
0.3216918839900582,
|
|
0.3155434602388629,
|
|
0.3121900218780394,
|
|
0.3077619354206103,
|
|
0.30377424199272085,
|
|
0.3018366852844203,
|
|
0.29796070293695837,
|
|
0.29583850431221503,
|
|
0.2936908225218455,
|
|
0.29134527218562584,
|
|
0.28989972400444525,
|
|
0.28901703153495434,
|
|
0.2873561058607366,
|
|
0.2871142524536009
|
|
],
|
|
"train_acc": [
|
|
0.547337962962963,
|
|
0.6428819444444445,
|
|
0.6480902777777777,
|
|
0.6585648148148148,
|
|
0.672974537037037,
|
|
0.6743055555555556,
|
|
0.6793402777777777,
|
|
0.6843171296296297,
|
|
0.692650462962963,
|
|
0.6927662037037037,
|
|
0.6998842592592592,
|
|
0.7006365740740741,
|
|
0.703587962962963,
|
|
0.7069444444444445,
|
|
0.7052083333333333
|
|
],
|
|
"train_auc": [
|
|
0.6321781675097164,
|
|
0.6835533121856424,
|
|
0.701161970950503,
|
|
0.7100530924925698,
|
|
0.7238381808699131,
|
|
0.7339107242369685,
|
|
0.737921265932213,
|
|
0.7465948020261775,
|
|
0.7526217421124828,
|
|
0.7560302712048468,
|
|
0.7635840870770462,
|
|
0.7668943526377457,
|
|
0.7684636934870828,
|
|
0.7723945473251029,
|
|
0.7729369659493599
|
|
],
|
|
"train_f1": [
|
|
0.6253472554842417,
|
|
0.732173082765505,
|
|
0.7353440396918658,
|
|
0.7454043324415293,
|
|
0.7583493692537951,
|
|
0.757893831196765,
|
|
0.7631140182121329,
|
|
0.7662109458706553,
|
|
0.7738749095244177,
|
|
0.7739793094640044,
|
|
0.7791876011240739,
|
|
0.779937890841026,
|
|
0.7829293100525513,
|
|
0.784968152866242,
|
|
0.7831786839192986
|
|
],
|
|
"val_loss": [
|
|
0.3260150834918022,
|
|
0.3201495518287023,
|
|
0.31530093053976693,
|
|
0.3082558525105317,
|
|
0.3041532670458158,
|
|
0.30400137255589166,
|
|
0.3035708008954922,
|
|
0.29604487580557665,
|
|
0.3090707903107007,
|
|
0.2906061477959156,
|
|
0.29748790661493935,
|
|
0.28959565858046216,
|
|
0.2878942226370176,
|
|
0.28793462216854093,
|
|
0.2872403415540854
|
|
],
|
|
"val_acc": [
|
|
0.5880208333333333,
|
|
0.6197916666666666,
|
|
0.5765625,
|
|
0.709375,
|
|
0.6760416666666667,
|
|
0.6859375,
|
|
0.7046875,
|
|
0.7036458333333333,
|
|
0.7541666666666667,
|
|
0.6677083333333333,
|
|
0.7317708333333334,
|
|
0.6739583333333333,
|
|
0.7072916666666667,
|
|
0.7098958333333333,
|
|
0.6869791666666667
|
|
],
|
|
"val_auc": [
|
|
0.6657523148148148,
|
|
0.681693431712963,
|
|
0.7005504918981481,
|
|
0.7232523148148147,
|
|
0.7271144386574074,
|
|
0.7287897858796297,
|
|
0.7337261284722223,
|
|
0.7499645543981481,
|
|
0.7491666666666666,
|
|
0.7583666087962964,
|
|
0.7573140914351852,
|
|
0.7632060185185184,
|
|
0.7679701967592593,
|
|
0.7663917824074075,
|
|
0.7666550925925926
|
|
],
|
|
"val_f1": [
|
|
0.6730053741215378,
|
|
0.7086991221069433,
|
|
0.647594278283485,
|
|
0.7966472303206997,
|
|
0.7633181126331812,
|
|
0.7727101394647569,
|
|
0.7964093357271095,
|
|
0.787448636533433,
|
|
0.8416107382550335,
|
|
0.7460191082802548,
|
|
0.8175699610343606,
|
|
0.7521773555027712,
|
|
0.7874432677760969,
|
|
0.7900490011307953,
|
|
0.7658745617452279
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.715,
|
|
"auc_roc": 0.778203935185185,
|
|
"f1": 0.7936028968014484,
|
|
"confusion_matrix": [
|
|
[
|
|
802,
|
|
398
|
|
],
|
|
[
|
|
970,
|
|
2630
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.7008333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
359,
|
|
841
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.7008333333333333,
|
|
"pairwise_auc": 0.7559784722222221,
|
|
"pairwise_f1": 0.6896268962689627
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.5933333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
488,
|
|
712
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.5933333333333334,
|
|
"pairwise_auc": 0.6878465277777777,
|
|
"pairwise_f1": 0.6164502164502165
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.8975,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
123,
|
|
1077
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.8975,
|
|
"pairwise_auc": 0.8907868055555557,
|
|
"pairwise_f1": 0.8052336448598131
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.6683333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
802,
|
|
398
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"false_alarm_rate": 0.33166666666666667
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.6845833333333333,
|
|
"auc_roc": 0.7559784722222221,
|
|
"f1": 0.6896268962689627,
|
|
"confusion_matrix": [
|
|
[
|
|
802,
|
|
398
|
|
],
|
|
[
|
|
359,
|
|
841
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.6308333333333334,
|
|
"auc_roc": 0.6878465277777777,
|
|
"f1": 0.6164502164502165,
|
|
"confusion_matrix": [
|
|
[
|
|
802,
|
|
398
|
|
],
|
|
[
|
|
488,
|
|
712
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.7829166666666667,
|
|
"auc_roc": 0.8907868055555557,
|
|
"f1": 0.8052336448598131,
|
|
"confusion_matrix": [
|
|
[
|
|
802,
|
|
398
|
|
],
|
|
[
|
|
123,
|
|
1077
|
|
]
|
|
]
|
|
}
|
|
}
|
|
}
|
|
],
|
|
"aggregated_metrics": {
|
|
"accuracy": {
|
|
"mean": 0.7051666666666666,
|
|
"std": 0.011710668509715578,
|
|
"ci_95": 0.010264853533078553,
|
|
"values": [
|
|
0.718125,
|
|
0.7002083333333333,
|
|
0.6891666666666667,
|
|
0.7033333333333334,
|
|
0.715
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.7660717592592594,
|
|
"std": 0.008158249046158228,
|
|
"ci_95": 0.007151020582276385,
|
|
"values": [
|
|
0.7698571759259261,
|
|
0.7605444444444445,
|
|
0.7577002314814816,
|
|
0.7640530092592592,
|
|
0.778203935185185
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.7852427888174681,
|
|
"std": 0.010962089397055749,
|
|
"ci_95": 0.009608695010360564,
|
|
"values": [
|
|
0.7970601469926504,
|
|
0.7826612294215375,
|
|
0.7690402476780186,
|
|
0.7838494231936854,
|
|
0.7936028968014484
|
|
]
|
|
}
|
|
},
|
|
"aggregated_per_source": {
|
|
"inpainting": {
|
|
"accuracy": {
|
|
"mean": 0.7113333333333334,
|
|
"std": 0.02654006405418043,
|
|
"ci_95": 0.02326339184211967,
|
|
"values": [
|
|
0.7533333333333333,
|
|
0.7083333333333334,
|
|
0.6808333333333333,
|
|
0.7133333333333334,
|
|
0.7008333333333333
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 1200.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200
|
|
]
|
|
},
|
|
"detection_rate": {
|
|
"mean": 0.7113333333333334,
|
|
"std": 0.02654006405418043,
|
|
"ci_95": 0.02326339184211967,
|
|
"values": [
|
|
0.7533333333333333,
|
|
0.7083333333333334,
|
|
0.6808333333333333,
|
|
0.7133333333333334,
|
|
0.7008333333333333
|
|
]
|
|
},
|
|
"pairwise_auc": {
|
|
"mean": 0.7564202083333333,
|
|
"std": 0.011413461915450845,
|
|
"ci_95": 0.010004340467008795,
|
|
"values": [
|
|
0.7727059027777777,
|
|
0.7455847222222223,
|
|
0.7459881944444444,
|
|
0.7618437499999999,
|
|
0.7559784722222221
|
|
]
|
|
},
|
|
"pairwise_f1": {
|
|
"mean": 0.6944955849325668,
|
|
"std": 0.0145845852974448,
|
|
"ci_95": 0.012783952666302379,
|
|
"values": [
|
|
0.7191726332537789,
|
|
0.6854838709677419,
|
|
0.6828249059757626,
|
|
0.6953696181965882,
|
|
0.6896268962689627
|
|
]
|
|
}
|
|
},
|
|
"insight": {
|
|
"accuracy": {
|
|
"mean": 0.5406666666666667,
|
|
"std": 0.04219827537286857,
|
|
"ci_95": 0.03698841920865985,
|
|
"values": [
|
|
0.5525,
|
|
0.5391666666666667,
|
|
0.47583333333333333,
|
|
0.5425,
|
|
0.5933333333333334
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 1200.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200
|
|
]
|
|
},
|
|
"detection_rate": {
|
|
"mean": 0.5406666666666667,
|
|
"std": 0.04219827537286857,
|
|
"ci_95": 0.03698841920865985,
|
|
"values": [
|
|
0.5525,
|
|
0.5391666666666667,
|
|
0.47583333333333333,
|
|
0.5425,
|
|
0.5933333333333334
|
|
]
|
|
},
|
|
"pairwise_auc": {
|
|
"mean": 0.6505604861111112,
|
|
"std": 0.021817566678805893,
|
|
"ci_95": 0.019123940381398162,
|
|
"values": [
|
|
0.646773263888889,
|
|
0.6429701388888889,
|
|
0.6303194444444444,
|
|
0.6448930555555555,
|
|
0.6878465277777777
|
|
]
|
|
},
|
|
"pairwise_f1": {
|
|
"mean": 0.5753777522879868,
|
|
"std": 0.03038564998626015,
|
|
"ci_95": 0.02663419653263895,
|
|
"values": [
|
|
0.5833699956005279,
|
|
0.5682916117698726,
|
|
0.5319049836981835,
|
|
0.5768719539211342,
|
|
0.6164502164502165
|
|
]
|
|
}
|
|
},
|
|
"text2img": {
|
|
"accuracy": {
|
|
"mean": 0.9053333333333334,
|
|
"std": 0.008135143241243842,
|
|
"ci_95": 0.007130767451294726,
|
|
"values": [
|
|
0.9083333333333333,
|
|
0.9116666666666666,
|
|
0.9133333333333333,
|
|
0.8958333333333334,
|
|
0.8975
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 1200.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200
|
|
]
|
|
},
|
|
"detection_rate": {
|
|
"mean": 0.9053333333333334,
|
|
"std": 0.008135143241243842,
|
|
"ci_95": 0.007130767451294726,
|
|
"values": [
|
|
0.9083333333333333,
|
|
0.9116666666666666,
|
|
0.9133333333333333,
|
|
0.8958333333333334,
|
|
0.8975
|
|
]
|
|
},
|
|
"pairwise_auc": {
|
|
"mean": 0.8912345833333335,
|
|
"std": 0.004170888931299613,
|
|
"ci_95": 0.0036559453413790547,
|
|
"values": [
|
|
0.8900923611111111,
|
|
0.8930784722222223,
|
|
0.8967930555555557,
|
|
0.8854222222222223,
|
|
0.8907868055555557
|
|
]
|
|
},
|
|
"pairwise_f1": {
|
|
"mean": 0.8076340903617046,
|
|
"std": 0.007408824904852019,
|
|
"ci_95": 0.00649412135929187,
|
|
"values": [
|
|
0.8074074074074075,
|
|
0.8032305433186491,
|
|
0.8203592814371258,
|
|
0.8019395747855278,
|
|
0.8052336448598131
|
|
]
|
|
}
|
|
},
|
|
"wiki": {
|
|
"accuracy": {
|
|
"mean": 0.6633333333333333,
|
|
"std": 0.016329931618554498,
|
|
"ci_95": 0.01431381616946832,
|
|
"values": [
|
|
0.6583333333333333,
|
|
0.6416666666666667,
|
|
0.6866666666666666,
|
|
0.6616666666666666,
|
|
0.6683333333333333
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 1200.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200
|
|
]
|
|
},
|
|
"false_alarm_rate": {
|
|
"mean": 0.3366666666666666,
|
|
"std": 0.016329931618554498,
|
|
"ci_95": 0.01431381616946832,
|
|
"values": [
|
|
0.3416666666666667,
|
|
0.3583333333333333,
|
|
0.31333333333333335,
|
|
0.3383333333333334,
|
|
0.33166666666666667
|
|
]
|
|
}
|
|
}
|
|
},
|
|
"aggregated_pairwise": {
|
|
"wiki_vs_inpainting": {
|
|
"accuracy": {
|
|
"mean": 0.6873333333333334,
|
|
"std": 0.01134451041987561,
|
|
"ci_95": 0.009943901816356245,
|
|
"values": [
|
|
0.7058333333333333,
|
|
0.675,
|
|
0.68375,
|
|
0.6875,
|
|
0.6845833333333333
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.7564202083333333,
|
|
"std": 0.011413461915450845,
|
|
"ci_95": 0.010004340467008795,
|
|
"values": [
|
|
0.7727059027777777,
|
|
0.7455847222222223,
|
|
0.7459881944444444,
|
|
0.7618437499999999,
|
|
0.7559784722222221
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.6944955849325668,
|
|
"std": 0.0145845852974448,
|
|
"ci_95": 0.012783952666302379,
|
|
"values": [
|
|
0.7191726332537789,
|
|
0.6854838709677419,
|
|
0.6828249059757626,
|
|
0.6953696181965882,
|
|
0.6896268962689627
|
|
]
|
|
}
|
|
},
|
|
"wiki_vs_insight": {
|
|
"accuracy": {
|
|
"mean": 0.602,
|
|
"std": 0.018760182420340273,
|
|
"ci_95": 0.016444024919573533,
|
|
"values": [
|
|
0.6054166666666667,
|
|
0.5904166666666667,
|
|
0.58125,
|
|
0.6020833333333333,
|
|
0.6308333333333334
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.6505604861111112,
|
|
"std": 0.021817566678805893,
|
|
"ci_95": 0.019123940381398162,
|
|
"values": [
|
|
0.646773263888889,
|
|
0.6429701388888889,
|
|
0.6303194444444444,
|
|
0.6448930555555555,
|
|
0.6878465277777777
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.5753777522879868,
|
|
"std": 0.03038564998626015,
|
|
"ci_95": 0.02663419653263895,
|
|
"values": [
|
|
0.5833699956005279,
|
|
0.5682916117698726,
|
|
0.5319049836981835,
|
|
0.5768719539211342,
|
|
0.6164502164502165
|
|
]
|
|
}
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"accuracy": {
|
|
"mean": 0.7843333333333333,
|
|
"std": 0.009197863580443277,
|
|
"ci_95": 0.008062282899747182,
|
|
"values": [
|
|
0.7833333333333333,
|
|
0.7766666666666666,
|
|
0.8,
|
|
0.77875,
|
|
0.7829166666666667
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.8912345833333335,
|
|
"std": 0.004170888931299613,
|
|
"ci_95": 0.0036559453413790547,
|
|
"values": [
|
|
0.8900923611111111,
|
|
0.8930784722222223,
|
|
0.8967930555555557,
|
|
0.8854222222222223,
|
|
0.8907868055555557
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.8076340903617046,
|
|
"std": 0.007408824904852019,
|
|
"ci_95": 0.00649412135929187,
|
|
"values": [
|
|
0.8074074074074075,
|
|
0.8032305433186491,
|
|
0.8203592814371258,
|
|
0.8019395747855278,
|
|
0.8052336448598131
|
|
]
|
|
}
|
|
}
|
|
},
|
|
"config": {
|
|
"seed": 42,
|
|
"cv_folds": 5,
|
|
"batch_size": 32,
|
|
"num_workers": 4,
|
|
"early_stopping_patience": 5,
|
|
"lr": 0.0001,
|
|
"weight_decay": 0.0001,
|
|
"T_max": 15,
|
|
"data_dir": "data_cropped",
|
|
"run_name": "p2c_simplecnn_facecrop",
|
|
"backbone": "simple_cnn",
|
|
"cnn_preset": "medium",
|
|
"dropout": 0.0,
|
|
"epochs": 15,
|
|
"image_size": 224,
|
|
"subsample": 0.2,
|
|
"augment": false
|
|
}
|
|
} |