Johnny Fernandes
1901 lines
46 KiB
JSON
1901 lines
46 KiB
JSON
{
|
|
"run_name": "p2e_resnet18_facecrop_aug",
|
|
"n_folds": 5,
|
|
"fold_results": [
|
|
{
|
|
"fold": 0,
|
|
"train_size": 17280,
|
|
"val_size": 1920,
|
|
"test_size": 4800,
|
|
"history": {
|
|
"train_loss": [
|
|
0.2371339483945458,
|
|
0.17965929021162017,
|
|
0.15553104198641246,
|
|
0.13898775200187055,
|
|
0.1248128803205435,
|
|
0.10731902387062156,
|
|
0.09722404294060888,
|
|
0.08543110447159658,
|
|
0.07318314593371555,
|
|
0.06297332528305964,
|
|
0.05319999221591624,
|
|
0.0490316048954372,
|
|
0.04252813166736073,
|
|
0.03890426906312954,
|
|
0.0383156930814342
|
|
],
|
|
"train_acc": [
|
|
0.760011574074074,
|
|
0.8401041666666667,
|
|
0.8654513888888888,
|
|
0.8833333333333333,
|
|
0.9017361111111111,
|
|
0.913599537037037,
|
|
0.9214699074074074,
|
|
0.9371527777777777,
|
|
0.9464699074074074,
|
|
0.9534722222222223,
|
|
0.9603587962962963,
|
|
0.9658564814814815,
|
|
0.970949074074074,
|
|
0.9711805555555556,
|
|
0.9736111111111111
|
|
],
|
|
"train_auc": [
|
|
0.8536383405492685,
|
|
0.9208042641889573,
|
|
0.9413705007573159,
|
|
0.9538272765917925,
|
|
0.9635684227823502,
|
|
0.9724931144975995,
|
|
0.9774411026091678,
|
|
0.982780215835048,
|
|
0.9872993112711477,
|
|
0.9905945466106538,
|
|
0.993267478995199,
|
|
0.9941282382401692,
|
|
0.9957442951245999,
|
|
0.9963484600051441,
|
|
0.9964488847450845
|
|
],
|
|
"train_f1": [
|
|
0.8246437481500275,
|
|
0.8874954191945926,
|
|
0.9062764542266296,
|
|
0.9194373401534527,
|
|
0.932479720057261,
|
|
0.9409297725024728,
|
|
0.9463403060619242,
|
|
0.9573649497487438,
|
|
0.9638120574312429,
|
|
0.9685839324788996,
|
|
0.9733057947858618,
|
|
0.9770445879698078,
|
|
0.9805093958689237,
|
|
0.980637636080871,
|
|
0.9822981366459628
|
|
],
|
|
"val_loss": [
|
|
0.2203964632858212,
|
|
0.17454956515381734,
|
|
0.21384386121644638,
|
|
0.14011552351682136,
|
|
0.16310725559790928,
|
|
0.14783345006095866,
|
|
0.13699214116980632,
|
|
0.16235242078376663,
|
|
0.150105018048392,
|
|
0.15297084855070958,
|
|
0.15486972434834267,
|
|
0.15296626980028424,
|
|
0.15368005093381118,
|
|
0.1526549880237629,
|
|
0.15181722667378683
|
|
],
|
|
"val_acc": [
|
|
0.8609375,
|
|
0.8166666666666667,
|
|
0.8885416666666667,
|
|
0.8796875,
|
|
0.8427083333333333,
|
|
0.9109375,
|
|
0.9015625,
|
|
0.9140625,
|
|
0.8989583333333333,
|
|
0.9026041666666667,
|
|
0.8989583333333333,
|
|
0.9166666666666666,
|
|
0.9036458333333334,
|
|
0.9119791666666667,
|
|
0.9036458333333334
|
|
],
|
|
"val_auc": [
|
|
0.9226692708333334,
|
|
0.9380533854166667,
|
|
0.949118923611111,
|
|
0.9588577835648148,
|
|
0.9569683159722222,
|
|
0.9646079282407407,
|
|
0.9632609953703706,
|
|
0.963666087962963,
|
|
0.9659418402777779,
|
|
0.9669249131944445,
|
|
0.9672974537037038,
|
|
0.9701721643518517,
|
|
0.9702835648148148,
|
|
0.9693366608796296,
|
|
0.9704723668981481
|
|
],
|
|
"val_f1": [
|
|
0.9085929476206779,
|
|
0.8646153846153846,
|
|
0.9271613342409802,
|
|
0.9160915365056302,
|
|
0.8856926570779712,
|
|
0.9395118500176866,
|
|
0.93194094346417,
|
|
0.9426086956521739,
|
|
0.9305157593123209,
|
|
0.933522929257021,
|
|
0.9296081277213353,
|
|
0.9435825105782792,
|
|
0.9332852506310855,
|
|
0.9397933737085857,
|
|
0.9332852506310855
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9116666666666666,
|
|
"auc_roc": 0.9709605324074074,
|
|
"f1": 0.9392724147808651,
|
|
"confusion_matrix": [
|
|
[
|
|
1097,
|
|
103
|
|
],
|
|
[
|
|
321,
|
|
3279
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.9291666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
85,
|
|
1115
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.9291666666666667,
|
|
"pairwise_auc": 0.9761385416666668,
|
|
"pairwise_f1": 0.9222497932175352
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.8683333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
158,
|
|
1042
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.8683333333333333,
|
|
"pairwise_auc": 0.9591041666666666,
|
|
"pairwise_f1": 0.8886993603411514
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.935,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
78,
|
|
1122
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.935,
|
|
"pairwise_auc": 0.9776388888888888,
|
|
"pairwise_f1": 0.925360824742268
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.9141666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
1097,
|
|
103
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"false_alarm_rate": 0.08583333333333332
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.9216666666666666,
|
|
"auc_roc": 0.9761385416666668,
|
|
"f1": 0.9222497932175352,
|
|
"confusion_matrix": [
|
|
[
|
|
1097,
|
|
103
|
|
],
|
|
[
|
|
85,
|
|
1115
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.89125,
|
|
"auc_roc": 0.9591041666666666,
|
|
"f1": 0.8886993603411514,
|
|
"confusion_matrix": [
|
|
[
|
|
1097,
|
|
103
|
|
],
|
|
[
|
|
158,
|
|
1042
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.9245833333333333,
|
|
"auc_roc": 0.9776388888888888,
|
|
"f1": 0.925360824742268,
|
|
"confusion_matrix": [
|
|
[
|
|
1097,
|
|
103
|
|
],
|
|
[
|
|
78,
|
|
1122
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 1,
|
|
"train_size": 17280,
|
|
"val_size": 1920,
|
|
"test_size": 4800,
|
|
"history": {
|
|
"train_loss": [
|
|
0.2391183308429188,
|
|
0.17975796078918158,
|
|
0.1562604979370479,
|
|
0.13741093776016325,
|
|
0.1239349705270595,
|
|
0.11139587184276294,
|
|
0.09401690095180162,
|
|
0.08375884603571009,
|
|
0.07211474131585824,
|
|
0.06346744239951173,
|
|
0.05479857998563804,
|
|
0.047455945289780005,
|
|
0.04211521086248535,
|
|
0.03309281969085094,
|
|
0.0358316077704162
|
|
],
|
|
"train_acc": [
|
|
0.7630208333333334,
|
|
0.835300925925926,
|
|
0.866087962962963,
|
|
0.8814814814814815,
|
|
0.8994791666666667,
|
|
0.9103009259259259,
|
|
0.9276620370370371,
|
|
0.936863425925926,
|
|
0.9476851851851852,
|
|
0.9544560185185185,
|
|
0.960474537037037,
|
|
0.9675347222222223,
|
|
0.9707175925925926,
|
|
0.9768518518518519,
|
|
0.9752314814814815
|
|
],
|
|
"train_auc": [
|
|
0.852203378629401,
|
|
0.9198489476165981,
|
|
0.940851507130201,
|
|
0.9543257923239598,
|
|
0.9632597182927527,
|
|
0.9705720146747828,
|
|
0.9788218467792639,
|
|
0.9837907682470279,
|
|
0.9876344414437586,
|
|
0.9905915637860082,
|
|
0.992993014474737,
|
|
0.9944546610653864,
|
|
0.9956297778778006,
|
|
0.9972157207361683,
|
|
0.9967796389174668
|
|
],
|
|
"train_f1": [
|
|
0.8284673061617727,
|
|
0.8838746531744737,
|
|
0.9068587989051683,
|
|
0.9178302038196117,
|
|
0.9309974973185556,
|
|
0.938623584382672,
|
|
0.9508067689885872,
|
|
0.9572274277649273,
|
|
0.9646515992805192,
|
|
0.9693189349343105,
|
|
0.9734127447545642,
|
|
0.9781601588352085,
|
|
0.9803311824613232,
|
|
0.9844636059970481,
|
|
0.9834005584858827
|
|
],
|
|
"val_loss": [
|
|
0.19780549878875414,
|
|
0.19643723852932454,
|
|
0.14839341659098865,
|
|
0.16046621485923726,
|
|
0.16073516129205626,
|
|
0.15357613482822974,
|
|
0.14441466063726693,
|
|
0.16628367458470167,
|
|
0.152093356110466,
|
|
0.147853947225182,
|
|
0.15383020790371424,
|
|
0.1582224626695582,
|
|
0.15213602410318952,
|
|
0.15260190927268316,
|
|
0.15733170692498485
|
|
],
|
|
"val_acc": [
|
|
0.765625,
|
|
0.8666666666666667,
|
|
0.8536458333333333,
|
|
0.9052083333333333,
|
|
0.8328125,
|
|
0.8463541666666666,
|
|
0.8885416666666667,
|
|
0.9046875,
|
|
0.91875,
|
|
0.9036458333333334,
|
|
0.9151041666666667,
|
|
0.9083333333333333,
|
|
0.9135416666666667,
|
|
0.915625,
|
|
0.91875
|
|
],
|
|
"val_auc": [
|
|
0.9194936342592592,
|
|
0.9333340567129629,
|
|
0.9528884548611112,
|
|
0.9567274305555555,
|
|
0.9518489583333333,
|
|
0.9612811053240742,
|
|
0.9607298900462963,
|
|
0.9619111689814815,
|
|
0.9689366319444443,
|
|
0.9675282118055556,
|
|
0.9690921585648148,
|
|
0.968629195601852,
|
|
0.9695789930555556,
|
|
0.9700296585648147,
|
|
0.97015625
|
|
],
|
|
"val_f1": [
|
|
0.8195669607056937,
|
|
0.9096045197740112,
|
|
0.8950317519611506,
|
|
0.9367176634214186,
|
|
0.8776210446054137,
|
|
0.888130451270383,
|
|
0.9226319595083152,
|
|
0.9354041651959054,
|
|
0.9451862262825017,
|
|
0.9339521599428775,
|
|
0.9426258359732489,
|
|
0.937721160651097,
|
|
0.9410092395167022,
|
|
0.942756183745583,
|
|
0.9450704225352112
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9229166666666667,
|
|
"auc_roc": 0.9746640046296297,
|
|
"f1": 0.9477843635337285,
|
|
"confusion_matrix": [
|
|
[
|
|
1072,
|
|
128
|
|
],
|
|
[
|
|
242,
|
|
3358
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.9408333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
71,
|
|
1129
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.9408333333333333,
|
|
"pairwise_auc": 0.9778364583333332,
|
|
"pairwise_f1": 0.919006919006919
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.8808333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
143,
|
|
1057
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.8808333333333334,
|
|
"pairwise_auc": 0.9577305555555554,
|
|
"pairwise_f1": 0.8863731656184486
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9766666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
28,
|
|
1172
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.9766666666666667,
|
|
"pairwise_auc": 0.988425,
|
|
"pairwise_f1": 0.9376
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.8933333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
1072,
|
|
128
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"false_alarm_rate": 0.10666666666666669
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.9170833333333334,
|
|
"auc_roc": 0.9778364583333332,
|
|
"f1": 0.919006919006919,
|
|
"confusion_matrix": [
|
|
[
|
|
1072,
|
|
128
|
|
],
|
|
[
|
|
71,
|
|
1129
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.8870833333333333,
|
|
"auc_roc": 0.9577305555555554,
|
|
"f1": 0.8863731656184486,
|
|
"confusion_matrix": [
|
|
[
|
|
1072,
|
|
128
|
|
],
|
|
[
|
|
143,
|
|
1057
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.935,
|
|
"auc_roc": 0.988425,
|
|
"f1": 0.9376,
|
|
"confusion_matrix": [
|
|
[
|
|
1072,
|
|
128
|
|
],
|
|
[
|
|
28,
|
|
1172
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 2,
|
|
"train_size": 17280,
|
|
"val_size": 1920,
|
|
"test_size": 4800,
|
|
"history": {
|
|
"train_loss": [
|
|
0.241080354043731,
|
|
0.18757241626304608,
|
|
0.16247374398840797,
|
|
0.14176422256838392,
|
|
0.12742253698891512,
|
|
0.11497999549222489,
|
|
0.10160268458917185,
|
|
0.08682891820143494,
|
|
0.07648260152070886,
|
|
0.06777689960414406,
|
|
0.05718743406727703,
|
|
0.05286531300258098,
|
|
0.0479770600606032,
|
|
0.04381440916762653,
|
|
0.038372389554408276
|
|
],
|
|
"train_acc": [
|
|
0.7534722222222222,
|
|
0.8302083333333333,
|
|
0.860474537037037,
|
|
0.8782407407407408,
|
|
0.8947337962962963,
|
|
0.9088541666666666,
|
|
0.9184606481481481,
|
|
0.9329282407407408,
|
|
0.9407407407407408,
|
|
0.9491898148148148,
|
|
0.9596064814814815,
|
|
0.9638888888888889,
|
|
0.965625,
|
|
0.9722800925925926,
|
|
0.9731481481481481
|
|
],
|
|
"train_auc": [
|
|
0.8482708279749658,
|
|
0.9132211737682899,
|
|
0.9359448588248742,
|
|
0.9514543681412894,
|
|
0.9614638435213763,
|
|
0.9690645361796982,
|
|
0.9755183506229994,
|
|
0.9820020468964334,
|
|
0.9861288026548926,
|
|
0.9890546499914266,
|
|
0.9922430573416781,
|
|
0.9933878815157751,
|
|
0.9945645433241883,
|
|
0.9954342063900321,
|
|
0.9963013778149292
|
|
],
|
|
"train_f1": [
|
|
0.8193843805647418,
|
|
0.8801568499305612,
|
|
0.9025740493797227,
|
|
0.9156510583707504,
|
|
0.927503885855486,
|
|
0.9375470875133828,
|
|
0.9442488030704704,
|
|
0.9544364508393285,
|
|
0.9598462865657595,
|
|
0.9656655717190678,
|
|
0.9727981293842557,
|
|
0.9757236227824463,
|
|
0.9769141080450836,
|
|
0.9814161008729388,
|
|
0.9819903741655023
|
|
],
|
|
"val_loss": [
|
|
0.18238736015434068,
|
|
0.15811058304583034,
|
|
0.1319792718393728,
|
|
0.22681371789706947,
|
|
0.13507361768667275,
|
|
0.12749196560277293,
|
|
0.1358266538474709,
|
|
0.13207181595110645,
|
|
0.13650758892763407,
|
|
0.12482405715078736,
|
|
0.1842558211152209,
|
|
0.13220274263876491,
|
|
0.13752564690075814,
|
|
0.13722982438048348,
|
|
0.137083099995895
|
|
],
|
|
"val_acc": [
|
|
0.8119791666666667,
|
|
0.8895833333333333,
|
|
0.8916666666666667,
|
|
0.8885416666666667,
|
|
0.8875,
|
|
0.8869791666666667,
|
|
0.8864583333333333,
|
|
0.8989583333333333,
|
|
0.9151041666666667,
|
|
0.91875,
|
|
0.9192708333333334,
|
|
0.9213541666666667,
|
|
0.9109375,
|
|
0.9197916666666667,
|
|
0.9203125
|
|
],
|
|
"val_auc": [
|
|
0.924947193287037,
|
|
0.9467513020833334,
|
|
0.9583492476851853,
|
|
0.9346137152777776,
|
|
0.9612058738425926,
|
|
0.967642505787037,
|
|
0.9648336226851852,
|
|
0.968669704861111,
|
|
0.9696961805555556,
|
|
0.9740458622685184,
|
|
0.9646144386574074,
|
|
0.9754036458333333,
|
|
0.9747142650462963,
|
|
0.9735807291666667,
|
|
0.973878761574074
|
|
],
|
|
"val_f1": [
|
|
0.8609934539853678,
|
|
0.925035360678925,
|
|
0.9250180245133381,
|
|
0.9267624914442163,
|
|
0.9211678832116789,
|
|
0.9206581352833638,
|
|
0.9202049780380673,
|
|
0.9303661162957645,
|
|
0.9421780773323873,
|
|
0.9444444444444444,
|
|
0.9460869565217391,
|
|
0.9461291473421334,
|
|
0.9382002168413445,
|
|
0.9451566951566952,
|
|
0.9455709711846318
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9154166666666667,
|
|
"auc_roc": 0.9729494212962962,
|
|
"f1": 0.9420827389443652,
|
|
"confusion_matrix": [
|
|
[
|
|
1092,
|
|
108
|
|
],
|
|
[
|
|
298,
|
|
3302
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.9358333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
77,
|
|
1123
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.9358333333333333,
|
|
"pairwise_auc": 0.9761270833333333,
|
|
"pairwise_f1": 0.9238996297819827
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.8591666666666666,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
169,
|
|
1031
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.8591666666666666,
|
|
"pairwise_auc": 0.9557927083333334,
|
|
"pairwise_f1": 0.8815733219324497
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9566666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
52,
|
|
1148
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.9566666666666667,
|
|
"pairwise_auc": 0.9869284722222222,
|
|
"pairwise_f1": 0.9348534201954397
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.91,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
1092,
|
|
108
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"false_alarm_rate": 0.08999999999999997
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.9229166666666667,
|
|
"auc_roc": 0.9761270833333333,
|
|
"f1": 0.9238996297819827,
|
|
"confusion_matrix": [
|
|
[
|
|
1092,
|
|
108
|
|
],
|
|
[
|
|
77,
|
|
1123
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.8845833333333334,
|
|
"auc_roc": 0.9557927083333334,
|
|
"f1": 0.8815733219324497,
|
|
"confusion_matrix": [
|
|
[
|
|
1092,
|
|
108
|
|
],
|
|
[
|
|
169,
|
|
1031
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.9333333333333333,
|
|
"auc_roc": 0.9869284722222222,
|
|
"f1": 0.9348534201954397,
|
|
"confusion_matrix": [
|
|
[
|
|
1092,
|
|
108
|
|
],
|
|
[
|
|
52,
|
|
1148
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 3,
|
|
"train_size": 17280,
|
|
"val_size": 1920,
|
|
"test_size": 4800,
|
|
"history": {
|
|
"train_loss": [
|
|
0.23917138579267042,
|
|
0.17964389969905217,
|
|
0.1583930908322886,
|
|
0.13833872029488836,
|
|
0.12386842469719272,
|
|
0.11030089819320926,
|
|
0.10064527483105108,
|
|
0.08629975835189085,
|
|
0.0727624413928155,
|
|
0.06635727010305142,
|
|
0.0563277630618325,
|
|
0.04666085629379032,
|
|
0.04453519208279128,
|
|
0.036597319391202525,
|
|
0.03935435012961669
|
|
],
|
|
"train_acc": [
|
|
0.7579282407407407,
|
|
0.8363425925925926,
|
|
0.8634259259259259,
|
|
0.8835069444444444,
|
|
0.898900462962963,
|
|
0.9122106481481481,
|
|
0.9226273148148149,
|
|
0.9330439814814815,
|
|
0.9443287037037037,
|
|
0.950925925925926,
|
|
0.960300925925926,
|
|
0.9663194444444444,
|
|
0.9679398148148148,
|
|
0.9741319444444444,
|
|
0.9736689814814815
|
|
],
|
|
"train_auc": [
|
|
0.8512407210933928,
|
|
0.9202943976480338,
|
|
0.9394323702560586,
|
|
0.9535609299982853,
|
|
0.9637053201446045,
|
|
0.970969257258802,
|
|
0.9764405346221994,
|
|
0.9822673128858025,
|
|
0.9869508834162095,
|
|
0.9898530110453817,
|
|
0.9924085505258345,
|
|
0.9946581629372429,
|
|
0.995199706361454,
|
|
0.9965422364397576,
|
|
0.9961478516518061
|
|
],
|
|
"train_f1": [
|
|
0.8228368133497099,
|
|
0.8848440426744849,
|
|
0.9047695908320555,
|
|
0.9192377131394183,
|
|
0.9304842624646851,
|
|
0.9399374430850853,
|
|
0.9474098257483381,
|
|
0.9545793585364896,
|
|
0.9622685911515532,
|
|
0.9669240970434512,
|
|
0.9732824427480916,
|
|
0.9773417425835085,
|
|
0.9784502878481407,
|
|
0.9826063270944395,
|
|
0.9823403842421891
|
|
],
|
|
"val_loss": [
|
|
0.2241378645102183,
|
|
0.13984972628143927,
|
|
0.14124439058747765,
|
|
0.17640043124944593,
|
|
0.1428463432394589,
|
|
0.14185509137654057,
|
|
0.13818038610431055,
|
|
0.17534095707039038,
|
|
0.17639769293988744,
|
|
0.14742097199584048,
|
|
0.1480519696798486,
|
|
0.15402708195227507,
|
|
0.14837629409351696,
|
|
0.1516194027673919,
|
|
0.1507140000835837
|
|
],
|
|
"val_acc": [
|
|
0.7421875,
|
|
0.8651041666666667,
|
|
0.8947916666666667,
|
|
0.909375,
|
|
0.8989583333333333,
|
|
0.8854166666666666,
|
|
0.9015625,
|
|
0.8546875,
|
|
0.871875,
|
|
0.9046875,
|
|
0.9171875,
|
|
0.921875,
|
|
0.9145833333333333,
|
|
0.9145833333333333,
|
|
0.9119791666666667
|
|
],
|
|
"val_auc": [
|
|
0.9230924479166667,
|
|
0.9523017939814814,
|
|
0.9572497106481482,
|
|
0.9584809027777778,
|
|
0.9615393518518518,
|
|
0.961529224537037,
|
|
0.9649168113425926,
|
|
0.9660575810185185,
|
|
0.9574211516203703,
|
|
0.9681322337962963,
|
|
0.9668706597222222,
|
|
0.9679224537037038,
|
|
0.9684201388888889,
|
|
0.969301215277778,
|
|
0.969660011574074
|
|
],
|
|
"val_f1": [
|
|
0.7952006619776583,
|
|
0.9049541284403669,
|
|
0.9285208775654635,
|
|
0.9401650618982118,
|
|
0.9308131241084165,
|
|
0.9193548387096774,
|
|
0.9313476207773338,
|
|
0.8939566704675028,
|
|
0.9094922737306843,
|
|
0.9341963322545846,
|
|
0.94315337861995,
|
|
0.9465431218816821,
|
|
0.9411764705882353,
|
|
0.9409647228221742,
|
|
0.9390551749008295
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9116666666666666,
|
|
"auc_roc": 0.9726403935185185,
|
|
"f1": 0.9389225007202535,
|
|
"confusion_matrix": [
|
|
[
|
|
1117,
|
|
83
|
|
],
|
|
[
|
|
341,
|
|
3259
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.9091666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
109,
|
|
1091
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.9091666666666667,
|
|
"pairwise_auc": 0.9723756944444445,
|
|
"pairwise_f1": 0.9191238416175231
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.8658333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
161,
|
|
1039
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.8658333333333333,
|
|
"pairwise_auc": 0.9651961805555554,
|
|
"pairwise_f1": 0.8949181739879414
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9408333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
71,
|
|
1129
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.9408333333333333,
|
|
"pairwise_auc": 0.9803493055555554,
|
|
"pairwise_f1": 0.9361525704809287
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.9308333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
1117,
|
|
83
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"false_alarm_rate": 0.06916666666666671
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.92,
|
|
"auc_roc": 0.9723756944444445,
|
|
"f1": 0.9191238416175231,
|
|
"confusion_matrix": [
|
|
[
|
|
1117,
|
|
83
|
|
],
|
|
[
|
|
109,
|
|
1091
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.8983333333333333,
|
|
"auc_roc": 0.9651961805555554,
|
|
"f1": 0.8949181739879414,
|
|
"confusion_matrix": [
|
|
[
|
|
1117,
|
|
83
|
|
],
|
|
[
|
|
161,
|
|
1039
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.9358333333333333,
|
|
"auc_roc": 0.9803493055555554,
|
|
"f1": 0.9361525704809287,
|
|
"confusion_matrix": [
|
|
[
|
|
1117,
|
|
83
|
|
],
|
|
[
|
|
71,
|
|
1129
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 4,
|
|
"train_size": 17280,
|
|
"val_size": 1920,
|
|
"test_size": 4800,
|
|
"history": {
|
|
"train_loss": [
|
|
0.24166752225546925,
|
|
0.18522660414239875,
|
|
0.16268459580562733,
|
|
0.14325540715276644,
|
|
0.12862643143507066,
|
|
0.11178907558011512,
|
|
0.09732602106890192,
|
|
0.08520252432898377,
|
|
0.0752523358505978,
|
|
0.06626564090709305,
|
|
0.054519248216550936,
|
|
0.051981810135853096,
|
|
0.045029509474773445,
|
|
0.04335176301613467,
|
|
0.03864068022467782
|
|
],
|
|
"train_acc": [
|
|
0.7587384259259259,
|
|
0.8346643518518518,
|
|
0.8579861111111111,
|
|
0.880150462962963,
|
|
0.8976851851851851,
|
|
0.9119791666666667,
|
|
0.9217013888888889,
|
|
0.9351273148148148,
|
|
0.944212962962963,
|
|
0.9523148148148148,
|
|
0.9605324074074074,
|
|
0.9649884259259259,
|
|
0.9700810185185185,
|
|
0.9697337962962963,
|
|
0.9737847222222222
|
|
],
|
|
"train_auc": [
|
|
0.847336542995542,
|
|
0.9154143625685871,
|
|
0.9352137720764746,
|
|
0.950587795067444,
|
|
0.960722683041838,
|
|
0.9701250732310243,
|
|
0.9772534079218107,
|
|
0.9825693819301554,
|
|
0.9864663440929355,
|
|
0.9895381265717879,
|
|
0.9929674014774805,
|
|
0.9934308109710791,
|
|
0.9949776913294468,
|
|
0.995536444044353,
|
|
0.9963720636145406
|
|
],
|
|
"train_f1": [
|
|
0.8245739532926573,
|
|
0.8834210633696495,
|
|
0.9006397279131914,
|
|
0.9169107321965898,
|
|
0.9296906068559612,
|
|
0.9397170147834014,
|
|
0.946650368676314,
|
|
0.9558887183724866,
|
|
0.9622316251371258,
|
|
0.9677974050336096,
|
|
0.9734402990887141,
|
|
0.9764508972013546,
|
|
0.9799043806118086,
|
|
0.9796727428193867,
|
|
0.9824029833352756
|
|
],
|
|
"val_loss": [
|
|
0.25112481862306596,
|
|
0.14030918213538826,
|
|
0.12420670604333281,
|
|
0.1263726758149763,
|
|
0.14944143609609456,
|
|
0.20810104956229528,
|
|
0.11866681970035037,
|
|
0.11524346641575296,
|
|
0.11781146025750786,
|
|
0.12625389968355497,
|
|
0.11159159503877163,
|
|
0.1271476188674569,
|
|
0.13850631505871813,
|
|
0.12152798459089051,
|
|
0.12106094028567896
|
|
],
|
|
"val_acc": [
|
|
0.7151041666666667,
|
|
0.8859375,
|
|
0.8770833333333333,
|
|
0.875,
|
|
0.884375,
|
|
0.790625,
|
|
0.89375,
|
|
0.9,
|
|
0.9125,
|
|
0.9010416666666666,
|
|
0.9276041666666667,
|
|
0.9083333333333333,
|
|
0.9015625,
|
|
0.9276041666666667,
|
|
0.9234375
|
|
],
|
|
"val_auc": [
|
|
0.8857732928240741,
|
|
0.9526909722222222,
|
|
0.964263599537037,
|
|
0.9617975983796296,
|
|
0.9546021412037036,
|
|
0.9632544849537038,
|
|
0.9700629340277779,
|
|
0.9747837094907407,
|
|
0.9750636574074074,
|
|
0.9736841724537038,
|
|
0.9787311921296294,
|
|
0.9767194733796296,
|
|
0.9738274016203703,
|
|
0.9782602719907407,
|
|
0.9777828414351852
|
|
],
|
|
"val_f1": [
|
|
0.7731231854002488,
|
|
0.9209100758396533,
|
|
0.9126572908956329,
|
|
0.9118942731277533,
|
|
0.9206576125804146,
|
|
0.8393285371702638,
|
|
0.925601750547046,
|
|
0.9299781181619255,
|
|
0.9399571122230165,
|
|
0.9308084486525856,
|
|
0.9506567270145545,
|
|
0.9363241678726484,
|
|
0.9311976701856571,
|
|
0.95069173465768,
|
|
0.9475187433059622
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9254166666666667,
|
|
"auc_roc": 0.9772423611111111,
|
|
"f1": 0.9490753911806543,
|
|
"confusion_matrix": [
|
|
[
|
|
1106,
|
|
94
|
|
],
|
|
[
|
|
264,
|
|
3336
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.9191666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
97,
|
|
1103
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.9191666666666667,
|
|
"pairwise_auc": 0.9749111111111111,
|
|
"pairwise_f1": 0.9203170629954109
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.8916666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
130,
|
|
1070
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.8916666666666667,
|
|
"pairwise_auc": 0.9674319444444444,
|
|
"pairwise_f1": 0.9052453468697124
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9691666666666666,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
37,
|
|
1163
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"detection_rate": 0.9691666666666666,
|
|
"pairwise_auc": 0.9893840277777778,
|
|
"pairwise_f1": 0.9466829466829467
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.9216666666666666,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
1106,
|
|
94
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 1200,
|
|
"false_alarm_rate": 0.07833333333333337
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.9204166666666667,
|
|
"auc_roc": 0.9749111111111111,
|
|
"f1": 0.9203170629954109,
|
|
"confusion_matrix": [
|
|
[
|
|
1106,
|
|
94
|
|
],
|
|
[
|
|
97,
|
|
1103
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.9066666666666666,
|
|
"auc_roc": 0.9674319444444444,
|
|
"f1": 0.9052453468697124,
|
|
"confusion_matrix": [
|
|
[
|
|
1106,
|
|
94
|
|
],
|
|
[
|
|
130,
|
|
1070
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 2400,
|
|
"accuracy": 0.9454166666666667,
|
|
"auc_roc": 0.9893840277777778,
|
|
"f1": 0.9466829466829467,
|
|
"confusion_matrix": [
|
|
[
|
|
1106,
|
|
94
|
|
],
|
|
[
|
|
37,
|
|
1163
|
|
]
|
|
]
|
|
}
|
|
}
|
|
}
|
|
],
|
|
"aggregated_metrics": {
|
|
"accuracy": {
|
|
"mean": 0.9174166666666667,
|
|
"std": 0.006410440702479072,
|
|
"ci_95": 0.005618999021178086,
|
|
"values": [
|
|
0.9116666666666666,
|
|
0.9229166666666667,
|
|
0.9154166666666667,
|
|
0.9116666666666666,
|
|
0.9254166666666667
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.9736913425925925,
|
|
"std": 0.0023805497994612776,
|
|
"ci_95": 0.0020866439007642124,
|
|
"values": [
|
|
0.9709605324074074,
|
|
0.9746640046296297,
|
|
0.9729494212962962,
|
|
0.9726403935185185,
|
|
0.9772423611111111
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.9434274818319734,
|
|
"std": 0.004749975490040382,
|
|
"ci_95": 0.004163537090177762,
|
|
"values": [
|
|
0.9392724147808651,
|
|
0.9477843635337285,
|
|
0.9420827389443652,
|
|
0.9389225007202535,
|
|
0.9490753911806543
|
|
]
|
|
}
|
|
},
|
|
"aggregated_per_source": {
|
|
"inpainting": {
|
|
"accuracy": {
|
|
"mean": 0.9268333333333333,
|
|
"std": 0.012780193008453854,
|
|
"ci_95": 0.011202333090328382,
|
|
"values": [
|
|
0.9291666666666667,
|
|
0.9408333333333333,
|
|
0.9358333333333333,
|
|
0.9091666666666667,
|
|
0.9191666666666667
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 1200.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200
|
|
]
|
|
},
|
|
"detection_rate": {
|
|
"mean": 0.9268333333333333,
|
|
"std": 0.012780193008453854,
|
|
"ci_95": 0.011202333090328382,
|
|
"values": [
|
|
0.9291666666666667,
|
|
0.9408333333333333,
|
|
0.9358333333333333,
|
|
0.9091666666666667,
|
|
0.9191666666666667
|
|
]
|
|
},
|
|
"pairwise_auc": {
|
|
"mean": 0.9754777777777779,
|
|
"std": 0.0020227217247155895,
|
|
"ci_95": 0.0017729937642036325,
|
|
"values": [
|
|
0.9761385416666668,
|
|
0.9778364583333332,
|
|
0.9761270833333333,
|
|
0.9723756944444445,
|
|
0.9749111111111111
|
|
]
|
|
},
|
|
"pairwise_f1": {
|
|
"mean": 0.920919449323874,
|
|
"std": 0.0021151914201433647,
|
|
"ci_95": 0.0018540470259390336,
|
|
"values": [
|
|
0.9222497932175352,
|
|
0.919006919006919,
|
|
0.9238996297819827,
|
|
0.9191238416175231,
|
|
0.9203170629954109
|
|
]
|
|
}
|
|
},
|
|
"insight": {
|
|
"accuracy": {
|
|
"mean": 0.8731666666666668,
|
|
"std": 0.012982359826574964,
|
|
"ci_95": 0.011379540119588928,
|
|
"values": [
|
|
0.8683333333333333,
|
|
0.8808333333333334,
|
|
0.8591666666666666,
|
|
0.8658333333333333,
|
|
0.8916666666666667
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 1200.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200
|
|
]
|
|
},
|
|
"detection_rate": {
|
|
"mean": 0.8731666666666668,
|
|
"std": 0.012982359826574964,
|
|
"ci_95": 0.011379540119588928,
|
|
"values": [
|
|
0.8683333333333333,
|
|
0.8808333333333334,
|
|
0.8591666666666666,
|
|
0.8658333333333333,
|
|
0.8916666666666667
|
|
]
|
|
},
|
|
"pairwise_auc": {
|
|
"mean": 0.9610511111111112,
|
|
"std": 0.005009094637947759,
|
|
"ci_95": 0.004390665037542907,
|
|
"values": [
|
|
0.9591041666666666,
|
|
0.9577305555555554,
|
|
0.9557927083333334,
|
|
0.9651961805555554,
|
|
0.9674319444444444
|
|
]
|
|
},
|
|
"pairwise_f1": {
|
|
"mean": 0.8913618737499409,
|
|
"std": 0.009126746824678685,
|
|
"ci_95": 0.007999946314857462,
|
|
"values": [
|
|
0.8886993603411514,
|
|
0.8863731656184486,
|
|
0.8815733219324497,
|
|
0.8949181739879414,
|
|
0.9052453468697124
|
|
]
|
|
}
|
|
},
|
|
"text2img": {
|
|
"accuracy": {
|
|
"mean": 0.9556666666666667,
|
|
"std": 0.017828270309321142,
|
|
"ci_95": 0.01562716793849024,
|
|
"values": [
|
|
0.935,
|
|
0.9766666666666667,
|
|
0.9566666666666667,
|
|
0.9408333333333333,
|
|
0.9691666666666666
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 1200.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200
|
|
]
|
|
},
|
|
"detection_rate": {
|
|
"mean": 0.9556666666666667,
|
|
"std": 0.017828270309321142,
|
|
"ci_95": 0.01562716793849024,
|
|
"values": [
|
|
0.935,
|
|
0.9766666666666667,
|
|
0.9566666666666667,
|
|
0.9408333333333333,
|
|
0.9691666666666666
|
|
]
|
|
},
|
|
"pairwise_auc": {
|
|
"mean": 0.9845451388888888,
|
|
"std": 0.005230911778120413,
|
|
"ci_95": 0.004585096333511164,
|
|
"values": [
|
|
0.9776388888888888,
|
|
0.988425,
|
|
0.9869284722222222,
|
|
0.9803493055555554,
|
|
0.9893840277777778
|
|
]
|
|
},
|
|
"pairwise_f1": {
|
|
"mean": 0.9361299524203165,
|
|
"std": 0.007601494669431217,
|
|
"ci_95": 0.006663003854088594,
|
|
"values": [
|
|
0.925360824742268,
|
|
0.9376,
|
|
0.9348534201954397,
|
|
0.9361525704809287,
|
|
0.9466829466829467
|
|
]
|
|
}
|
|
},
|
|
"wiki": {
|
|
"accuracy": {
|
|
"mean": 0.914,
|
|
"std": 0.014011404085402865,
|
|
"ci_95": 0.012281537182110197,
|
|
"values": [
|
|
0.9141666666666667,
|
|
0.8933333333333333,
|
|
0.91,
|
|
0.9308333333333333,
|
|
0.9216666666666666
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 1200.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200,
|
|
1200
|
|
]
|
|
},
|
|
"false_alarm_rate": {
|
|
"mean": 0.08600000000000001,
|
|
"std": 0.014011404085402865,
|
|
"ci_95": 0.012281537182110197,
|
|
"values": [
|
|
0.08583333333333332,
|
|
0.10666666666666669,
|
|
0.08999999999999997,
|
|
0.06916666666666671,
|
|
0.07833333333333337
|
|
]
|
|
}
|
|
}
|
|
},
|
|
"aggregated_pairwise": {
|
|
"wiki_vs_inpainting": {
|
|
"accuracy": {
|
|
"mean": 0.9204166666666665,
|
|
"std": 0.0021850184336878135,
|
|
"ci_95": 0.0019152531019278984,
|
|
"values": [
|
|
0.9216666666666666,
|
|
0.9170833333333334,
|
|
0.9229166666666667,
|
|
0.92,
|
|
0.9204166666666667
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.9754777777777779,
|
|
"std": 0.0020227217247155895,
|
|
"ci_95": 0.0017729937642036325,
|
|
"values": [
|
|
0.9761385416666668,
|
|
0.9778364583333332,
|
|
0.9761270833333333,
|
|
0.9723756944444445,
|
|
0.9749111111111111
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.920919449323874,
|
|
"std": 0.0021151914201433647,
|
|
"ci_95": 0.0018540470259390336,
|
|
"values": [
|
|
0.9222497932175352,
|
|
0.919006919006919,
|
|
0.9238996297819827,
|
|
0.9191238416175231,
|
|
0.9203170629954109
|
|
]
|
|
}
|
|
},
|
|
"wiki_vs_insight": {
|
|
"accuracy": {
|
|
"mean": 0.8935833333333333,
|
|
"std": 0.008978175699377257,
|
|
"ci_95": 0.00786971798167575,
|
|
"values": [
|
|
0.89125,
|
|
0.8870833333333333,
|
|
0.8845833333333334,
|
|
0.8983333333333333,
|
|
0.9066666666666666
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.9610511111111112,
|
|
"std": 0.005009094637947759,
|
|
"ci_95": 0.004390665037542907,
|
|
"values": [
|
|
0.9591041666666666,
|
|
0.9577305555555554,
|
|
0.9557927083333334,
|
|
0.9651961805555554,
|
|
0.9674319444444444
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.8913618737499409,
|
|
"std": 0.009126746824678685,
|
|
"ci_95": 0.007999946314857462,
|
|
"values": [
|
|
0.8886993603411514,
|
|
0.8863731656184486,
|
|
0.8815733219324497,
|
|
0.8949181739879414,
|
|
0.9052453468697124
|
|
]
|
|
}
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"accuracy": {
|
|
"mean": 0.9348333333333333,
|
|
"std": 0.00742204860908063,
|
|
"ci_95": 0.006505712447107124,
|
|
"values": [
|
|
0.9245833333333333,
|
|
0.935,
|
|
0.9333333333333333,
|
|
0.9358333333333333,
|
|
0.9454166666666667
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.9845451388888888,
|
|
"std": 0.005230911778120413,
|
|
"ci_95": 0.004585096333511164,
|
|
"values": [
|
|
0.9776388888888888,
|
|
0.988425,
|
|
0.9869284722222222,
|
|
0.9803493055555554,
|
|
0.9893840277777778
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.9361299524203165,
|
|
"std": 0.007601494669431217,
|
|
"ci_95": 0.006663003854088594,
|
|
"values": [
|
|
0.925360824742268,
|
|
0.9376,
|
|
0.9348534201954397,
|
|
0.9361525704809287,
|
|
0.9466829466829467
|
|
]
|
|
}
|
|
}
|
|
},
|
|
"config": {
|
|
"seed": 42,
|
|
"cv_folds": 5,
|
|
"batch_size": 32,
|
|
"num_workers": 4,
|
|
"early_stopping_patience": 5,
|
|
"lr": 0.0001,
|
|
"weight_decay": 0.0001,
|
|
"T_max": 15,
|
|
"data_dir": "data_cropped",
|
|
"run_name": "p2e_resnet18_facecrop_aug",
|
|
"backbone": "resnet18",
|
|
"pretrained": true,
|
|
"epochs": 15,
|
|
"image_size": 224,
|
|
"subsample": 0.2,
|
|
"augment": {
|
|
"hflip_p": 0.5,
|
|
"rotation_degrees": 10,
|
|
"brightness": 0.2,
|
|
"contrast": 0.2,
|
|
"saturation": 0.1,
|
|
"hue": 0.02,
|
|
"grayscale_p": 0.1,
|
|
"blur_p": 0.1,
|
|
"erase_p": 0.2,
|
|
"noise_p": 0.3,
|
|
"noise_std": 0.04
|
|
}
|
|
}
|
|
} |