Johnny Fernandes
1641 lines
38 KiB
JSON
1641 lines
38 KiB
JSON
{
|
|
"run_name": "p4_efficientnet_b0_50pct",
|
|
"n_folds": 5,
|
|
"fold_results": [
|
|
{
|
|
"fold": 0,
|
|
"train_size": 43200,
|
|
"val_size": 4800,
|
|
"test_size": 12000,
|
|
"history": {
|
|
"train_loss": [
|
|
0.13995583145016874,
|
|
0.0742302408269434,
|
|
0.04931435748745032,
|
|
0.036101536007266045,
|
|
0.02799243035423893,
|
|
0.019398636371560214,
|
|
0.016326042054589145,
|
|
0.01265642531780503
|
|
],
|
|
"train_acc": [
|
|
0.8774305555555556,
|
|
0.9448148148148148,
|
|
0.9642824074074074,
|
|
0.9755092592592592,
|
|
0.9819675925925926,
|
|
0.9880787037037037,
|
|
0.9904166666666666,
|
|
0.992800925925926
|
|
],
|
|
"train_auc": [
|
|
0.9524315357796067,
|
|
0.9867225365797897,
|
|
0.9940108381915865,
|
|
0.9968044738797439,
|
|
0.9979493812871515,
|
|
0.9989981624371285,
|
|
0.999284502171925,
|
|
0.9995809713648834
|
|
],
|
|
"train_f1": [
|
|
0.9147219403778325,
|
|
0.9626379137412236,
|
|
0.9759503732913543,
|
|
0.983573979195777,
|
|
0.9879237912164571,
|
|
0.9920346454257212,
|
|
0.9936002473334364,
|
|
0.9951938679318179
|
|
],
|
|
"val_loss": [
|
|
0.0717577344023933,
|
|
0.0651803258418416,
|
|
0.06610915583791212,
|
|
0.07786277868920782,
|
|
0.10584722187765995,
|
|
0.09427113190349701,
|
|
0.0933724149159813,
|
|
0.10414942238099077
|
|
],
|
|
"val_acc": [
|
|
0.940625,
|
|
0.9497916666666667,
|
|
0.9527083333333334,
|
|
0.9566666666666667,
|
|
0.9604166666666667,
|
|
0.96375,
|
|
0.9679166666666666,
|
|
0.9666666666666667
|
|
],
|
|
"val_auc": [
|
|
0.9871184027777778,
|
|
0.9896539351851851,
|
|
0.9904402777777777,
|
|
0.9900805555555556,
|
|
0.9867461805555555,
|
|
0.9887718749999999,
|
|
0.9899262731481481,
|
|
0.9894398148148147
|
|
],
|
|
"val_f1": [
|
|
0.9596145670965,
|
|
0.9658204509998581,
|
|
0.9679151943462897,
|
|
0.9707783085136275,
|
|
0.9735376044568245,
|
|
0.975752508361204,
|
|
0.9785992217898832,
|
|
0.9778270509977827
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9479166666666666,
|
|
"auc_roc": 0.989454277777778,
|
|
"f1": 0.9646233089941699,
|
|
"confusion_matrix": [
|
|
[
|
|
2854,
|
|
146
|
|
],
|
|
[
|
|
479,
|
|
8521
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.9376666666666666,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
187,
|
|
2813
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9376666666666666,
|
|
"pairwise_auc": 0.9889452777777779,
|
|
"pairwise_f1": 0.9441181406276221
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.9273333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
218,
|
|
2782
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9273333333333333,
|
|
"pairwise_auc": 0.984199,
|
|
"pairwise_f1": 0.9385964912280702
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9753333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
74,
|
|
2926
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9753333333333334,
|
|
"pairwise_auc": 0.9952185555555556,
|
|
"pairwise_f1": 0.9637681159420289
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.9513333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
2854,
|
|
146
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"false_alarm_rate": 0.048666666666666636
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9445,
|
|
"auc_roc": 0.9889452777777779,
|
|
"f1": 0.9441181406276221,
|
|
"confusion_matrix": [
|
|
[
|
|
2854,
|
|
146
|
|
],
|
|
[
|
|
187,
|
|
2813
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9393333333333334,
|
|
"auc_roc": 0.984199,
|
|
"f1": 0.9385964912280702,
|
|
"confusion_matrix": [
|
|
[
|
|
2854,
|
|
146
|
|
],
|
|
[
|
|
218,
|
|
2782
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9633333333333334,
|
|
"auc_roc": 0.9952185555555556,
|
|
"f1": 0.9637681159420289,
|
|
"confusion_matrix": [
|
|
[
|
|
2854,
|
|
146
|
|
],
|
|
[
|
|
74,
|
|
2926
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 1,
|
|
"train_size": 43200,
|
|
"val_size": 4800,
|
|
"test_size": 12000,
|
|
"history": {
|
|
"train_loss": [
|
|
0.13703774894277254,
|
|
0.07261088119957734,
|
|
0.049949107929822746,
|
|
0.03655776003513623,
|
|
0.02565751131902895,
|
|
0.020755979462208213,
|
|
0.01530354849683607,
|
|
0.01180569783995755
|
|
],
|
|
"train_acc": [
|
|
0.8827546296296296,
|
|
0.9460879629629629,
|
|
0.9650694444444444,
|
|
0.9751157407407407,
|
|
0.9833333333333333,
|
|
0.9879861111111111,
|
|
0.9913425925925926,
|
|
0.9929629629629629
|
|
],
|
|
"train_auc": [
|
|
0.95458952760631,
|
|
0.9872329289551897,
|
|
0.9938694387288523,
|
|
0.9968150034293554,
|
|
0.9983763860310928,
|
|
0.9988992512574302,
|
|
0.9993487282807498,
|
|
0.9995777577732052
|
|
],
|
|
"train_f1": [
|
|
0.9187324508624147,
|
|
0.9635015906348435,
|
|
0.9764971575422475,
|
|
0.9833185916236054,
|
|
0.9888503468780971,
|
|
0.9919740199489677,
|
|
0.9942205464210656,
|
|
0.9953026978584011
|
|
],
|
|
"val_loss": [
|
|
0.07383573662644873,
|
|
0.06084749784320593,
|
|
0.062151441794461186,
|
|
0.08252791417177528,
|
|
0.08929475046708224,
|
|
0.08637180528450093,
|
|
0.14654819222646742,
|
|
0.09919148865640333
|
|
],
|
|
"val_acc": [
|
|
0.931875,
|
|
0.9483333333333334,
|
|
0.9541666666666667,
|
|
0.9570833333333333,
|
|
0.9577083333333334,
|
|
0.9589583333333334,
|
|
0.96375,
|
|
0.9625
|
|
],
|
|
"val_auc": [
|
|
0.986648263888889,
|
|
0.9907653935185186,
|
|
0.9920665509259259,
|
|
0.9889773148148149,
|
|
0.989535300925926,
|
|
0.9903372685185186,
|
|
0.984566087962963,
|
|
0.9901563657407407
|
|
],
|
|
"val_f1": [
|
|
0.9531048329270042,
|
|
0.9648924122310306,
|
|
0.9690315315315315,
|
|
0.9712531398269606,
|
|
0.9715646449082505,
|
|
0.9724050987533268,
|
|
0.9758935993349959,
|
|
0.9748533109807209
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9576666666666667,
|
|
"auc_roc": 0.9916163148148148,
|
|
"f1": 0.9714799011902089,
|
|
"confusion_matrix": [
|
|
[
|
|
2840,
|
|
160
|
|
],
|
|
[
|
|
348,
|
|
8652
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.9633333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
110,
|
|
2890
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9633333333333334,
|
|
"pairwise_auc": 0.9920180000000001,
|
|
"pairwise_f1": 0.9553719008264463
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.938,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
186,
|
|
2814
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.938,
|
|
"pairwise_auc": 0.9872330555555556,
|
|
"pairwise_f1": 0.9420823568798126
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9826666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
52,
|
|
2948
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9826666666666667,
|
|
"pairwise_auc": 0.995597888888889,
|
|
"pairwise_f1": 0.9652914210870989
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.9466666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
2840,
|
|
160
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"false_alarm_rate": 0.053333333333333344
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.955,
|
|
"auc_roc": 0.9920180000000001,
|
|
"f1": 0.9553719008264463,
|
|
"confusion_matrix": [
|
|
[
|
|
2840,
|
|
160
|
|
],
|
|
[
|
|
110,
|
|
2890
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9423333333333334,
|
|
"auc_roc": 0.9872330555555556,
|
|
"f1": 0.9420823568798126,
|
|
"confusion_matrix": [
|
|
[
|
|
2840,
|
|
160
|
|
],
|
|
[
|
|
186,
|
|
2814
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9646666666666667,
|
|
"auc_roc": 0.995597888888889,
|
|
"f1": 0.9652914210870989,
|
|
"confusion_matrix": [
|
|
[
|
|
2840,
|
|
160
|
|
],
|
|
[
|
|
52,
|
|
2948
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 2,
|
|
"train_size": 43200,
|
|
"val_size": 4800,
|
|
"test_size": 12000,
|
|
"history": {
|
|
"train_loss": [
|
|
0.1375614403381392,
|
|
0.07389981752399494,
|
|
0.052839624919255986,
|
|
0.036731442541306565,
|
|
0.026873393501074233,
|
|
0.019333559103394723,
|
|
0.014892959629451743,
|
|
0.012860762090223472
|
|
],
|
|
"train_acc": [
|
|
0.880625,
|
|
0.9447453703703703,
|
|
0.9637268518518518,
|
|
0.9749074074074074,
|
|
0.9834027777777777,
|
|
0.9875694444444445,
|
|
0.9907638888888889,
|
|
0.9931944444444445
|
|
],
|
|
"train_auc": [
|
|
0.9541200174325559,
|
|
0.9868919052926384,
|
|
0.993432683184728,
|
|
0.9967440600708734,
|
|
0.9981491483767719,
|
|
0.9989696744970279,
|
|
0.9994402163351622,
|
|
0.9996142489711934
|
|
],
|
|
"train_f1": [
|
|
0.9170700329661494,
|
|
0.9625715405723245,
|
|
0.9755968417610141,
|
|
0.9831744947691926,
|
|
0.9888952560905726,
|
|
0.9916905222437137,
|
|
0.99383202708343,
|
|
0.9954586178133399
|
|
],
|
|
"val_loss": [
|
|
0.0739098088319103,
|
|
0.08113757104380057,
|
|
0.06485555243867566,
|
|
0.07556574973772513,
|
|
0.0859580600705946,
|
|
0.09838335171874253,
|
|
0.09800957444893962,
|
|
0.12440219941302227
|
|
],
|
|
"val_acc": [
|
|
0.934375,
|
|
0.9560416666666667,
|
|
0.9610416666666667,
|
|
0.9604166666666667,
|
|
0.9622916666666667,
|
|
0.9641666666666666,
|
|
0.9629166666666666,
|
|
0.9664583333333333
|
|
],
|
|
"val_auc": [
|
|
0.9864329861111111,
|
|
0.9870130787037037,
|
|
0.9906550925925927,
|
|
0.990207986111111,
|
|
0.9896921296296296,
|
|
0.9897738425925925,
|
|
0.9892907407407407,
|
|
0.9874833333333334
|
|
],
|
|
"val_f1": [
|
|
0.9550577828506206,
|
|
0.9706659252050605,
|
|
0.9738058551617874,
|
|
0.9734116988525049,
|
|
0.9747171392652605,
|
|
0.9761772853185595,
|
|
0.9751812604573341,
|
|
0.977703919124775
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9560833333333333,
|
|
"auc_roc": 0.9918000185185185,
|
|
"f1": 0.9703449440099038,
|
|
"confusion_matrix": [
|
|
[
|
|
2851,
|
|
149
|
|
],
|
|
[
|
|
378,
|
|
8622
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.9603333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
119,
|
|
2881
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9603333333333334,
|
|
"pairwise_auc": 0.9927421666666667,
|
|
"pairwise_f1": 0.9555555555555556
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.9293333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
212,
|
|
2788
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9293333333333333,
|
|
"pairwise_auc": 0.9861466666666666,
|
|
"pairwise_f1": 0.9391948795688058
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9843333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
47,
|
|
2953
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9843333333333333,
|
|
"pairwise_auc": 0.9965112222222222,
|
|
"pairwise_f1": 0.9678793838085874
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.9503333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
2851,
|
|
149
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"false_alarm_rate": 0.04966666666666664
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9553333333333334,
|
|
"auc_roc": 0.9927421666666667,
|
|
"f1": 0.9555555555555556,
|
|
"confusion_matrix": [
|
|
[
|
|
2851,
|
|
149
|
|
],
|
|
[
|
|
119,
|
|
2881
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9398333333333333,
|
|
"auc_roc": 0.9861466666666666,
|
|
"f1": 0.9391948795688058,
|
|
"confusion_matrix": [
|
|
[
|
|
2851,
|
|
149
|
|
],
|
|
[
|
|
212,
|
|
2788
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9673333333333334,
|
|
"auc_roc": 0.9965112222222222,
|
|
"f1": 0.9678793838085874,
|
|
"confusion_matrix": [
|
|
[
|
|
2851,
|
|
149
|
|
],
|
|
[
|
|
47,
|
|
2953
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 3,
|
|
"train_size": 43200,
|
|
"val_size": 4800,
|
|
"test_size": 12000,
|
|
"history": {
|
|
"train_loss": [
|
|
0.13664784223807078,
|
|
0.07150818758471697,
|
|
0.04927653304452111,
|
|
0.03526544976863079,
|
|
0.02582040710843608,
|
|
0.019590364929387795,
|
|
0.015163667804881698,
|
|
0.01194234024270608,
|
|
0.00934119974975534,
|
|
0.006147137580592917
|
|
],
|
|
"train_acc": [
|
|
0.8803703703703704,
|
|
0.9473148148148148,
|
|
0.9647453703703703,
|
|
0.9760648148148148,
|
|
0.9826388888888888,
|
|
0.9874537037037037,
|
|
0.9909490740740741,
|
|
0.9931018518518518,
|
|
0.994537037037037,
|
|
0.9963194444444444
|
|
],
|
|
"train_auc": [
|
|
0.9544961834133516,
|
|
0.9877798982624599,
|
|
0.9940069058641976,
|
|
0.9969770204618198,
|
|
0.9983109253543667,
|
|
0.9990647247942386,
|
|
0.9993941829561042,
|
|
0.9994578960905349,
|
|
0.9996915637860082,
|
|
0.9998827003315045
|
|
],
|
|
"train_f1": [
|
|
0.9170651859935167,
|
|
0.9643762717170136,
|
|
0.976268017140631,
|
|
0.9839460936529624,
|
|
0.988376778352912,
|
|
0.9916135421179675,
|
|
0.9939556957133361,
|
|
0.9953958346208516,
|
|
0.9963545367481232,
|
|
0.9975447428156704
|
|
],
|
|
"val_loss": [
|
|
0.07596324859807889,
|
|
0.06352717091407006,
|
|
0.08309621615626384,
|
|
0.06560108180419774,
|
|
0.06666424893009511,
|
|
0.07464824672630736,
|
|
0.07669509967684159,
|
|
0.09062671284765504,
|
|
0.09179153696128803,
|
|
0.1132413583906479
|
|
],
|
|
"val_acc": [
|
|
0.9354166666666667,
|
|
0.949375,
|
|
0.9510416666666667,
|
|
0.956875,
|
|
0.9625,
|
|
0.9627083333333334,
|
|
0.965625,
|
|
0.9647916666666667,
|
|
0.9654166666666667,
|
|
0.9647916666666667
|
|
],
|
|
"val_auc": [
|
|
0.9858332175925926,
|
|
0.9903429398148148,
|
|
0.9881993055555556,
|
|
0.991364236111111,
|
|
0.9922137731481482,
|
|
0.9921571759259259,
|
|
0.9918961805555555,
|
|
0.9900361111111111,
|
|
0.9898755787037037,
|
|
0.9895331018518518
|
|
],
|
|
"val_f1": [
|
|
0.955928348023884,
|
|
0.9656537102473498,
|
|
0.9669711876317639,
|
|
0.9708327462308017,
|
|
0.9746977790272702,
|
|
0.9749194339358274,
|
|
0.9769133902336645,
|
|
0.9763470958712386,
|
|
0.9768930957683741,
|
|
0.9764722260893777
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9621666666666666,
|
|
"auc_roc": 0.9913517037037036,
|
|
"f1": 0.9745629762438368,
|
|
"confusion_matrix": [
|
|
[
|
|
2849,
|
|
151
|
|
],
|
|
[
|
|
303,
|
|
8697
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.969,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
93,
|
|
2907
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.969,
|
|
"pairwise_auc": 0.9920872777777778,
|
|
"pairwise_f1": 0.9597226807527237
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.949,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
153,
|
|
2847
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.949,
|
|
"pairwise_auc": 0.9875391666666667,
|
|
"pairwise_f1": 0.9493164388129376
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.981,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
57,
|
|
2943
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.981,
|
|
"pairwise_auc": 0.9944286666666666,
|
|
"pairwise_f1": 0.9658680669510994
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.9496666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
2849,
|
|
151
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"false_alarm_rate": 0.05033333333333334
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9593333333333334,
|
|
"auc_roc": 0.9920872777777778,
|
|
"f1": 0.9597226807527237,
|
|
"confusion_matrix": [
|
|
[
|
|
2849,
|
|
151
|
|
],
|
|
[
|
|
93,
|
|
2907
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9493333333333334,
|
|
"auc_roc": 0.9875391666666667,
|
|
"f1": 0.9493164388129376,
|
|
"confusion_matrix": [
|
|
[
|
|
2849,
|
|
151
|
|
],
|
|
[
|
|
153,
|
|
2847
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9653333333333334,
|
|
"auc_roc": 0.9944286666666666,
|
|
"f1": 0.9658680669510994,
|
|
"confusion_matrix": [
|
|
[
|
|
2849,
|
|
151
|
|
],
|
|
[
|
|
57,
|
|
2943
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 4,
|
|
"train_size": 43200,
|
|
"val_size": 4800,
|
|
"test_size": 12000,
|
|
"history": {
|
|
"train_loss": [
|
|
0.13932421235988537,
|
|
0.07384425314177794,
|
|
0.04957581896334887,
|
|
0.03586912003845942,
|
|
0.025975225245649065,
|
|
0.02054396694067152,
|
|
0.01618450602973031,
|
|
0.012283299227689256,
|
|
0.009351894418741721,
|
|
0.0072791107712078815
|
|
],
|
|
"train_acc": [
|
|
0.879375,
|
|
0.9453935185185185,
|
|
0.9650925925925926,
|
|
0.9764814814814815,
|
|
0.9833333333333333,
|
|
0.9880324074074074,
|
|
0.9914583333333333,
|
|
0.9931018518518518,
|
|
0.9946064814814815,
|
|
0.9959953703703703
|
|
],
|
|
"train_auc": [
|
|
0.9529266303726566,
|
|
0.9868539051783265,
|
|
0.9939378243598538,
|
|
0.9968976437471423,
|
|
0.9982190872199359,
|
|
0.9988700274348423,
|
|
0.9993483796296296,
|
|
0.9995339248971193,
|
|
0.9995701360310927,
|
|
0.999775291495199
|
|
],
|
|
"train_f1": [
|
|
0.9162097409593027,
|
|
0.963055768718776,
|
|
0.9765123668307271,
|
|
0.9842421986475588,
|
|
0.9888420530622366,
|
|
0.9920074205766406,
|
|
0.9942987809588554,
|
|
0.9953973990671239,
|
|
0.9964010441605783,
|
|
0.9973286391501057
|
|
],
|
|
"val_loss": [
|
|
0.07870797710182766,
|
|
0.06889221329630042,
|
|
0.07827678087118936,
|
|
0.07306442114771926,
|
|
0.0849443374129684,
|
|
0.09220776544119871,
|
|
0.10155253192896149,
|
|
0.10252359303742803,
|
|
0.12160847871439424,
|
|
0.12238686969363091
|
|
],
|
|
"val_acc": [
|
|
0.9335416666666667,
|
|
0.9527083333333334,
|
|
0.95375,
|
|
0.9554166666666667,
|
|
0.96125,
|
|
0.9635416666666666,
|
|
0.960625,
|
|
0.9608333333333333,
|
|
0.9647916666666667,
|
|
0.9625
|
|
],
|
|
"val_auc": [
|
|
0.9849060185185186,
|
|
0.9900753472222222,
|
|
0.9892693287037038,
|
|
0.9903871527777778,
|
|
0.9904155092592593,
|
|
0.989539699074074,
|
|
0.9871829861111111,
|
|
0.9891896990740741,
|
|
0.9878277777777777,
|
|
0.9861293981481482
|
|
],
|
|
"val_f1": [
|
|
0.9544480936741396,
|
|
0.9681492914269678,
|
|
0.968890134529148,
|
|
0.9699691271400506,
|
|
0.9740150880134115,
|
|
0.9755688957140862,
|
|
0.9735996647576477,
|
|
0.9736251402918069,
|
|
0.976485320717963,
|
|
0.9747545582047685
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9644166666666667,
|
|
"auc_roc": 0.9913707777777778,
|
|
"f1": 0.9762077227391764,
|
|
"confusion_matrix": [
|
|
[
|
|
2813,
|
|
187
|
|
],
|
|
[
|
|
240,
|
|
8760
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.9713333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
86,
|
|
2914
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9713333333333334,
|
|
"pairwise_auc": 0.9909874444444444,
|
|
"pairwise_f1": 0.9552532371742337
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.9606666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
118,
|
|
2882
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9606666666666667,
|
|
"pairwise_auc": 0.9877358333333333,
|
|
"pairwise_f1": 0.9497446037238425
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.988,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
36,
|
|
2964
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.988,
|
|
"pairwise_auc": 0.9953890555555555,
|
|
"pairwise_f1": 0.9637457324012356
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.9376666666666666,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
2813,
|
|
187
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"false_alarm_rate": 0.06233333333333335
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9545,
|
|
"auc_roc": 0.9909874444444444,
|
|
"f1": 0.9552532371742337,
|
|
"confusion_matrix": [
|
|
[
|
|
2813,
|
|
187
|
|
],
|
|
[
|
|
86,
|
|
2914
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9491666666666667,
|
|
"auc_roc": 0.9877358333333333,
|
|
"f1": 0.9497446037238425,
|
|
"confusion_matrix": [
|
|
[
|
|
2813,
|
|
187
|
|
],
|
|
[
|
|
118,
|
|
2882
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9628333333333333,
|
|
"auc_roc": 0.9953890555555555,
|
|
"f1": 0.9637457324012356,
|
|
"confusion_matrix": [
|
|
[
|
|
2813,
|
|
187
|
|
],
|
|
[
|
|
36,
|
|
2964
|
|
]
|
|
]
|
|
}
|
|
}
|
|
}
|
|
],
|
|
"aggregated_metrics": {
|
|
"accuracy": {
|
|
"mean": 0.9576499999999999,
|
|
"std": 0.006391020175910032,
|
|
"ci_95": 0.005601976179091738,
|
|
"values": [
|
|
0.9479166666666666,
|
|
0.9576666666666667,
|
|
0.9560833333333333,
|
|
0.9621666666666666,
|
|
0.9644166666666667
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.9911186185185186,
|
|
"std": 0.0009486767969412586,
|
|
"ci_95": 0.0008315518762018681,
|
|
"values": [
|
|
0.989454277777778,
|
|
0.9916163148148148,
|
|
0.9918000185185185,
|
|
0.9913517037037036,
|
|
0.9913707777777778
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.9714437706354593,
|
|
"std": 0.00447638541806223,
|
|
"ci_95": 0.003923724818604177,
|
|
"values": [
|
|
0.9646233089941699,
|
|
0.9714799011902089,
|
|
0.9703449440099038,
|
|
0.9745629762438368,
|
|
0.9762077227391764
|
|
]
|
|
}
|
|
},
|
|
"aggregated_per_source": {
|
|
"inpainting": {
|
|
"accuracy": {
|
|
"mean": 0.9603333333333334,
|
|
"std": 0.013406051701460153,
|
|
"ci_95": 0.011750922422421914,
|
|
"values": [
|
|
0.9376666666666666,
|
|
0.9633333333333334,
|
|
0.9603333333333334,
|
|
0.969,
|
|
0.9713333333333334
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 3000.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000
|
|
]
|
|
},
|
|
"detection_rate": {
|
|
"mean": 0.9603333333333334,
|
|
"std": 0.013406051701460153,
|
|
"ci_95": 0.011750922422421914,
|
|
"values": [
|
|
0.9376666666666666,
|
|
0.9633333333333334,
|
|
0.9603333333333334,
|
|
0.969,
|
|
0.9713333333333334
|
|
]
|
|
},
|
|
"pairwise_auc": {
|
|
"mean": 0.9913560333333333,
|
|
"std": 0.0014867652841606051,
|
|
"ci_95": 0.0013032072308522024,
|
|
"values": [
|
|
0.9889452777777779,
|
|
0.9920180000000001,
|
|
0.9927421666666667,
|
|
0.9920872777777778,
|
|
0.9909874444444444
|
|
]
|
|
},
|
|
"pairwise_f1": {
|
|
"mean": 0.9540043029873162,
|
|
"std": 0.005836792686344383,
|
|
"ci_95": 0.005116174365157942,
|
|
"values": [
|
|
0.9441181406276221,
|
|
0.9553719008264463,
|
|
0.9555555555555556,
|
|
0.9597226807527237,
|
|
0.9552532371742337
|
|
]
|
|
}
|
|
},
|
|
"insight": {
|
|
"accuracy": {
|
|
"mean": 0.9408666666666667,
|
|
"std": 0.013987295823154819,
|
|
"ci_95": 0.012260405358533436,
|
|
"values": [
|
|
0.9273333333333333,
|
|
0.938,
|
|
0.9293333333333333,
|
|
0.949,
|
|
0.9606666666666667
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 3000.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000
|
|
]
|
|
},
|
|
"detection_rate": {
|
|
"mean": 0.9408666666666667,
|
|
"std": 0.013987295823154819,
|
|
"ci_95": 0.012260405358533436,
|
|
"values": [
|
|
0.9273333333333333,
|
|
0.938,
|
|
0.9293333333333333,
|
|
0.949,
|
|
0.9606666666666667
|
|
]
|
|
},
|
|
"pairwise_auc": {
|
|
"mean": 0.9865707444444445,
|
|
"std": 0.001461073526449416,
|
|
"ci_95": 0.0012806874123043625,
|
|
"values": [
|
|
0.984199,
|
|
0.9872330555555556,
|
|
0.9861466666666666,
|
|
0.9875391666666667,
|
|
0.9877358333333333
|
|
]
|
|
},
|
|
"pairwise_f1": {
|
|
"mean": 0.9437869540426937,
|
|
"std": 0.005408384584122056,
|
|
"ci_95": 0.004740658106795068,
|
|
"values": [
|
|
0.9385964912280702,
|
|
0.9420823568798126,
|
|
0.9391948795688058,
|
|
0.9493164388129376,
|
|
0.9497446037238425
|
|
]
|
|
}
|
|
},
|
|
"text2img": {
|
|
"accuracy": {
|
|
"mean": 0.9822666666666666,
|
|
"std": 0.004663093870430252,
|
|
"ci_95": 0.0040873819928598995,
|
|
"values": [
|
|
0.9753333333333334,
|
|
0.9826666666666667,
|
|
0.9843333333333333,
|
|
0.981,
|
|
0.988
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 3000.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000
|
|
]
|
|
},
|
|
"detection_rate": {
|
|
"mean": 0.9822666666666666,
|
|
"std": 0.004663093870430252,
|
|
"ci_95": 0.0040873819928598995,
|
|
"values": [
|
|
0.9753333333333334,
|
|
0.9826666666666667,
|
|
0.9843333333333333,
|
|
0.981,
|
|
0.988
|
|
]
|
|
},
|
|
"pairwise_auc": {
|
|
"mean": 0.9954290777777777,
|
|
"std": 0.000749379337424009,
|
|
"ci_95": 0.0006568599506502238,
|
|
"values": [
|
|
0.9952185555555556,
|
|
0.995597888888889,
|
|
0.9965112222222222,
|
|
0.9944286666666666,
|
|
0.9953890555555555
|
|
]
|
|
},
|
|
"pairwise_f1": {
|
|
"mean": 0.9653105440380101,
|
|
"std": 0.0017130276663431087,
|
|
"ci_95": 0.0015015349532381597,
|
|
"values": [
|
|
0.9637681159420289,
|
|
0.9652914210870989,
|
|
0.9678793838085874,
|
|
0.9658680669510994,
|
|
0.9637457324012356
|
|
]
|
|
}
|
|
},
|
|
"wiki": {
|
|
"accuracy": {
|
|
"mean": 0.9471333333333334,
|
|
"std": 0.005570756980279567,
|
|
"ci_95": 0.004882983787262335,
|
|
"values": [
|
|
0.9513333333333334,
|
|
0.9466666666666667,
|
|
0.9503333333333334,
|
|
0.9496666666666667,
|
|
0.9376666666666666
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 3000.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000
|
|
]
|
|
},
|
|
"false_alarm_rate": {
|
|
"mean": 0.05286666666666666,
|
|
"std": 0.005570756980279567,
|
|
"ci_95": 0.004882983787262335,
|
|
"values": [
|
|
0.048666666666666636,
|
|
0.053333333333333344,
|
|
0.04966666666666664,
|
|
0.05033333333333334,
|
|
0.06233333333333335
|
|
]
|
|
}
|
|
}
|
|
},
|
|
"aggregated_pairwise": {
|
|
"wiki_vs_inpainting": {
|
|
"accuracy": {
|
|
"mean": 0.9537333333333334,
|
|
"std": 0.005508327029749301,
|
|
"ci_95": 0.004828261522881025,
|
|
"values": [
|
|
0.9445,
|
|
0.955,
|
|
0.9553333333333334,
|
|
0.9593333333333334,
|
|
0.9545
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.9913560333333333,
|
|
"std": 0.0014867652841606051,
|
|
"ci_95": 0.0013032072308522024,
|
|
"values": [
|
|
0.9889452777777779,
|
|
0.9920180000000001,
|
|
0.9927421666666667,
|
|
0.9920872777777778,
|
|
0.9909874444444444
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.9540043029873162,
|
|
"std": 0.005836792686344383,
|
|
"ci_95": 0.005116174365157942,
|
|
"values": [
|
|
0.9441181406276221,
|
|
0.9553719008264463,
|
|
0.9555555555555556,
|
|
0.9597226807527237,
|
|
0.9552532371742337
|
|
]
|
|
}
|
|
},
|
|
"wiki_vs_insight": {
|
|
"accuracy": {
|
|
"mean": 0.9440000000000002,
|
|
"std": 0.004925838902043904,
|
|
"ci_95": 0.004317688167423774,
|
|
"values": [
|
|
0.9393333333333334,
|
|
0.9423333333333334,
|
|
0.9398333333333333,
|
|
0.9493333333333334,
|
|
0.9491666666666667
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.9865707444444445,
|
|
"std": 0.001461073526449416,
|
|
"ci_95": 0.0012806874123043625,
|
|
"values": [
|
|
0.984199,
|
|
0.9872330555555556,
|
|
0.9861466666666666,
|
|
0.9875391666666667,
|
|
0.9877358333333333
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.9437869540426937,
|
|
"std": 0.005408384584122056,
|
|
"ci_95": 0.004740658106795068,
|
|
"values": [
|
|
0.9385964912280702,
|
|
0.9420823568798126,
|
|
0.9391948795688058,
|
|
0.9493164388129376,
|
|
0.9497446037238425
|
|
]
|
|
}
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"accuracy": {
|
|
"mean": 0.9647,
|
|
"std": 0.0017810733343190225,
|
|
"ci_95": 0.001561179610992221,
|
|
"values": [
|
|
0.9633333333333334,
|
|
0.9646666666666667,
|
|
0.9673333333333334,
|
|
0.9653333333333334,
|
|
0.9628333333333333
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.9954290777777777,
|
|
"std": 0.000749379337424009,
|
|
"ci_95": 0.0006568599506502238,
|
|
"values": [
|
|
0.9952185555555556,
|
|
0.995597888888889,
|
|
0.9965112222222222,
|
|
0.9944286666666666,
|
|
0.9953890555555555
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.9653105440380101,
|
|
"std": 0.0017130276663431087,
|
|
"ci_95": 0.0015015349532381597,
|
|
"values": [
|
|
0.9637681159420289,
|
|
0.9652914210870989,
|
|
0.9678793838085874,
|
|
0.9658680669510994,
|
|
0.9637457324012356
|
|
]
|
|
}
|
|
}
|
|
},
|
|
"config": {
|
|
"seed": 42,
|
|
"cv_folds": 5,
|
|
"batch_size": 32,
|
|
"num_workers": 4,
|
|
"early_stopping_patience": 5,
|
|
"lr": 0.0001,
|
|
"weight_decay": 0.0001,
|
|
"T_max": 15,
|
|
"data_dir": "cropped/classifier",
|
|
"pretrained": true,
|
|
"epochs": 15,
|
|
"image_size": 224,
|
|
"augment": false,
|
|
"run_name": "p4_efficientnet_b0_50pct",
|
|
"backbone": "efficientnet_b0",
|
|
"subsample": 0.5
|
|
}
|
|
} |