Johnny Fernandes
1697 lines
40 KiB
JSON
1697 lines
40 KiB
JSON
{
|
|
"run_name": "p4_convnext_tiny_50pct",
|
|
"n_folds": 5,
|
|
"fold_results": [
|
|
{
|
|
"fold": 0,
|
|
"train_size": 43200,
|
|
"val_size": 4800,
|
|
"test_size": 12000,
|
|
"history": {
|
|
"train_loss": [
|
|
0.1324003338475746,
|
|
0.07056582549103985,
|
|
0.04883228535469647,
|
|
0.03327037052992468,
|
|
0.023922141727331717,
|
|
0.01889284345636649,
|
|
0.012466822734750168,
|
|
0.008877882149052446,
|
|
0.00629034520371348,
|
|
0.003594910873839749,
|
|
0.0035115355227735225
|
|
],
|
|
"train_acc": [
|
|
0.8927777777777778,
|
|
0.9538657407407407,
|
|
0.9730324074074074,
|
|
0.9830787037037036,
|
|
0.9891666666666666,
|
|
0.992037037037037,
|
|
0.9944675925925925,
|
|
0.9963657407407407,
|
|
0.9975,
|
|
0.9987037037037036,
|
|
0.9988657407407407
|
|
],
|
|
"train_auc": [
|
|
0.9588649377000458,
|
|
0.9895250671582075,
|
|
0.9954904721079103,
|
|
0.9977989354709649,
|
|
0.9989553583676268,
|
|
0.9993550082876086,
|
|
0.999646920724737,
|
|
0.9998249928555097,
|
|
0.9998839406149977,
|
|
0.9999280949931413,
|
|
0.9999433741998169
|
|
],
|
|
"train_f1": [
|
|
0.9263124403436207,
|
|
0.9689510663820904,
|
|
0.9819533730927117,
|
|
0.9886924373907529,
|
|
0.9927704143108722,
|
|
0.9946890631754461,
|
|
0.996309963099631,
|
|
0.997576150556559,
|
|
0.9983329731732165,
|
|
0.9991358291410759,
|
|
0.9992438388296477
|
|
],
|
|
"val_loss": [
|
|
0.06550615353509784,
|
|
0.07078924130396141,
|
|
0.07756117730794358,
|
|
0.08732641841614774,
|
|
0.11466669936306668,
|
|
0.08110513987126372,
|
|
0.11033295377741524,
|
|
0.10932434461073474,
|
|
0.1203271046584814,
|
|
0.1371523315852149,
|
|
0.1439854751119856
|
|
],
|
|
"val_acc": [
|
|
0.9439583333333333,
|
|
0.96125,
|
|
0.9579166666666666,
|
|
0.96375,
|
|
0.958125,
|
|
0.9697916666666667,
|
|
0.9622916666666667,
|
|
0.965625,
|
|
0.9672916666666667,
|
|
0.9683333333333334,
|
|
0.9704166666666667
|
|
],
|
|
"val_auc": [
|
|
0.990547337962963,
|
|
0.9919372685185185,
|
|
0.9917865740740741,
|
|
0.9923704861111111,
|
|
0.9898861111111112,
|
|
0.993287037037037,
|
|
0.9887357638888888,
|
|
0.9898836805555555,
|
|
0.9889494212962961,
|
|
0.9858118055555556,
|
|
0.9860413194444445
|
|
],
|
|
"val_f1": [
|
|
0.9616863694630394,
|
|
0.9741307371349096,
|
|
0.9717245240761478,
|
|
0.9758935993349959,
|
|
0.9720406176102379,
|
|
0.9797909407665505,
|
|
0.9745750807697711,
|
|
0.9769198489299202,
|
|
0.9780511673423739,
|
|
0.9788830230619616,
|
|
0.9803704727674869
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9660833333333333,
|
|
"auc_roc": 0.9936477407407408,
|
|
"f1": 0.9772714580890155,
|
|
"confusion_matrix": [
|
|
[
|
|
2843,
|
|
157
|
|
],
|
|
[
|
|
250,
|
|
8750
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.982,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
54,
|
|
2946
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.982,
|
|
"pairwise_auc": 0.9948652777777777,
|
|
"pairwise_f1": 0.9654268392593807
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.9433333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
170,
|
|
2830
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9433333333333334,
|
|
"pairwise_auc": 0.9885088888888889,
|
|
"pairwise_f1": 0.9453816602639051
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9913333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
26,
|
|
2974
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9913333333333333,
|
|
"pairwise_auc": 0.9975690555555555,
|
|
"pairwise_f1": 0.9701516881422281
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.9476666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
2843,
|
|
157
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"false_alarm_rate": 0.05233333333333334
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9648333333333333,
|
|
"auc_roc": 0.9948652777777777,
|
|
"f1": 0.9654268392593807,
|
|
"confusion_matrix": [
|
|
[
|
|
2843,
|
|
157
|
|
],
|
|
[
|
|
54,
|
|
2946
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9455,
|
|
"auc_roc": 0.9885088888888889,
|
|
"f1": 0.9453816602639051,
|
|
"confusion_matrix": [
|
|
[
|
|
2843,
|
|
157
|
|
],
|
|
[
|
|
170,
|
|
2830
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9695,
|
|
"auc_roc": 0.9975690555555555,
|
|
"f1": 0.9701516881422281,
|
|
"confusion_matrix": [
|
|
[
|
|
2843,
|
|
157
|
|
],
|
|
[
|
|
26,
|
|
2974
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 1,
|
|
"train_size": 43200,
|
|
"val_size": 4800,
|
|
"test_size": 12000,
|
|
"history": {
|
|
"train_loss": [
|
|
0.13494926468814136,
|
|
0.070382738929949,
|
|
0.04415779119124097,
|
|
0.034894494019269286,
|
|
0.021701306268555022,
|
|
0.017471862595946866,
|
|
0.012325846984598751,
|
|
0.008585476495817838
|
|
],
|
|
"train_acc": [
|
|
0.8924537037037037,
|
|
0.9551851851851851,
|
|
0.9748611111111111,
|
|
0.9831712962962963,
|
|
0.9897685185185185,
|
|
0.9923611111111111,
|
|
0.9945833333333334,
|
|
0.9965972222222222
|
|
],
|
|
"train_auc": [
|
|
0.9576937628600823,
|
|
0.9897891446616369,
|
|
0.9963833862025606,
|
|
0.9978542938385917,
|
|
0.9991015946502058,
|
|
0.9994521219135803,
|
|
0.9996434770804755,
|
|
0.9998504929698215
|
|
],
|
|
"train_f1": [
|
|
0.9261860125194623,
|
|
0.9698892621624985,
|
|
0.9831810438284033,
|
|
0.9887647395181356,
|
|
0.993172268907563,
|
|
0.9949047339653522,
|
|
0.9963867700194559,
|
|
0.9977311663656989
|
|
],
|
|
"val_loss": [
|
|
0.07278420249621073,
|
|
0.11457949502548824,
|
|
0.087169714011737,
|
|
0.09928308459343195,
|
|
0.19095568166800148,
|
|
0.10872075447055977,
|
|
0.11499772694280788,
|
|
0.2413363664977017
|
|
],
|
|
"val_acc": [
|
|
0.9325,
|
|
0.9525,
|
|
0.9604166666666667,
|
|
0.946875,
|
|
0.95625,
|
|
0.9558333333333333,
|
|
0.9652083333333333,
|
|
0.9547916666666667
|
|
],
|
|
"val_auc": [
|
|
0.9876380787037037,
|
|
0.9876533564814816,
|
|
0.9908244212962963,
|
|
0.9904368055555556,
|
|
0.9822270833333334,
|
|
0.9891061342592593,
|
|
0.9887234953703703,
|
|
0.9749494212962964
|
|
],
|
|
"val_f1": [
|
|
0.9535683576956148,
|
|
0.9688183807439825,
|
|
0.9735596994155302,
|
|
0.9638143891017454,
|
|
0.9713349713349714,
|
|
0.9701408450704225,
|
|
0.9767312247457155,
|
|
0.9704480457578646
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9635833333333333,
|
|
"auc_roc": 0.9917172407407407,
|
|
"f1": 0.9757585843457036,
|
|
"confusion_matrix": [
|
|
[
|
|
2768,
|
|
232
|
|
],
|
|
[
|
|
205,
|
|
8795
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.9793333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
62,
|
|
2938
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9793333333333333,
|
|
"pairwise_auc": 0.9914672777777779,
|
|
"pairwise_f1": 0.9523500810372771
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.9676666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
97,
|
|
2903
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9676666666666667,
|
|
"pairwise_auc": 0.9896503888888889,
|
|
"pairwise_f1": 0.9463732681336593
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9846666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
46,
|
|
2954
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9846666666666667,
|
|
"pairwise_auc": 0.9940340555555556,
|
|
"pairwise_f1": 0.9550598124797931
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.9226666666666666,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
2768,
|
|
232
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"false_alarm_rate": 0.07733333333333337
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.951,
|
|
"auc_roc": 0.9914672777777779,
|
|
"f1": 0.9523500810372771,
|
|
"confusion_matrix": [
|
|
[
|
|
2768,
|
|
232
|
|
],
|
|
[
|
|
62,
|
|
2938
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9451666666666667,
|
|
"auc_roc": 0.9896503888888889,
|
|
"f1": 0.9463732681336593,
|
|
"confusion_matrix": [
|
|
[
|
|
2768,
|
|
232
|
|
],
|
|
[
|
|
97,
|
|
2903
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9536666666666667,
|
|
"auc_roc": 0.9940340555555556,
|
|
"f1": 0.9550598124797931,
|
|
"confusion_matrix": [
|
|
[
|
|
2768,
|
|
232
|
|
],
|
|
[
|
|
46,
|
|
2954
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 2,
|
|
"train_size": 43200,
|
|
"val_size": 4800,
|
|
"test_size": 12000,
|
|
"history": {
|
|
"train_loss": [
|
|
0.13119909875060398,
|
|
0.06800857534985644,
|
|
0.0506861444386272,
|
|
0.03622987819852251,
|
|
0.024592497727779255,
|
|
0.018111938951457247,
|
|
0.013104306469798488,
|
|
0.008813233754923305,
|
|
0.007321603590425588,
|
|
0.003761254202693602,
|
|
0.0017995317047251335,
|
|
0.002064941429270372
|
|
],
|
|
"train_acc": [
|
|
0.8911805555555555,
|
|
0.957662037037037,
|
|
0.9718981481481481,
|
|
0.9815972222222222,
|
|
0.9889583333333334,
|
|
0.9923148148148148,
|
|
0.994537037037037,
|
|
0.9958796296296296,
|
|
0.9972453703703704,
|
|
0.9985648148148148,
|
|
0.9990509259259259,
|
|
0.9992592592592593
|
|
],
|
|
"train_auc": [
|
|
0.9594026977594878,
|
|
0.990162842935528,
|
|
0.9953780435528121,
|
|
0.9976526863283036,
|
|
0.9987852594878829,
|
|
0.9994582390260631,
|
|
0.9997656507201647,
|
|
0.9998330318358482,
|
|
0.9998116812414266,
|
|
0.9998816829561044,
|
|
0.9999950717306814,
|
|
0.9999962548582533
|
|
],
|
|
"train_f1": [
|
|
0.9251039559003935,
|
|
0.9715556523226699,
|
|
0.9812033567646239,
|
|
0.9877130890376026,
|
|
0.9926328632986856,
|
|
0.9948752778463819,
|
|
0.9963581370945341,
|
|
0.9972517292490118,
|
|
0.9981629849179519,
|
|
0.9990431508117785,
|
|
0.9993671765268796,
|
|
0.9995061423544663
|
|
],
|
|
"val_loss": [
|
|
0.08717995242526135,
|
|
0.11833033402332754,
|
|
0.3160384011646723,
|
|
0.27577459198515497,
|
|
0.13970398081666643,
|
|
0.10496875247186836,
|
|
0.11306562738134138,
|
|
0.17511376942046505,
|
|
0.15400863238897122,
|
|
0.14029672738412047,
|
|
0.15830577253527128,
|
|
0.18530840903478749
|
|
],
|
|
"val_acc": [
|
|
0.91375,
|
|
0.9579166666666666,
|
|
0.9220833333333334,
|
|
0.9425,
|
|
0.9525,
|
|
0.9670833333333333,
|
|
0.955625,
|
|
0.9660416666666667,
|
|
0.9691666666666666,
|
|
0.96625,
|
|
0.9641666666666666,
|
|
0.9697916666666667
|
|
],
|
|
"val_auc": [
|
|
0.9855586805555556,
|
|
0.9852601851851852,
|
|
0.9825673611111111,
|
|
0.9782900462962962,
|
|
0.9871129629629629,
|
|
0.9898122685185184,
|
|
0.9900162037037036,
|
|
0.9778850694444445,
|
|
0.9818650462962962,
|
|
0.9841902777777778,
|
|
0.9842106481481482,
|
|
0.974015162037037
|
|
],
|
|
"val_f1": [
|
|
0.9396149358226371,
|
|
0.9722374931280924,
|
|
0.9504635761589404,
|
|
0.9628732849071832,
|
|
0.9681653169505725,
|
|
0.9780433574207893,
|
|
0.9700632466619817,
|
|
0.9774643992810729,
|
|
0.9795974634684312,
|
|
0.9774812343619683,
|
|
0.975984361910081,
|
|
0.9799751415550338
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9575833333333333,
|
|
"auc_roc": 0.9930407222222223,
|
|
"f1": 0.9712737739150065,
|
|
"confusion_matrix": [
|
|
[
|
|
2886,
|
|
114
|
|
],
|
|
[
|
|
395,
|
|
8605
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.961,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
117,
|
|
2883
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.961,
|
|
"pairwise_auc": 0.9944106666666667,
|
|
"pairwise_f1": 0.961480740370185
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.9223333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
233,
|
|
2767
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9223333333333333,
|
|
"pairwise_auc": 0.9871346111111112,
|
|
"pairwise_f1": 0.9409964291787111
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.985,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
45,
|
|
2955
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.985,
|
|
"pairwise_auc": 0.997576888888889,
|
|
"pairwise_f1": 0.9738012852199703
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.962,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
2886,
|
|
114
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"false_alarm_rate": 0.038000000000000034
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9615,
|
|
"auc_roc": 0.9944106666666667,
|
|
"f1": 0.961480740370185,
|
|
"confusion_matrix": [
|
|
[
|
|
2886,
|
|
114
|
|
],
|
|
[
|
|
117,
|
|
2883
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9421666666666667,
|
|
"auc_roc": 0.9871346111111112,
|
|
"f1": 0.9409964291787111,
|
|
"confusion_matrix": [
|
|
[
|
|
2886,
|
|
114
|
|
],
|
|
[
|
|
233,
|
|
2767
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9735,
|
|
"auc_roc": 0.997576888888889,
|
|
"f1": 0.9738012852199703,
|
|
"confusion_matrix": [
|
|
[
|
|
2886,
|
|
114
|
|
],
|
|
[
|
|
45,
|
|
2955
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 3,
|
|
"train_size": 43200,
|
|
"val_size": 4800,
|
|
"test_size": 12000,
|
|
"history": {
|
|
"train_loss": [
|
|
0.12937513307651022,
|
|
0.0685542051297509,
|
|
0.045425666584353035,
|
|
0.03339044271001276,
|
|
0.021705527840632486,
|
|
0.01875735319323414,
|
|
0.011569356538394223,
|
|
0.007056653227283884,
|
|
0.007567964990052368
|
|
],
|
|
"train_acc": [
|
|
0.8955787037037037,
|
|
0.9548148148148148,
|
|
0.9740740740740741,
|
|
0.9842824074074074,
|
|
0.9897222222222222,
|
|
0.9916666666666667,
|
|
0.9950694444444445,
|
|
0.9966435185185185,
|
|
0.9970138888888889
|
|
],
|
|
"train_auc": [
|
|
0.9609376028806584,
|
|
0.990129815386374,
|
|
0.9960283707704617,
|
|
0.9981313100137175,
|
|
0.9991200874485596,
|
|
0.9993776606081389,
|
|
0.999679685356653,
|
|
0.9998390517832648,
|
|
0.9998038980338362
|
|
],
|
|
"train_f1": [
|
|
0.9281767955801105,
|
|
0.9695912263210369,
|
|
0.982643193652368,
|
|
0.989503949544759,
|
|
0.9931422216730508,
|
|
0.9944418712366836,
|
|
0.996711998888563,
|
|
0.9977609981315916,
|
|
0.9980092899800929
|
|
],
|
|
"val_loss": [
|
|
0.08800858625482458,
|
|
0.07845888340186018,
|
|
0.09676541328410773,
|
|
0.07692140371602363,
|
|
0.1363196615696385,
|
|
0.16536802378265444,
|
|
0.2564308036116078,
|
|
0.22922503288035537,
|
|
0.1368190014913186
|
|
],
|
|
"val_acc": [
|
|
0.9454166666666667,
|
|
0.9379166666666666,
|
|
0.9520833333333333,
|
|
0.9597916666666667,
|
|
0.9627083333333334,
|
|
0.9564583333333333,
|
|
0.9533333333333334,
|
|
0.96125,
|
|
0.965625
|
|
],
|
|
"val_auc": [
|
|
0.98653125,
|
|
0.9901392361111111,
|
|
0.9890343749999999,
|
|
0.9929427083333333,
|
|
0.9891126157407407,
|
|
0.9849818287037038,
|
|
0.9763950231481482,
|
|
0.9701442129629629,
|
|
0.9856166666666667
|
|
],
|
|
"val_f1": [
|
|
0.9636212163287976,
|
|
0.9573920503288533,
|
|
0.9678411633109619,
|
|
0.972805410736931,
|
|
0.975320557010892,
|
|
0.9711525189786059,
|
|
0.9696312364425163,
|
|
0.9744995887030437,
|
|
0.9770992366412213
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9550833333333333,
|
|
"auc_roc": 0.9916945370370369,
|
|
"f1": 0.9696491919590067,
|
|
"confusion_matrix": [
|
|
[
|
|
2851,
|
|
149
|
|
],
|
|
[
|
|
390,
|
|
8610
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.9683333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
95,
|
|
2905
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9683333333333334,
|
|
"pairwise_auc": 0.9938718888888889,
|
|
"pairwise_f1": 0.9596960687148992
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.9133333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
260,
|
|
2740
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9133333333333333,
|
|
"pairwise_auc": 0.9838428333333334,
|
|
"pairwise_f1": 0.9305484802173544
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9883333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
35,
|
|
2965
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9883333333333333,
|
|
"pairwise_auc": 0.9973688888888889,
|
|
"pairwise_f1": 0.9699051357540072
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.9503333333333334,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
2851,
|
|
149
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"false_alarm_rate": 0.04966666666666664
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9593333333333334,
|
|
"auc_roc": 0.9938718888888889,
|
|
"f1": 0.9596960687148992,
|
|
"confusion_matrix": [
|
|
[
|
|
2851,
|
|
149
|
|
],
|
|
[
|
|
95,
|
|
2905
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9318333333333333,
|
|
"auc_roc": 0.9838428333333334,
|
|
"f1": 0.9305484802173544,
|
|
"confusion_matrix": [
|
|
[
|
|
2851,
|
|
149
|
|
],
|
|
[
|
|
260,
|
|
2740
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9693333333333334,
|
|
"auc_roc": 0.9973688888888889,
|
|
"f1": 0.9699051357540072,
|
|
"confusion_matrix": [
|
|
[
|
|
2851,
|
|
149
|
|
],
|
|
[
|
|
35,
|
|
2965
|
|
]
|
|
]
|
|
}
|
|
}
|
|
},
|
|
{
|
|
"fold": 4,
|
|
"train_size": 43200,
|
|
"val_size": 4800,
|
|
"test_size": 12000,
|
|
"history": {
|
|
"train_loss": [
|
|
0.13319436368980894,
|
|
0.07046602831536869,
|
|
0.04663464978809417,
|
|
0.03285787282827153,
|
|
0.024862727595230994,
|
|
0.018287377359035788,
|
|
0.012202984480135355,
|
|
0.00926993770114408,
|
|
0.0055708189161933425,
|
|
0.004572856258577202,
|
|
0.002307673693190753
|
|
],
|
|
"train_acc": [
|
|
0.891875,
|
|
0.9536805555555555,
|
|
0.9744907407407407,
|
|
0.9829629629629629,
|
|
0.9884259259259259,
|
|
0.9924768518518519,
|
|
0.9947685185185186,
|
|
0.9962037037037037,
|
|
0.997824074074074,
|
|
0.998287037037037,
|
|
0.9990277777777777
|
|
],
|
|
"train_auc": [
|
|
0.958414820530407,
|
|
0.9895874457018747,
|
|
0.9957902906378601,
|
|
0.9979998185299497,
|
|
0.9989260931069958,
|
|
0.9992865897919525,
|
|
0.9996836219707362,
|
|
0.9997984210676727,
|
|
0.999767186785551,
|
|
0.9999095493255602,
|
|
0.9999858581961591
|
|
],
|
|
"train_f1": [
|
|
0.9256766432765288,
|
|
0.9688322611797324,
|
|
0.9829300783791319,
|
|
0.9886198472338188,
|
|
0.9922758450225545,
|
|
0.9949826321883443,
|
|
0.9965113766169615,
|
|
0.99746882331152,
|
|
0.998549114033463,
|
|
0.9988578484334002,
|
|
0.999351811840237
|
|
],
|
|
"val_loss": [
|
|
0.09409084393021962,
|
|
0.09193586376117309,
|
|
0.10640274003225689,
|
|
0.11417352680410962,
|
|
0.1312135693340315,
|
|
0.09627384911011783,
|
|
0.11824568273097612,
|
|
0.1380535729316216,
|
|
0.15469936904576267,
|
|
0.15459207036021325,
|
|
0.17848619423733908
|
|
],
|
|
"val_acc": [
|
|
0.9202083333333333,
|
|
0.9516666666666667,
|
|
0.9325,
|
|
0.96,
|
|
0.9620833333333333,
|
|
0.9585416666666666,
|
|
0.9525,
|
|
0.9610416666666667,
|
|
0.9666666666666667,
|
|
0.9664583333333333,
|
|
0.965625
|
|
],
|
|
"val_auc": [
|
|
0.9803093749999999,
|
|
0.9881222222222221,
|
|
0.9859587962962962,
|
|
0.9874520833333333,
|
|
0.9891725694444444,
|
|
0.9917233796296296,
|
|
0.9905582175925925,
|
|
0.9897956018518519,
|
|
0.9842819444444444,
|
|
0.9873722222222221,
|
|
0.9819618055555555
|
|
],
|
|
"val_f1": [
|
|
0.945010768126346,
|
|
0.9679292231130772,
|
|
0.9534482758620689,
|
|
0.9732217573221758,
|
|
0.9748340707964602,
|
|
0.9720623332865366,
|
|
0.9677601809954751,
|
|
0.9740673970323117,
|
|
0.9778393351800554,
|
|
0.9777470628887354,
|
|
0.9771878888428038
|
|
]
|
|
},
|
|
"test_metrics": {
|
|
"accuracy": 0.9609166666666666,
|
|
"auc_roc": 0.9929635370370371,
|
|
"f1": 0.9736620430167912,
|
|
"confusion_matrix": [
|
|
[
|
|
2862,
|
|
138
|
|
],
|
|
[
|
|
331,
|
|
8669
|
|
]
|
|
]
|
|
},
|
|
"source_metrics": {
|
|
"inpainting": {
|
|
"accuracy": 0.9706666666666667,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
88,
|
|
2912
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9706666666666667,
|
|
"pairwise_auc": 0.9942253333333334,
|
|
"pairwise_f1": 0.9626446280991735
|
|
},
|
|
"insight": {
|
|
"accuracy": 0.9276666666666666,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
217,
|
|
2783
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9276666666666666,
|
|
"pairwise_auc": 0.9871565555555557,
|
|
"pairwise_f1": 0.9400439115014355
|
|
},
|
|
"text2img": {
|
|
"accuracy": 0.9913333333333333,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
0,
|
|
0
|
|
],
|
|
[
|
|
26,
|
|
2974
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"detection_rate": 0.9913333333333333,
|
|
"pairwise_auc": 0.9975087222222223,
|
|
"pairwise_f1": 0.9731675392670157
|
|
},
|
|
"wiki": {
|
|
"accuracy": 0.954,
|
|
"auc_roc": null,
|
|
"f1": null,
|
|
"confusion_matrix": [
|
|
[
|
|
2862,
|
|
138
|
|
],
|
|
[
|
|
0,
|
|
0
|
|
]
|
|
],
|
|
"n": 3000,
|
|
"false_alarm_rate": 0.04600000000000004
|
|
}
|
|
},
|
|
"pair_metrics": {
|
|
"wiki_vs_inpainting": {
|
|
"sources": [
|
|
"wiki",
|
|
"inpainting"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9623333333333334,
|
|
"auc_roc": 0.9942253333333334,
|
|
"f1": 0.9626446280991735,
|
|
"confusion_matrix": [
|
|
[
|
|
2862,
|
|
138
|
|
],
|
|
[
|
|
88,
|
|
2912
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_insight": {
|
|
"sources": [
|
|
"wiki",
|
|
"insight"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9408333333333333,
|
|
"auc_roc": 0.9871565555555557,
|
|
"f1": 0.9400439115014355,
|
|
"confusion_matrix": [
|
|
[
|
|
2862,
|
|
138
|
|
],
|
|
[
|
|
217,
|
|
2783
|
|
]
|
|
]
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"sources": [
|
|
"wiki",
|
|
"text2img"
|
|
],
|
|
"n": 6000,
|
|
"accuracy": 0.9726666666666667,
|
|
"auc_roc": 0.9975087222222223,
|
|
"f1": 0.9731675392670157,
|
|
"confusion_matrix": [
|
|
[
|
|
2862,
|
|
138
|
|
],
|
|
[
|
|
26,
|
|
2974
|
|
]
|
|
]
|
|
}
|
|
}
|
|
}
|
|
],
|
|
"aggregated_metrics": {
|
|
"accuracy": {
|
|
"mean": 0.96065,
|
|
"std": 0.0044325187221513525,
|
|
"ci_95": 0.0038852739643142034,
|
|
"values": [
|
|
0.9660833333333333,
|
|
0.9635833333333333,
|
|
0.9575833333333333,
|
|
0.9550833333333333,
|
|
0.9609166666666666
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.9926127555555556,
|
|
"std": 0.0008692625438244374,
|
|
"ci_95": 0.0007619422142080462,
|
|
"values": [
|
|
0.9936477407407408,
|
|
0.9917172407407407,
|
|
0.9930407222222223,
|
|
0.9916945370370369,
|
|
0.9929635370370371
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.9735230102651047,
|
|
"std": 0.0031278393137968348,
|
|
"ci_95": 0.002741672040711639,
|
|
"values": [
|
|
0.9772714580890155,
|
|
0.9757585843457036,
|
|
0.9712737739150065,
|
|
0.9696491919590067,
|
|
0.9736620430167912
|
|
]
|
|
}
|
|
},
|
|
"aggregated_per_source": {
|
|
"inpainting": {
|
|
"accuracy": {
|
|
"mean": 0.9722666666666665,
|
|
"std": 0.008509471846778208,
|
|
"ci_95": 0.0074588809407905654,
|
|
"values": [
|
|
0.982,
|
|
0.9793333333333333,
|
|
0.961,
|
|
0.9683333333333334,
|
|
0.9706666666666667
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 3000.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000
|
|
]
|
|
},
|
|
"detection_rate": {
|
|
"mean": 0.9722666666666665,
|
|
"std": 0.008509471846778208,
|
|
"ci_95": 0.0074588809407905654,
|
|
"values": [
|
|
0.982,
|
|
0.9793333333333333,
|
|
0.961,
|
|
0.9683333333333334,
|
|
0.9706666666666667
|
|
]
|
|
},
|
|
"pairwise_auc": {
|
|
"mean": 0.993768088888889,
|
|
"std": 0.001335131861407524,
|
|
"ci_95": 0.0011702946756049562,
|
|
"values": [
|
|
0.9948652777777777,
|
|
0.9914672777777779,
|
|
0.9944106666666667,
|
|
0.9938718888888889,
|
|
0.9942253333333334
|
|
]
|
|
},
|
|
"pairwise_f1": {
|
|
"mean": 0.960319671496183,
|
|
"std": 0.004917822668847443,
|
|
"ci_95": 0.004310661629222269,
|
|
"values": [
|
|
0.9654268392593807,
|
|
0.9523500810372771,
|
|
0.961480740370185,
|
|
0.9596960687148992,
|
|
0.9626446280991735
|
|
]
|
|
}
|
|
},
|
|
"insight": {
|
|
"accuracy": {
|
|
"mean": 0.9348666666666666,
|
|
"std": 0.02133151033877662,
|
|
"ci_95": 0.018697893214655682,
|
|
"values": [
|
|
0.9433333333333334,
|
|
0.9676666666666667,
|
|
0.9223333333333333,
|
|
0.9133333333333333,
|
|
0.9276666666666666
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 3000.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000
|
|
]
|
|
},
|
|
"detection_rate": {
|
|
"mean": 0.9348666666666666,
|
|
"std": 0.02133151033877662,
|
|
"ci_95": 0.018697893214655682,
|
|
"values": [
|
|
0.9433333333333334,
|
|
0.9676666666666667,
|
|
0.9223333333333333,
|
|
0.9133333333333333,
|
|
0.9276666666666666
|
|
]
|
|
},
|
|
"pairwise_auc": {
|
|
"mean": 0.9872586555555557,
|
|
"std": 0.0021781370832422062,
|
|
"ci_95": 0.0019092213323175348,
|
|
"values": [
|
|
0.9885088888888889,
|
|
0.9896503888888889,
|
|
0.9871346111111112,
|
|
0.9838428333333334,
|
|
0.9871565555555557
|
|
]
|
|
},
|
|
"pairwise_f1": {
|
|
"mean": 0.940668749859013,
|
|
"std": 0.006278349854058973,
|
|
"ci_95": 0.005503216287599084,
|
|
"values": [
|
|
0.9453816602639051,
|
|
0.9463732681336593,
|
|
0.9409964291787111,
|
|
0.9305484802173544,
|
|
0.9400439115014355
|
|
]
|
|
}
|
|
},
|
|
"text2img": {
|
|
"accuracy": {
|
|
"mean": 0.9881333333333332,
|
|
"std": 0.0032540572964975156,
|
|
"ci_95": 0.0028523069805178724,
|
|
"values": [
|
|
0.9913333333333333,
|
|
0.9846666666666667,
|
|
0.985,
|
|
0.9883333333333333,
|
|
0.9913333333333333
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 3000.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000
|
|
]
|
|
},
|
|
"detection_rate": {
|
|
"mean": 0.9881333333333332,
|
|
"std": 0.0032540572964975156,
|
|
"ci_95": 0.0028523069805178724,
|
|
"values": [
|
|
0.9913333333333333,
|
|
0.9846666666666667,
|
|
0.985,
|
|
0.9883333333333333,
|
|
0.9913333333333333
|
|
]
|
|
},
|
|
"pairwise_auc": {
|
|
"mean": 0.9968115222222224,
|
|
"std": 0.0015548882123091008,
|
|
"ci_95": 0.0013629196101334195,
|
|
"values": [
|
|
0.9975690555555555,
|
|
0.9940340555555556,
|
|
0.997576888888889,
|
|
0.9973688888888889,
|
|
0.9975087222222223
|
|
]
|
|
},
|
|
"pairwise_f1": {
|
|
"mean": 0.9684170921726029,
|
|
"std": 0.00766805549076952,
|
|
"ci_95": 0.006721346986379653,
|
|
"values": [
|
|
0.9701516881422281,
|
|
0.9550598124797931,
|
|
0.9738012852199703,
|
|
0.9699051357540072,
|
|
0.9731675392670157
|
|
]
|
|
}
|
|
},
|
|
"wiki": {
|
|
"accuracy": {
|
|
"mean": 0.9473333333333335,
|
|
"std": 0.014808030854160785,
|
|
"ci_95": 0.012979811332304574,
|
|
"values": [
|
|
0.9476666666666667,
|
|
0.9226666666666666,
|
|
0.962,
|
|
0.9503333333333334,
|
|
0.954
|
|
]
|
|
},
|
|
"n": {
|
|
"mean": 3000.0,
|
|
"std": 0.0,
|
|
"ci_95": 0.0,
|
|
"values": [
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000,
|
|
3000
|
|
]
|
|
},
|
|
"false_alarm_rate": {
|
|
"mean": 0.05266666666666668,
|
|
"std": 0.014808030854160785,
|
|
"ci_95": 0.012979811332304574,
|
|
"values": [
|
|
0.05233333333333334,
|
|
0.07733333333333337,
|
|
0.038000000000000034,
|
|
0.04966666666666664,
|
|
0.04600000000000004
|
|
]
|
|
}
|
|
}
|
|
},
|
|
"aggregated_pairwise": {
|
|
"wiki_vs_inpainting": {
|
|
"accuracy": {
|
|
"mean": 0.9598000000000001,
|
|
"std": 0.0052985847166956025,
|
|
"ci_95": 0.00464441427954055,
|
|
"values": [
|
|
0.9648333333333333,
|
|
0.951,
|
|
0.9615,
|
|
0.9593333333333334,
|
|
0.9623333333333334
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.993768088888889,
|
|
"std": 0.001335131861407524,
|
|
"ci_95": 0.0011702946756049562,
|
|
"values": [
|
|
0.9948652777777777,
|
|
0.9914672777777779,
|
|
0.9944106666666667,
|
|
0.9938718888888889,
|
|
0.9942253333333334
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.960319671496183,
|
|
"std": 0.004917822668847443,
|
|
"ci_95": 0.004310661629222269,
|
|
"values": [
|
|
0.9654268392593807,
|
|
0.9523500810372771,
|
|
0.961480740370185,
|
|
0.9596960687148992,
|
|
0.9626446280991735
|
|
]
|
|
}
|
|
},
|
|
"wiki_vs_insight": {
|
|
"accuracy": {
|
|
"mean": 0.9410999999999999,
|
|
"std": 0.005544767303002423,
|
|
"ci_95": 0.004860202830701184,
|
|
"values": [
|
|
0.9455,
|
|
0.9451666666666667,
|
|
0.9421666666666667,
|
|
0.9318333333333333,
|
|
0.9408333333333333
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.9872586555555557,
|
|
"std": 0.0021781370832422062,
|
|
"ci_95": 0.0019092213323175348,
|
|
"values": [
|
|
0.9885088888888889,
|
|
0.9896503888888889,
|
|
0.9871346111111112,
|
|
0.9838428333333334,
|
|
0.9871565555555557
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.940668749859013,
|
|
"std": 0.006278349854058973,
|
|
"ci_95": 0.005503216287599084,
|
|
"values": [
|
|
0.9453816602639051,
|
|
0.9463732681336593,
|
|
0.9409964291787111,
|
|
0.9305484802173544,
|
|
0.9400439115014355
|
|
]
|
|
}
|
|
},
|
|
"wiki_vs_text2img": {
|
|
"accuracy": {
|
|
"mean": 0.9677333333333333,
|
|
"std": 0.008079982123192558,
|
|
"ci_95": 0.007082416599501123,
|
|
"values": [
|
|
0.9695,
|
|
0.9536666666666667,
|
|
0.9735,
|
|
0.9693333333333334,
|
|
0.9726666666666667
|
|
]
|
|
},
|
|
"auc_roc": {
|
|
"mean": 0.9968115222222224,
|
|
"std": 0.0015548882123091008,
|
|
"ci_95": 0.0013629196101334195,
|
|
"values": [
|
|
0.9975690555555555,
|
|
0.9940340555555556,
|
|
0.997576888888889,
|
|
0.9973688888888889,
|
|
0.9975087222222223
|
|
]
|
|
},
|
|
"f1": {
|
|
"mean": 0.9684170921726029,
|
|
"std": 0.00766805549076952,
|
|
"ci_95": 0.006721346986379653,
|
|
"values": [
|
|
0.9701516881422281,
|
|
0.9550598124797931,
|
|
0.9738012852199703,
|
|
0.9699051357540072,
|
|
0.9731675392670157
|
|
]
|
|
}
|
|
}
|
|
},
|
|
"config": {
|
|
"seed": 42,
|
|
"cv_folds": 5,
|
|
"batch_size": 32,
|
|
"num_workers": 4,
|
|
"early_stopping_patience": 5,
|
|
"lr": 0.0001,
|
|
"weight_decay": 0.0001,
|
|
"T_max": 15,
|
|
"data_dir": "cropped/classifier",
|
|
"pretrained": true,
|
|
"epochs": 15,
|
|
"image_size": 224,
|
|
"augment": false,
|
|
"run_name": "p4_convnext_tiny_50pct",
|
|
"backbone": "convnext_tiny",
|
|
"subsample": 0.5
|
|
}
|
|
} |