{
  "run_name": "p4_efficientnet_b0_50pct",
  "n_folds": 5,
  "fold_results": [
    {
      "fold": 0,
      "train_size": 43200,
      "val_size": 4800,
      "test_size": 12000,
      "history": {
        "train_loss": [
          0.13995583145016874,
          0.0742302408269434,
          0.04931435748745032,
          0.036101536007266045,
          0.02799243035423893,
          0.019398636371560214,
          0.016326042054589145,
          0.01265642531780503
        ],
        "train_acc": [
          0.8774305555555556,
          0.9448148148148148,
          0.9642824074074074,
          0.9755092592592592,
          0.9819675925925926,
          0.9880787037037037,
          0.9904166666666666,
          0.992800925925926
        ],
        "train_auc": [
          0.9524315357796067,
          0.9867225365797897,
          0.9940108381915865,
          0.9968044738797439,
          0.9979493812871515,
          0.9989981624371285,
          0.999284502171925,
          0.9995809713648834
        ],
        "train_f1": [
          0.9147219403778325,
          0.9626379137412236,
          0.9759503732913543,
          0.983573979195777,
          0.9879237912164571,
          0.9920346454257212,
          0.9936002473334364,
          0.9951938679318179
        ],
        "val_loss": [
          0.0717577344023933,
          0.0651803258418416,
          0.06610915583791212,
          0.07786277868920782,
          0.10584722187765995,
          0.09427113190349701,
          0.0933724149159813,
          0.10414942238099077
        ],
        "val_acc": [
          0.940625,
          0.9497916666666667,
          0.9527083333333334,
          0.9566666666666667,
          0.9604166666666667,
          0.96375,
          0.9679166666666666,
          0.9666666666666667
        ],
        "val_auc": [
          0.9871184027777778,
          0.9896539351851851,
          0.9904402777777777,
          0.9900805555555556,
          0.9867461805555555,
          0.9887718749999999,
          0.9899262731481481,
          0.9894398148148147
        ],
        "val_f1": [
          0.9596145670965,
          0.9658204509998581,
          0.9679151943462897,
          0.9707783085136275,
          0.9735376044568245,
          0.975752508361204,
          0.9785992217898832,
          0.9778270509977827
        ]
      },
      "test_metrics": {
        "accuracy": 0.9479166666666666,
        "auc_roc": 0.989454277777778,
        "f1": 0.9646233089941699,
        "confusion_matrix": [
          [
            2854,
            146
          ],
          [
            479,
            8521
          ]
        ]
      },
      "source_metrics": {
        "inpainting": {
          "accuracy": 0.9376666666666666,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              187,
              2813
            ]
          ],
          "n": 3000,
          "detection_rate": 0.9376666666666666,
          "pairwise_auc": 0.9889452777777779,
          "pairwise_f1": 0.9441181406276221
        },
        "insight": {
          "accuracy": 0.9273333333333333,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              218,
              2782
            ]
          ],
          "n": 3000,
          "detection_rate": 0.9273333333333333,
          "pairwise_auc": 0.984199,
          "pairwise_f1": 0.9385964912280702
        },
        "text2img": {
          "accuracy": 0.9753333333333334,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              74,
              2926
            ]
          ],
          "n": 3000,
          "detection_rate": 0.9753333333333334,
          "pairwise_auc": 0.9952185555555556,
          "pairwise_f1": 0.9637681159420289
        },
        "wiki": {
          "accuracy": 0.9513333333333334,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              2854,
              146
            ],
            [
              0,
              0
            ]
          ],
          "n": 3000,
          "false_alarm_rate": 0.048666666666666636
        }
      },
      "pair_metrics": {
        "wiki_vs_inpainting": {
          "sources": [
            "wiki",
            "inpainting"
          ],
          "n": 6000,
          "accuracy": 0.9445,
          "auc_roc": 0.9889452777777779,
          "f1": 0.9441181406276221,
          "confusion_matrix": [
            [
              2854,
              146
            ],
            [
              187,
              2813
            ]
          ]
        },
        "wiki_vs_insight": {
          "sources": [
            "wiki",
            "insight"
          ],
          "n": 6000,
          "accuracy": 0.9393333333333334,
          "auc_roc": 0.984199,
          "f1": 0.9385964912280702,
          "confusion_matrix": [
            [
              2854,
              146
            ],
            [
              218,
              2782
            ]
          ]
        },
        "wiki_vs_text2img": {
          "sources": [
            "wiki",
            "text2img"
          ],
          "n": 6000,
          "accuracy": 0.9633333333333334,
          "auc_roc": 0.9952185555555556,
          "f1": 0.9637681159420289,
          "confusion_matrix": [
            [
              2854,
              146
            ],
            [
              74,
              2926
            ]
          ]
        }
      }
    },
    {
      "fold": 1,
      "train_size": 43200,
      "val_size": 4800,
      "test_size": 12000,
      "history": {
        "train_loss": [
          0.13703774894277254,
          0.07261088119957734,
          0.049949107929822746,
          0.03655776003513623,
          0.02565751131902895,
          0.020755979462208213,
          0.01530354849683607,
          0.01180569783995755
        ],
        "train_acc": [
          0.8827546296296296,
          0.9460879629629629,
          0.9650694444444444,
          0.9751157407407407,
          0.9833333333333333,
          0.9879861111111111,
          0.9913425925925926,
          0.9929629629629629
        ],
        "train_auc": [
          0.95458952760631,
          0.9872329289551897,
          0.9938694387288523,
          0.9968150034293554,
          0.9983763860310928,
          0.9988992512574302,
          0.9993487282807498,
          0.9995777577732052
        ],
        "train_f1": [
          0.9187324508624147,
          0.9635015906348435,
          0.9764971575422475,
          0.9833185916236054,
          0.9888503468780971,
          0.9919740199489677,
          0.9942205464210656,
          0.9953026978584011
        ],
        "val_loss": [
          0.07383573662644873,
          0.06084749784320593,
          0.062151441794461186,
          0.08252791417177528,
          0.08929475046708224,
          0.08637180528450093,
          0.14654819222646742,
          0.09919148865640333
        ],
        "val_acc": [
          0.931875,
          0.9483333333333334,
          0.9541666666666667,
          0.9570833333333333,
          0.9577083333333334,
          0.9589583333333334,
          0.96375,
          0.9625
        ],
        "val_auc": [
          0.986648263888889,
          0.9907653935185186,
          0.9920665509259259,
          0.9889773148148149,
          0.989535300925926,
          0.9903372685185186,
          0.984566087962963,
          0.9901563657407407
        ],
        "val_f1": [
          0.9531048329270042,
          0.9648924122310306,
          0.9690315315315315,
          0.9712531398269606,
          0.9715646449082505,
          0.9724050987533268,
          0.9758935993349959,
          0.9748533109807209
        ]
      },
      "test_metrics": {
        "accuracy": 0.9576666666666667,
        "auc_roc": 0.9916163148148148,
        "f1": 0.9714799011902089,
        "confusion_matrix": [
          [
            2840,
            160
          ],
          [
            348,
            8652
          ]
        ]
      },
      "source_metrics": {
        "inpainting": {
          "accuracy": 0.9633333333333334,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              110,
              2890
            ]
          ],
          "n": 3000,
          "detection_rate": 0.9633333333333334,
          "pairwise_auc": 0.9920180000000001,
          "pairwise_f1": 0.9553719008264463
        },
        "insight": {
          "accuracy": 0.938,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              186,
              2814
            ]
          ],
          "n": 3000,
          "detection_rate": 0.938,
          "pairwise_auc": 0.9872330555555556,
          "pairwise_f1": 0.9420823568798126
        },
        "text2img": {
          "accuracy": 0.9826666666666667,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              52,
              2948
            ]
          ],
          "n": 3000,
          "detection_rate": 0.9826666666666667,
          "pairwise_auc": 0.995597888888889,
          "pairwise_f1": 0.9652914210870989
        },
        "wiki": {
          "accuracy": 0.9466666666666667,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              2840,
              160
            ],
            [
              0,
              0
            ]
          ],
          "n": 3000,
          "false_alarm_rate": 0.053333333333333344
        }
      },
      "pair_metrics": {
        "wiki_vs_inpainting": {
          "sources": [
            "wiki",
            "inpainting"
          ],
          "n": 6000,
          "accuracy": 0.955,
          "auc_roc": 0.9920180000000001,
          "f1": 0.9553719008264463,
          "confusion_matrix": [
            [
              2840,
              160
            ],
            [
              110,
              2890
            ]
          ]
        },
        "wiki_vs_insight": {
          "sources": [
            "wiki",
            "insight"
          ],
          "n": 6000,
          "accuracy": 0.9423333333333334,
          "auc_roc": 0.9872330555555556,
          "f1": 0.9420823568798126,
          "confusion_matrix": [
            [
              2840,
              160
            ],
            [
              186,
              2814
            ]
          ]
        },
        "wiki_vs_text2img": {
          "sources": [
            "wiki",
            "text2img"
          ],
          "n": 6000,
          "accuracy": 0.9646666666666667,
          "auc_roc": 0.995597888888889,
          "f1": 0.9652914210870989,
          "confusion_matrix": [
            [
              2840,
              160
            ],
            [
              52,
              2948
            ]
          ]
        }
      }
    },
    {
      "fold": 2,
      "train_size": 43200,
      "val_size": 4800,
      "test_size": 12000,
      "history": {
        "train_loss": [
          0.1375614403381392,
          0.07389981752399494,
          0.052839624919255986,
          0.036731442541306565,
          0.026873393501074233,
          0.019333559103394723,
          0.014892959629451743,
          0.012860762090223472
        ],
        "train_acc": [
          0.880625,
          0.9447453703703703,
          0.9637268518518518,
          0.9749074074074074,
          0.9834027777777777,
          0.9875694444444445,
          0.9907638888888889,
          0.9931944444444445
        ],
        "train_auc": [
          0.9541200174325559,
          0.9868919052926384,
          0.993432683184728,
          0.9967440600708734,
          0.9981491483767719,
          0.9989696744970279,
          0.9994402163351622,
          0.9996142489711934
        ],
        "train_f1": [
          0.9170700329661494,
          0.9625715405723245,
          0.9755968417610141,
          0.9831744947691926,
          0.9888952560905726,
          0.9916905222437137,
          0.99383202708343,
          0.9954586178133399
        ],
        "val_loss": [
          0.0739098088319103,
          0.08113757104380057,
          0.06485555243867566,
          0.07556574973772513,
          0.0859580600705946,
          0.09838335171874253,
          0.09800957444893962,
          0.12440219941302227
        ],
        "val_acc": [
          0.934375,
          0.9560416666666667,
          0.9610416666666667,
          0.9604166666666667,
          0.9622916666666667,
          0.9641666666666666,
          0.9629166666666666,
          0.9664583333333333
        ],
        "val_auc": [
          0.9864329861111111,
          0.9870130787037037,
          0.9906550925925927,
          0.990207986111111,
          0.9896921296296296,
          0.9897738425925925,
          0.9892907407407407,
          0.9874833333333334
        ],
        "val_f1": [
          0.9550577828506206,
          0.9706659252050605,
          0.9738058551617874,
          0.9734116988525049,
          0.9747171392652605,
          0.9761772853185595,
          0.9751812604573341,
          0.977703919124775
        ]
      },
      "test_metrics": {
        "accuracy": 0.9560833333333333,
        "auc_roc": 0.9918000185185185,
        "f1": 0.9703449440099038,
        "confusion_matrix": [
          [
            2851,
            149
          ],
          [
            378,
            8622
          ]
        ]
      },
      "source_metrics": {
        "inpainting": {
          "accuracy": 0.9603333333333334,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              119,
              2881
            ]
          ],
          "n": 3000,
          "detection_rate": 0.9603333333333334,
          "pairwise_auc": 0.9927421666666667,
          "pairwise_f1": 0.9555555555555556
        },
        "insight": {
          "accuracy": 0.9293333333333333,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              212,
              2788
            ]
          ],
          "n": 3000,
          "detection_rate": 0.9293333333333333,
          "pairwise_auc": 0.9861466666666666,
          "pairwise_f1": 0.9391948795688058
        },
        "text2img": {
          "accuracy": 0.9843333333333333,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              47,
              2953
            ]
          ],
          "n": 3000,
          "detection_rate": 0.9843333333333333,
          "pairwise_auc": 0.9965112222222222,
          "pairwise_f1": 0.9678793838085874
        },
        "wiki": {
          "accuracy": 0.9503333333333334,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              2851,
              149
            ],
            [
              0,
              0
            ]
          ],
          "n": 3000,
          "false_alarm_rate": 0.04966666666666664
        }
      },
      "pair_metrics": {
        "wiki_vs_inpainting": {
          "sources": [
            "wiki",
            "inpainting"
          ],
          "n": 6000,
          "accuracy": 0.9553333333333334,
          "auc_roc": 0.9927421666666667,
          "f1": 0.9555555555555556,
          "confusion_matrix": [
            [
              2851,
              149
            ],
            [
              119,
              2881
            ]
          ]
        },
        "wiki_vs_insight": {
          "sources": [
            "wiki",
            "insight"
          ],
          "n": 6000,
          "accuracy": 0.9398333333333333,
          "auc_roc": 0.9861466666666666,
          "f1": 0.9391948795688058,
          "confusion_matrix": [
            [
              2851,
              149
            ],
            [
              212,
              2788
            ]
          ]
        },
        "wiki_vs_text2img": {
          "sources": [
            "wiki",
            "text2img"
          ],
          "n": 6000,
          "accuracy": 0.9673333333333334,
          "auc_roc": 0.9965112222222222,
          "f1": 0.9678793838085874,
          "confusion_matrix": [
            [
              2851,
              149
            ],
            [
              47,
              2953
            ]
          ]
        }
      }
    },
    {
      "fold": 3,
      "train_size": 43200,
      "val_size": 4800,
      "test_size": 12000,
      "history": {
        "train_loss": [
          0.13664784223807078,
          0.07150818758471697,
          0.04927653304452111,
          0.03526544976863079,
          0.02582040710843608,
          0.019590364929387795,
          0.015163667804881698,
          0.01194234024270608,
          0.00934119974975534,
          0.006147137580592917
        ],
        "train_acc": [
          0.8803703703703704,
          0.9473148148148148,
          0.9647453703703703,
          0.9760648148148148,
          0.9826388888888888,
          0.9874537037037037,
          0.9909490740740741,
          0.9931018518518518,
          0.994537037037037,
          0.9963194444444444
        ],
        "train_auc": [
          0.9544961834133516,
          0.9877798982624599,
          0.9940069058641976,
          0.9969770204618198,
          0.9983109253543667,
          0.9990647247942386,
          0.9993941829561042,
          0.9994578960905349,
          0.9996915637860082,
          0.9998827003315045
        ],
        "train_f1": [
          0.9170651859935167,
          0.9643762717170136,
          0.976268017140631,
          0.9839460936529624,
          0.988376778352912,
          0.9916135421179675,
          0.9939556957133361,
          0.9953958346208516,
          0.9963545367481232,
          0.9975447428156704
        ],
        "val_loss": [
          0.07596324859807889,
          0.06352717091407006,
          0.08309621615626384,
          0.06560108180419774,
          0.06666424893009511,
          0.07464824672630736,
          0.07669509967684159,
          0.09062671284765504,
          0.09179153696128803,
          0.1132413583906479
        ],
        "val_acc": [
          0.9354166666666667,
          0.949375,
          0.9510416666666667,
          0.956875,
          0.9625,
          0.9627083333333334,
          0.965625,
          0.9647916666666667,
          0.9654166666666667,
          0.9647916666666667
        ],
        "val_auc": [
          0.9858332175925926,
          0.9903429398148148,
          0.9881993055555556,
          0.991364236111111,
          0.9922137731481482,
          0.9921571759259259,
          0.9918961805555555,
          0.9900361111111111,
          0.9898755787037037,
          0.9895331018518518
        ],
        "val_f1": [
          0.955928348023884,
          0.9656537102473498,
          0.9669711876317639,
          0.9708327462308017,
          0.9746977790272702,
          0.9749194339358274,
          0.9769133902336645,
          0.9763470958712386,
          0.9768930957683741,
          0.9764722260893777
        ]
      },
      "test_metrics": {
        "accuracy": 0.9621666666666666,
        "auc_roc": 0.9913517037037036,
        "f1": 0.9745629762438368,
        "confusion_matrix": [
          [
            2849,
            151
          ],
          [
            303,
            8697
          ]
        ]
      },
      "source_metrics": {
        "inpainting": {
          "accuracy": 0.969,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              93,
              2907
            ]
          ],
          "n": 3000,
          "detection_rate": 0.969,
          "pairwise_auc": 0.9920872777777778,
          "pairwise_f1": 0.9597226807527237
        },
        "insight": {
          "accuracy": 0.949,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              153,
              2847
            ]
          ],
          "n": 3000,
          "detection_rate": 0.949,
          "pairwise_auc": 0.9875391666666667,
          "pairwise_f1": 0.9493164388129376
        },
        "text2img": {
          "accuracy": 0.981,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              57,
              2943
            ]
          ],
          "n": 3000,
          "detection_rate": 0.981,
          "pairwise_auc": 0.9944286666666666,
          "pairwise_f1": 0.9658680669510994
        },
        "wiki": {
          "accuracy": 0.9496666666666667,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              2849,
              151
            ],
            [
              0,
              0
            ]
          ],
          "n": 3000,
          "false_alarm_rate": 0.05033333333333334
        }
      },
      "pair_metrics": {
        "wiki_vs_inpainting": {
          "sources": [
            "wiki",
            "inpainting"
          ],
          "n": 6000,
          "accuracy": 0.9593333333333334,
          "auc_roc": 0.9920872777777778,
          "f1": 0.9597226807527237,
          "confusion_matrix": [
            [
              2849,
              151
            ],
            [
              93,
              2907
            ]
          ]
        },
        "wiki_vs_insight": {
          "sources": [
            "wiki",
            "insight"
          ],
          "n": 6000,
          "accuracy": 0.9493333333333334,
          "auc_roc": 0.9875391666666667,
          "f1": 0.9493164388129376,
          "confusion_matrix": [
            [
              2849,
              151
            ],
            [
              153,
              2847
            ]
          ]
        },
        "wiki_vs_text2img": {
          "sources": [
            "wiki",
            "text2img"
          ],
          "n": 6000,
          "accuracy": 0.9653333333333334,
          "auc_roc": 0.9944286666666666,
          "f1": 0.9658680669510994,
          "confusion_matrix": [
            [
              2849,
              151
            ],
            [
              57,
              2943
            ]
          ]
        }
      }
    },
    {
      "fold": 4,
      "train_size": 43200,
      "val_size": 4800,
      "test_size": 12000,
      "history": {
        "train_loss": [
          0.13932421235988537,
          0.07384425314177794,
          0.04957581896334887,
          0.03586912003845942,
          0.025975225245649065,
          0.02054396694067152,
          0.01618450602973031,
          0.012283299227689256,
          0.009351894418741721,
          0.0072791107712078815
        ],
        "train_acc": [
          0.879375,
          0.9453935185185185,
          0.9650925925925926,
          0.9764814814814815,
          0.9833333333333333,
          0.9880324074074074,
          0.9914583333333333,
          0.9931018518518518,
          0.9946064814814815,
          0.9959953703703703
        ],
        "train_auc": [
          0.9529266303726566,
          0.9868539051783265,
          0.9939378243598538,
          0.9968976437471423,
          0.9982190872199359,
          0.9988700274348423,
          0.9993483796296296,
          0.9995339248971193,
          0.9995701360310927,
          0.999775291495199
        ],
        "train_f1": [
          0.9162097409593027,
          0.963055768718776,
          0.9765123668307271,
          0.9842421986475588,
          0.9888420530622366,
          0.9920074205766406,
          0.9942987809588554,
          0.9953973990671239,
          0.9964010441605783,
          0.9973286391501057
        ],
        "val_loss": [
          0.07870797710182766,
          0.06889221329630042,
          0.07827678087118936,
          0.07306442114771926,
          0.0849443374129684,
          0.09220776544119871,
          0.10155253192896149,
          0.10252359303742803,
          0.12160847871439424,
          0.12238686969363091
        ],
        "val_acc": [
          0.9335416666666667,
          0.9527083333333334,
          0.95375,
          0.9554166666666667,
          0.96125,
          0.9635416666666666,
          0.960625,
          0.9608333333333333,
          0.9647916666666667,
          0.9625
        ],
        "val_auc": [
          0.9849060185185186,
          0.9900753472222222,
          0.9892693287037038,
          0.9903871527777778,
          0.9904155092592593,
          0.989539699074074,
          0.9871829861111111,
          0.9891896990740741,
          0.9878277777777777,
          0.9861293981481482
        ],
        "val_f1": [
          0.9544480936741396,
          0.9681492914269678,
          0.968890134529148,
          0.9699691271400506,
          0.9740150880134115,
          0.9755688957140862,
          0.9735996647576477,
          0.9736251402918069,
          0.976485320717963,
          0.9747545582047685
        ]
      },
      "test_metrics": {
        "accuracy": 0.9644166666666667,
        "auc_roc": 0.9913707777777778,
        "f1": 0.9762077227391764,
        "confusion_matrix": [
          [
            2813,
            187
          ],
          [
            240,
            8760
          ]
        ]
      },
      "source_metrics": {
        "inpainting": {
          "accuracy": 0.9713333333333334,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              86,
              2914
            ]
          ],
          "n": 3000,
          "detection_rate": 0.9713333333333334,
          "pairwise_auc": 0.9909874444444444,
          "pairwise_f1": 0.9552532371742337
        },
        "insight": {
          "accuracy": 0.9606666666666667,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              118,
              2882
            ]
          ],
          "n": 3000,
          "detection_rate": 0.9606666666666667,
          "pairwise_auc": 0.9877358333333333,
          "pairwise_f1": 0.9497446037238425
        },
        "text2img": {
          "accuracy": 0.988,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              36,
              2964
            ]
          ],
          "n": 3000,
          "detection_rate": 0.988,
          "pairwise_auc": 0.9953890555555555,
          "pairwise_f1": 0.9637457324012356
        },
        "wiki": {
          "accuracy": 0.9376666666666666,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              2813,
              187
            ],
            [
              0,
              0
            ]
          ],
          "n": 3000,
          "false_alarm_rate": 0.06233333333333335
        }
      },
      "pair_metrics": {
        "wiki_vs_inpainting": {
          "sources": [
            "wiki",
            "inpainting"
          ],
          "n": 6000,
          "accuracy": 0.9545,
          "auc_roc": 0.9909874444444444,
          "f1": 0.9552532371742337,
          "confusion_matrix": [
            [
              2813,
              187
            ],
            [
              86,
              2914
            ]
          ]
        },
        "wiki_vs_insight": {
          "sources": [
            "wiki",
            "insight"
          ],
          "n": 6000,
          "accuracy": 0.9491666666666667,
          "auc_roc": 0.9877358333333333,
          "f1": 0.9497446037238425,
          "confusion_matrix": [
            [
              2813,
              187
            ],
            [
              118,
              2882
            ]
          ]
        },
        "wiki_vs_text2img": {
          "sources": [
            "wiki",
            "text2img"
          ],
          "n": 6000,
          "accuracy": 0.9628333333333333,
          "auc_roc": 0.9953890555555555,
          "f1": 0.9637457324012356,
          "confusion_matrix": [
            [
              2813,
              187
            ],
            [
              36,
              2964
            ]
          ]
        }
      }
    }
  ],
  "aggregated_metrics": {
    "accuracy": {
      "mean": 0.9576499999999999,
      "std": 0.006391020175910032,
      "ci_95": 0.005601976179091738,
      "values": [
        0.9479166666666666,
        0.9576666666666667,
        0.9560833333333333,
        0.9621666666666666,
        0.9644166666666667
      ]
    },
    "auc_roc": {
      "mean": 0.9911186185185186,
      "std": 0.0009486767969412586,
      "ci_95": 0.0008315518762018681,
      "values": [
        0.989454277777778,
        0.9916163148148148,
        0.9918000185185185,
        0.9913517037037036,
        0.9913707777777778
      ]
    },
    "f1": {
      "mean": 0.9714437706354593,
      "std": 0.00447638541806223,
      "ci_95": 0.003923724818604177,
      "values": [
        0.9646233089941699,
        0.9714799011902089,
        0.9703449440099038,
        0.9745629762438368,
        0.9762077227391764
      ]
    }
  },
  "aggregated_per_source": {
    "inpainting": {
      "accuracy": {
        "mean": 0.9603333333333334,
        "std": 0.013406051701460153,
        "ci_95": 0.011750922422421914,
        "values": [
          0.9376666666666666,
          0.9633333333333334,
          0.9603333333333334,
          0.969,
          0.9713333333333334
        ]
      },
      "n": {
        "mean": 3000.0,
        "std": 0.0,
        "ci_95": 0.0,
        "values": [
          3000,
          3000,
          3000,
          3000,
          3000
        ]
      },
      "detection_rate": {
        "mean": 0.9603333333333334,
        "std": 0.013406051701460153,
        "ci_95": 0.011750922422421914,
        "values": [
          0.9376666666666666,
          0.9633333333333334,
          0.9603333333333334,
          0.969,
          0.9713333333333334
        ]
      },
      "pairwise_auc": {
        "mean": 0.9913560333333333,
        "std": 0.0014867652841606051,
        "ci_95": 0.0013032072308522024,
        "values": [
          0.9889452777777779,
          0.9920180000000001,
          0.9927421666666667,
          0.9920872777777778,
          0.9909874444444444
        ]
      },
      "pairwise_f1": {
        "mean": 0.9540043029873162,
        "std": 0.005836792686344383,
        "ci_95": 0.005116174365157942,
        "values": [
          0.9441181406276221,
          0.9553719008264463,
          0.9555555555555556,
          0.9597226807527237,
          0.9552532371742337
        ]
      }
    },
    "insight": {
      "accuracy": {
        "mean": 0.9408666666666667,
        "std": 0.013987295823154819,
        "ci_95": 0.012260405358533436,
        "values": [
          0.9273333333333333,
          0.938,
          0.9293333333333333,
          0.949,
          0.9606666666666667
        ]
      },
      "n": {
        "mean": 3000.0,
        "std": 0.0,
        "ci_95": 0.0,
        "values": [
          3000,
          3000,
          3000,
          3000,
          3000
        ]
      },
      "detection_rate": {
        "mean": 0.9408666666666667,
        "std": 0.013987295823154819,
        "ci_95": 0.012260405358533436,
        "values": [
          0.9273333333333333,
          0.938,
          0.9293333333333333,
          0.949,
          0.9606666666666667
        ]
      },
      "pairwise_auc": {
        "mean": 0.9865707444444445,
        "std": 0.001461073526449416,
        "ci_95": 0.0012806874123043625,
        "values": [
          0.984199,
          0.9872330555555556,
          0.9861466666666666,
          0.9875391666666667,
          0.9877358333333333
        ]
      },
      "pairwise_f1": {
        "mean": 0.9437869540426937,
        "std": 0.005408384584122056,
        "ci_95": 0.004740658106795068,
        "values": [
          0.9385964912280702,
          0.9420823568798126,
          0.9391948795688058,
          0.9493164388129376,
          0.9497446037238425
        ]
      }
    },
    "text2img": {
      "accuracy": {
        "mean": 0.9822666666666666,
        "std": 0.004663093870430252,
        "ci_95": 0.0040873819928598995,
        "values": [
          0.9753333333333334,
          0.9826666666666667,
          0.9843333333333333,
          0.981,
          0.988
        ]
      },
      "n": {
        "mean": 3000.0,
        "std": 0.0,
        "ci_95": 0.0,
        "values": [
          3000,
          3000,
          3000,
          3000,
          3000
        ]
      },
      "detection_rate": {
        "mean": 0.9822666666666666,
        "std": 0.004663093870430252,
        "ci_95": 0.0040873819928598995,
        "values": [
          0.9753333333333334,
          0.9826666666666667,
          0.9843333333333333,
          0.981,
          0.988
        ]
      },
      "pairwise_auc": {
        "mean": 0.9954290777777777,
        "std": 0.000749379337424009,
        "ci_95": 0.0006568599506502238,
        "values": [
          0.9952185555555556,
          0.995597888888889,
          0.9965112222222222,
          0.9944286666666666,
          0.9953890555555555
        ]
      },
      "pairwise_f1": {
        "mean": 0.9653105440380101,
        "std": 0.0017130276663431087,
        "ci_95": 0.0015015349532381597,
        "values": [
          0.9637681159420289,
          0.9652914210870989,
          0.9678793838085874,
          0.9658680669510994,
          0.9637457324012356
        ]
      }
    },
    "wiki": {
      "accuracy": {
        "mean": 0.9471333333333334,
        "std": 0.005570756980279567,
        "ci_95": 0.004882983787262335,
        "values": [
          0.9513333333333334,
          0.9466666666666667,
          0.9503333333333334,
          0.9496666666666667,
          0.9376666666666666
        ]
      },
      "n": {
        "mean": 3000.0,
        "std": 0.0,
        "ci_95": 0.0,
        "values": [
          3000,
          3000,
          3000,
          3000,
          3000
        ]
      },
      "false_alarm_rate": {
        "mean": 0.05286666666666666,
        "std": 0.005570756980279567,
        "ci_95": 0.004882983787262335,
        "values": [
          0.048666666666666636,
          0.053333333333333344,
          0.04966666666666664,
          0.05033333333333334,
          0.06233333333333335
        ]
      }
    }
  },
  "aggregated_pairwise": {
    "wiki_vs_inpainting": {
      "accuracy": {
        "mean": 0.9537333333333334,
        "std": 0.005508327029749301,
        "ci_95": 0.004828261522881025,
        "values": [
          0.9445,
          0.955,
          0.9553333333333334,
          0.9593333333333334,
          0.9545
        ]
      },
      "auc_roc": {
        "mean": 0.9913560333333333,
        "std": 0.0014867652841606051,
        "ci_95": 0.0013032072308522024,
        "values": [
          0.9889452777777779,
          0.9920180000000001,
          0.9927421666666667,
          0.9920872777777778,
          0.9909874444444444
        ]
      },
      "f1": {
        "mean": 0.9540043029873162,
        "std": 0.005836792686344383,
        "ci_95": 0.005116174365157942,
        "values": [
          0.9441181406276221,
          0.9553719008264463,
          0.9555555555555556,
          0.9597226807527237,
          0.9552532371742337
        ]
      }
    },
    "wiki_vs_insight": {
      "accuracy": {
        "mean": 0.9440000000000002,
        "std": 0.004925838902043904,
        "ci_95": 0.004317688167423774,
        "values": [
          0.9393333333333334,
          0.9423333333333334,
          0.9398333333333333,
          0.9493333333333334,
          0.9491666666666667
        ]
      },
      "auc_roc": {
        "mean": 0.9865707444444445,
        "std": 0.001461073526449416,
        "ci_95": 0.0012806874123043625,
        "values": [
          0.984199,
          0.9872330555555556,
          0.9861466666666666,
          0.9875391666666667,
          0.9877358333333333
        ]
      },
      "f1": {
        "mean": 0.9437869540426937,
        "std": 0.005408384584122056,
        "ci_95": 0.004740658106795068,
        "values": [
          0.9385964912280702,
          0.9420823568798126,
          0.9391948795688058,
          0.9493164388129376,
          0.9497446037238425
        ]
      }
    },
    "wiki_vs_text2img": {
      "accuracy": {
        "mean": 0.9647,
        "std": 0.0017810733343190225,
        "ci_95": 0.001561179610992221,
        "values": [
          0.9633333333333334,
          0.9646666666666667,
          0.9673333333333334,
          0.9653333333333334,
          0.9628333333333333
        ]
      },
      "auc_roc": {
        "mean": 0.9954290777777777,
        "std": 0.000749379337424009,
        "ci_95": 0.0006568599506502238,
        "values": [
          0.9952185555555556,
          0.995597888888889,
          0.9965112222222222,
          0.9944286666666666,
          0.9953890555555555
        ]
      },
      "f1": {
        "mean": 0.9653105440380101,
        "std": 0.0017130276663431087,
        "ci_95": 0.0015015349532381597,
        "values": [
          0.9637681159420289,
          0.9652914210870989,
          0.9678793838085874,
          0.9658680669510994,
          0.9637457324012356
        ]
      }
    }
  },
  "config": {
    "seed": 42,
    "cv_folds": 5,
    "batch_size": 32,
    "num_workers": 4,
    "early_stopping_patience": 5,
    "lr": 0.0001,
    "weight_decay": 0.0001,
    "T_max": 15,
    "data_dir": "cropped/classifier",
    "pretrained": true,
    "epochs": 15,
    "image_size": 224,
    "augment": false,
    "run_name": "p4_efficientnet_b0_50pct",
    "backbone": "efficientnet_b0",
    "subsample": 0.5
  }
}