{
  "run_name": "p2e_resnet18_facecrop_aug",
  "n_folds": 5,
  "fold_results": [
    {
      "fold": 0,
      "train_size": 17280,
      "val_size": 1920,
      "test_size": 4800,
      "history": {
        "train_loss": [
          0.2371339483945458,
          0.17965929021162017,
          0.15553104198641246,
          0.13898775200187055,
          0.1248128803205435,
          0.10731902387062156,
          0.09722404294060888,
          0.08543110447159658,
          0.07318314593371555,
          0.06297332528305964,
          0.05319999221591624,
          0.0490316048954372,
          0.04252813166736073,
          0.03890426906312954,
          0.0383156930814342
        ],
        "train_acc": [
          0.760011574074074,
          0.8401041666666667,
          0.8654513888888888,
          0.8833333333333333,
          0.9017361111111111,
          0.913599537037037,
          0.9214699074074074,
          0.9371527777777777,
          0.9464699074074074,
          0.9534722222222223,
          0.9603587962962963,
          0.9658564814814815,
          0.970949074074074,
          0.9711805555555556,
          0.9736111111111111
        ],
        "train_auc": [
          0.8536383405492685,
          0.9208042641889573,
          0.9413705007573159,
          0.9538272765917925,
          0.9635684227823502,
          0.9724931144975995,
          0.9774411026091678,
          0.982780215835048,
          0.9872993112711477,
          0.9905945466106538,
          0.993267478995199,
          0.9941282382401692,
          0.9957442951245999,
          0.9963484600051441,
          0.9964488847450845
        ],
        "train_f1": [
          0.8246437481500275,
          0.8874954191945926,
          0.9062764542266296,
          0.9194373401534527,
          0.932479720057261,
          0.9409297725024728,
          0.9463403060619242,
          0.9573649497487438,
          0.9638120574312429,
          0.9685839324788996,
          0.9733057947858618,
          0.9770445879698078,
          0.9805093958689237,
          0.980637636080871,
          0.9822981366459628
        ],
        "val_loss": [
          0.2203964632858212,
          0.17454956515381734,
          0.21384386121644638,
          0.14011552351682136,
          0.16310725559790928,
          0.14783345006095866,
          0.13699214116980632,
          0.16235242078376663,
          0.150105018048392,
          0.15297084855070958,
          0.15486972434834267,
          0.15296626980028424,
          0.15368005093381118,
          0.1526549880237629,
          0.15181722667378683
        ],
        "val_acc": [
          0.8609375,
          0.8166666666666667,
          0.8885416666666667,
          0.8796875,
          0.8427083333333333,
          0.9109375,
          0.9015625,
          0.9140625,
          0.8989583333333333,
          0.9026041666666667,
          0.8989583333333333,
          0.9166666666666666,
          0.9036458333333334,
          0.9119791666666667,
          0.9036458333333334
        ],
        "val_auc": [
          0.9226692708333334,
          0.9380533854166667,
          0.949118923611111,
          0.9588577835648148,
          0.9569683159722222,
          0.9646079282407407,
          0.9632609953703706,
          0.963666087962963,
          0.9659418402777779,
          0.9669249131944445,
          0.9672974537037038,
          0.9701721643518517,
          0.9702835648148148,
          0.9693366608796296,
          0.9704723668981481
        ],
        "val_f1": [
          0.9085929476206779,
          0.8646153846153846,
          0.9271613342409802,
          0.9160915365056302,
          0.8856926570779712,
          0.9395118500176866,
          0.93194094346417,
          0.9426086956521739,
          0.9305157593123209,
          0.933522929257021,
          0.9296081277213353,
          0.9435825105782792,
          0.9332852506310855,
          0.9397933737085857,
          0.9332852506310855
        ]
      },
      "test_metrics": {
        "accuracy": 0.9116666666666666,
        "auc_roc": 0.9709605324074074,
        "f1": 0.9392724147808651,
        "confusion_matrix": [
          [
            1097,
            103
          ],
          [
            321,
            3279
          ]
        ]
      },
      "source_metrics": {
        "inpainting": {
          "accuracy": 0.9291666666666667,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              85,
              1115
            ]
          ],
          "n": 1200,
          "detection_rate": 0.9291666666666667,
          "pairwise_auc": 0.9761385416666668,
          "pairwise_f1": 0.9222497932175352
        },
        "insight": {
          "accuracy": 0.8683333333333333,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              158,
              1042
            ]
          ],
          "n": 1200,
          "detection_rate": 0.8683333333333333,
          "pairwise_auc": 0.9591041666666666,
          "pairwise_f1": 0.8886993603411514
        },
        "text2img": {
          "accuracy": 0.935,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              78,
              1122
            ]
          ],
          "n": 1200,
          "detection_rate": 0.935,
          "pairwise_auc": 0.9776388888888888,
          "pairwise_f1": 0.925360824742268
        },
        "wiki": {
          "accuracy": 0.9141666666666667,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              1097,
              103
            ],
            [
              0,
              0
            ]
          ],
          "n": 1200,
          "false_alarm_rate": 0.08583333333333332
        }
      },
      "pair_metrics": {
        "wiki_vs_inpainting": {
          "sources": [
            "wiki",
            "inpainting"
          ],
          "n": 2400,
          "accuracy": 0.9216666666666666,
          "auc_roc": 0.9761385416666668,
          "f1": 0.9222497932175352,
          "confusion_matrix": [
            [
              1097,
              103
            ],
            [
              85,
              1115
            ]
          ]
        },
        "wiki_vs_insight": {
          "sources": [
            "wiki",
            "insight"
          ],
          "n": 2400,
          "accuracy": 0.89125,
          "auc_roc": 0.9591041666666666,
          "f1": 0.8886993603411514,
          "confusion_matrix": [
            [
              1097,
              103
            ],
            [
              158,
              1042
            ]
          ]
        },
        "wiki_vs_text2img": {
          "sources": [
            "wiki",
            "text2img"
          ],
          "n": 2400,
          "accuracy": 0.9245833333333333,
          "auc_roc": 0.9776388888888888,
          "f1": 0.925360824742268,
          "confusion_matrix": [
            [
              1097,
              103
            ],
            [
              78,
              1122
            ]
          ]
        }
      }
    },
    {
      "fold": 1,
      "train_size": 17280,
      "val_size": 1920,
      "test_size": 4800,
      "history": {
        "train_loss": [
          0.2391183308429188,
          0.17975796078918158,
          0.1562604979370479,
          0.13741093776016325,
          0.1239349705270595,
          0.11139587184276294,
          0.09401690095180162,
          0.08375884603571009,
          0.07211474131585824,
          0.06346744239951173,
          0.05479857998563804,
          0.047455945289780005,
          0.04211521086248535,
          0.03309281969085094,
          0.0358316077704162
        ],
        "train_acc": [
          0.7630208333333334,
          0.835300925925926,
          0.866087962962963,
          0.8814814814814815,
          0.8994791666666667,
          0.9103009259259259,
          0.9276620370370371,
          0.936863425925926,
          0.9476851851851852,
          0.9544560185185185,
          0.960474537037037,
          0.9675347222222223,
          0.9707175925925926,
          0.9768518518518519,
          0.9752314814814815
        ],
        "train_auc": [
          0.852203378629401,
          0.9198489476165981,
          0.940851507130201,
          0.9543257923239598,
          0.9632597182927527,
          0.9705720146747828,
          0.9788218467792639,
          0.9837907682470279,
          0.9876344414437586,
          0.9905915637860082,
          0.992993014474737,
          0.9944546610653864,
          0.9956297778778006,
          0.9972157207361683,
          0.9967796389174668
        ],
        "train_f1": [
          0.8284673061617727,
          0.8838746531744737,
          0.9068587989051683,
          0.9178302038196117,
          0.9309974973185556,
          0.938623584382672,
          0.9508067689885872,
          0.9572274277649273,
          0.9646515992805192,
          0.9693189349343105,
          0.9734127447545642,
          0.9781601588352085,
          0.9803311824613232,
          0.9844636059970481,
          0.9834005584858827
        ],
        "val_loss": [
          0.19780549878875414,
          0.19643723852932454,
          0.14839341659098865,
          0.16046621485923726,
          0.16073516129205626,
          0.15357613482822974,
          0.14441466063726693,
          0.16628367458470167,
          0.152093356110466,
          0.147853947225182,
          0.15383020790371424,
          0.1582224626695582,
          0.15213602410318952,
          0.15260190927268316,
          0.15733170692498485
        ],
        "val_acc": [
          0.765625,
          0.8666666666666667,
          0.8536458333333333,
          0.9052083333333333,
          0.8328125,
          0.8463541666666666,
          0.8885416666666667,
          0.9046875,
          0.91875,
          0.9036458333333334,
          0.9151041666666667,
          0.9083333333333333,
          0.9135416666666667,
          0.915625,
          0.91875
        ],
        "val_auc": [
          0.9194936342592592,
          0.9333340567129629,
          0.9528884548611112,
          0.9567274305555555,
          0.9518489583333333,
          0.9612811053240742,
          0.9607298900462963,
          0.9619111689814815,
          0.9689366319444443,
          0.9675282118055556,
          0.9690921585648148,
          0.968629195601852,
          0.9695789930555556,
          0.9700296585648147,
          0.97015625
        ],
        "val_f1": [
          0.8195669607056937,
          0.9096045197740112,
          0.8950317519611506,
          0.9367176634214186,
          0.8776210446054137,
          0.888130451270383,
          0.9226319595083152,
          0.9354041651959054,
          0.9451862262825017,
          0.9339521599428775,
          0.9426258359732489,
          0.937721160651097,
          0.9410092395167022,
          0.942756183745583,
          0.9450704225352112
        ]
      },
      "test_metrics": {
        "accuracy": 0.9229166666666667,
        "auc_roc": 0.9746640046296297,
        "f1": 0.9477843635337285,
        "confusion_matrix": [
          [
            1072,
            128
          ],
          [
            242,
            3358
          ]
        ]
      },
      "source_metrics": {
        "inpainting": {
          "accuracy": 0.9408333333333333,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              71,
              1129
            ]
          ],
          "n": 1200,
          "detection_rate": 0.9408333333333333,
          "pairwise_auc": 0.9778364583333332,
          "pairwise_f1": 0.919006919006919
        },
        "insight": {
          "accuracy": 0.8808333333333334,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              143,
              1057
            ]
          ],
          "n": 1200,
          "detection_rate": 0.8808333333333334,
          "pairwise_auc": 0.9577305555555554,
          "pairwise_f1": 0.8863731656184486
        },
        "text2img": {
          "accuracy": 0.9766666666666667,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              28,
              1172
            ]
          ],
          "n": 1200,
          "detection_rate": 0.9766666666666667,
          "pairwise_auc": 0.988425,
          "pairwise_f1": 0.9376
        },
        "wiki": {
          "accuracy": 0.8933333333333333,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              1072,
              128
            ],
            [
              0,
              0
            ]
          ],
          "n": 1200,
          "false_alarm_rate": 0.10666666666666669
        }
      },
      "pair_metrics": {
        "wiki_vs_inpainting": {
          "sources": [
            "wiki",
            "inpainting"
          ],
          "n": 2400,
          "accuracy": 0.9170833333333334,
          "auc_roc": 0.9778364583333332,
          "f1": 0.919006919006919,
          "confusion_matrix": [
            [
              1072,
              128
            ],
            [
              71,
              1129
            ]
          ]
        },
        "wiki_vs_insight": {
          "sources": [
            "wiki",
            "insight"
          ],
          "n": 2400,
          "accuracy": 0.8870833333333333,
          "auc_roc": 0.9577305555555554,
          "f1": 0.8863731656184486,
          "confusion_matrix": [
            [
              1072,
              128
            ],
            [
              143,
              1057
            ]
          ]
        },
        "wiki_vs_text2img": {
          "sources": [
            "wiki",
            "text2img"
          ],
          "n": 2400,
          "accuracy": 0.935,
          "auc_roc": 0.988425,
          "f1": 0.9376,
          "confusion_matrix": [
            [
              1072,
              128
            ],
            [
              28,
              1172
            ]
          ]
        }
      }
    },
    {
      "fold": 2,
      "train_size": 17280,
      "val_size": 1920,
      "test_size": 4800,
      "history": {
        "train_loss": [
          0.241080354043731,
          0.18757241626304608,
          0.16247374398840797,
          0.14176422256838392,
          0.12742253698891512,
          0.11497999549222489,
          0.10160268458917185,
          0.08682891820143494,
          0.07648260152070886,
          0.06777689960414406,
          0.05718743406727703,
          0.05286531300258098,
          0.0479770600606032,
          0.04381440916762653,
          0.038372389554408276
        ],
        "train_acc": [
          0.7534722222222222,
          0.8302083333333333,
          0.860474537037037,
          0.8782407407407408,
          0.8947337962962963,
          0.9088541666666666,
          0.9184606481481481,
          0.9329282407407408,
          0.9407407407407408,
          0.9491898148148148,
          0.9596064814814815,
          0.9638888888888889,
          0.965625,
          0.9722800925925926,
          0.9731481481481481
        ],
        "train_auc": [
          0.8482708279749658,
          0.9132211737682899,
          0.9359448588248742,
          0.9514543681412894,
          0.9614638435213763,
          0.9690645361796982,
          0.9755183506229994,
          0.9820020468964334,
          0.9861288026548926,
          0.9890546499914266,
          0.9922430573416781,
          0.9933878815157751,
          0.9945645433241883,
          0.9954342063900321,
          0.9963013778149292
        ],
        "train_f1": [
          0.8193843805647418,
          0.8801568499305612,
          0.9025740493797227,
          0.9156510583707504,
          0.927503885855486,
          0.9375470875133828,
          0.9442488030704704,
          0.9544364508393285,
          0.9598462865657595,
          0.9656655717190678,
          0.9727981293842557,
          0.9757236227824463,
          0.9769141080450836,
          0.9814161008729388,
          0.9819903741655023
        ],
        "val_loss": [
          0.18238736015434068,
          0.15811058304583034,
          0.1319792718393728,
          0.22681371789706947,
          0.13507361768667275,
          0.12749196560277293,
          0.1358266538474709,
          0.13207181595110645,
          0.13650758892763407,
          0.12482405715078736,
          0.1842558211152209,
          0.13220274263876491,
          0.13752564690075814,
          0.13722982438048348,
          0.137083099995895
        ],
        "val_acc": [
          0.8119791666666667,
          0.8895833333333333,
          0.8916666666666667,
          0.8885416666666667,
          0.8875,
          0.8869791666666667,
          0.8864583333333333,
          0.8989583333333333,
          0.9151041666666667,
          0.91875,
          0.9192708333333334,
          0.9213541666666667,
          0.9109375,
          0.9197916666666667,
          0.9203125
        ],
        "val_auc": [
          0.924947193287037,
          0.9467513020833334,
          0.9583492476851853,
          0.9346137152777776,
          0.9612058738425926,
          0.967642505787037,
          0.9648336226851852,
          0.968669704861111,
          0.9696961805555556,
          0.9740458622685184,
          0.9646144386574074,
          0.9754036458333333,
          0.9747142650462963,
          0.9735807291666667,
          0.973878761574074
        ],
        "val_f1": [
          0.8609934539853678,
          0.925035360678925,
          0.9250180245133381,
          0.9267624914442163,
          0.9211678832116789,
          0.9206581352833638,
          0.9202049780380673,
          0.9303661162957645,
          0.9421780773323873,
          0.9444444444444444,
          0.9460869565217391,
          0.9461291473421334,
          0.9382002168413445,
          0.9451566951566952,
          0.9455709711846318
        ]
      },
      "test_metrics": {
        "accuracy": 0.9154166666666667,
        "auc_roc": 0.9729494212962962,
        "f1": 0.9420827389443652,
        "confusion_matrix": [
          [
            1092,
            108
          ],
          [
            298,
            3302
          ]
        ]
      },
      "source_metrics": {
        "inpainting": {
          "accuracy": 0.9358333333333333,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              77,
              1123
            ]
          ],
          "n": 1200,
          "detection_rate": 0.9358333333333333,
          "pairwise_auc": 0.9761270833333333,
          "pairwise_f1": 0.9238996297819827
        },
        "insight": {
          "accuracy": 0.8591666666666666,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              169,
              1031
            ]
          ],
          "n": 1200,
          "detection_rate": 0.8591666666666666,
          "pairwise_auc": 0.9557927083333334,
          "pairwise_f1": 0.8815733219324497
        },
        "text2img": {
          "accuracy": 0.9566666666666667,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              52,
              1148
            ]
          ],
          "n": 1200,
          "detection_rate": 0.9566666666666667,
          "pairwise_auc": 0.9869284722222222,
          "pairwise_f1": 0.9348534201954397
        },
        "wiki": {
          "accuracy": 0.91,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              1092,
              108
            ],
            [
              0,
              0
            ]
          ],
          "n": 1200,
          "false_alarm_rate": 0.08999999999999997
        }
      },
      "pair_metrics": {
        "wiki_vs_inpainting": {
          "sources": [
            "wiki",
            "inpainting"
          ],
          "n": 2400,
          "accuracy": 0.9229166666666667,
          "auc_roc": 0.9761270833333333,
          "f1": 0.9238996297819827,
          "confusion_matrix": [
            [
              1092,
              108
            ],
            [
              77,
              1123
            ]
          ]
        },
        "wiki_vs_insight": {
          "sources": [
            "wiki",
            "insight"
          ],
          "n": 2400,
          "accuracy": 0.8845833333333334,
          "auc_roc": 0.9557927083333334,
          "f1": 0.8815733219324497,
          "confusion_matrix": [
            [
              1092,
              108
            ],
            [
              169,
              1031
            ]
          ]
        },
        "wiki_vs_text2img": {
          "sources": [
            "wiki",
            "text2img"
          ],
          "n": 2400,
          "accuracy": 0.9333333333333333,
          "auc_roc": 0.9869284722222222,
          "f1": 0.9348534201954397,
          "confusion_matrix": [
            [
              1092,
              108
            ],
            [
              52,
              1148
            ]
          ]
        }
      }
    },
    {
      "fold": 3,
      "train_size": 17280,
      "val_size": 1920,
      "test_size": 4800,
      "history": {
        "train_loss": [
          0.23917138579267042,
          0.17964389969905217,
          0.1583930908322886,
          0.13833872029488836,
          0.12386842469719272,
          0.11030089819320926,
          0.10064527483105108,
          0.08629975835189085,
          0.0727624413928155,
          0.06635727010305142,
          0.0563277630618325,
          0.04666085629379032,
          0.04453519208279128,
          0.036597319391202525,
          0.03935435012961669
        ],
        "train_acc": [
          0.7579282407407407,
          0.8363425925925926,
          0.8634259259259259,
          0.8835069444444444,
          0.898900462962963,
          0.9122106481481481,
          0.9226273148148149,
          0.9330439814814815,
          0.9443287037037037,
          0.950925925925926,
          0.960300925925926,
          0.9663194444444444,
          0.9679398148148148,
          0.9741319444444444,
          0.9736689814814815
        ],
        "train_auc": [
          0.8512407210933928,
          0.9202943976480338,
          0.9394323702560586,
          0.9535609299982853,
          0.9637053201446045,
          0.970969257258802,
          0.9764405346221994,
          0.9822673128858025,
          0.9869508834162095,
          0.9898530110453817,
          0.9924085505258345,
          0.9946581629372429,
          0.995199706361454,
          0.9965422364397576,
          0.9961478516518061
        ],
        "train_f1": [
          0.8228368133497099,
          0.8848440426744849,
          0.9047695908320555,
          0.9192377131394183,
          0.9304842624646851,
          0.9399374430850853,
          0.9474098257483381,
          0.9545793585364896,
          0.9622685911515532,
          0.9669240970434512,
          0.9732824427480916,
          0.9773417425835085,
          0.9784502878481407,
          0.9826063270944395,
          0.9823403842421891
        ],
        "val_loss": [
          0.2241378645102183,
          0.13984972628143927,
          0.14124439058747765,
          0.17640043124944593,
          0.1428463432394589,
          0.14185509137654057,
          0.13818038610431055,
          0.17534095707039038,
          0.17639769293988744,
          0.14742097199584048,
          0.1480519696798486,
          0.15402708195227507,
          0.14837629409351696,
          0.1516194027673919,
          0.1507140000835837
        ],
        "val_acc": [
          0.7421875,
          0.8651041666666667,
          0.8947916666666667,
          0.909375,
          0.8989583333333333,
          0.8854166666666666,
          0.9015625,
          0.8546875,
          0.871875,
          0.9046875,
          0.9171875,
          0.921875,
          0.9145833333333333,
          0.9145833333333333,
          0.9119791666666667
        ],
        "val_auc": [
          0.9230924479166667,
          0.9523017939814814,
          0.9572497106481482,
          0.9584809027777778,
          0.9615393518518518,
          0.961529224537037,
          0.9649168113425926,
          0.9660575810185185,
          0.9574211516203703,
          0.9681322337962963,
          0.9668706597222222,
          0.9679224537037038,
          0.9684201388888889,
          0.969301215277778,
          0.969660011574074
        ],
        "val_f1": [
          0.7952006619776583,
          0.9049541284403669,
          0.9285208775654635,
          0.9401650618982118,
          0.9308131241084165,
          0.9193548387096774,
          0.9313476207773338,
          0.8939566704675028,
          0.9094922737306843,
          0.9341963322545846,
          0.94315337861995,
          0.9465431218816821,
          0.9411764705882353,
          0.9409647228221742,
          0.9390551749008295
        ]
      },
      "test_metrics": {
        "accuracy": 0.9116666666666666,
        "auc_roc": 0.9726403935185185,
        "f1": 0.9389225007202535,
        "confusion_matrix": [
          [
            1117,
            83
          ],
          [
            341,
            3259
          ]
        ]
      },
      "source_metrics": {
        "inpainting": {
          "accuracy": 0.9091666666666667,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              109,
              1091
            ]
          ],
          "n": 1200,
          "detection_rate": 0.9091666666666667,
          "pairwise_auc": 0.9723756944444445,
          "pairwise_f1": 0.9191238416175231
        },
        "insight": {
          "accuracy": 0.8658333333333333,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              161,
              1039
            ]
          ],
          "n": 1200,
          "detection_rate": 0.8658333333333333,
          "pairwise_auc": 0.9651961805555554,
          "pairwise_f1": 0.8949181739879414
        },
        "text2img": {
          "accuracy": 0.9408333333333333,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              71,
              1129
            ]
          ],
          "n": 1200,
          "detection_rate": 0.9408333333333333,
          "pairwise_auc": 0.9803493055555554,
          "pairwise_f1": 0.9361525704809287
        },
        "wiki": {
          "accuracy": 0.9308333333333333,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              1117,
              83
            ],
            [
              0,
              0
            ]
          ],
          "n": 1200,
          "false_alarm_rate": 0.06916666666666671
        }
      },
      "pair_metrics": {
        "wiki_vs_inpainting": {
          "sources": [
            "wiki",
            "inpainting"
          ],
          "n": 2400,
          "accuracy": 0.92,
          "auc_roc": 0.9723756944444445,
          "f1": 0.9191238416175231,
          "confusion_matrix": [
            [
              1117,
              83
            ],
            [
              109,
              1091
            ]
          ]
        },
        "wiki_vs_insight": {
          "sources": [
            "wiki",
            "insight"
          ],
          "n": 2400,
          "accuracy": 0.8983333333333333,
          "auc_roc": 0.9651961805555554,
          "f1": 0.8949181739879414,
          "confusion_matrix": [
            [
              1117,
              83
            ],
            [
              161,
              1039
            ]
          ]
        },
        "wiki_vs_text2img": {
          "sources": [
            "wiki",
            "text2img"
          ],
          "n": 2400,
          "accuracy": 0.9358333333333333,
          "auc_roc": 0.9803493055555554,
          "f1": 0.9361525704809287,
          "confusion_matrix": [
            [
              1117,
              83
            ],
            [
              71,
              1129
            ]
          ]
        }
      }
    },
    {
      "fold": 4,
      "train_size": 17280,
      "val_size": 1920,
      "test_size": 4800,
      "history": {
        "train_loss": [
          0.24166752225546925,
          0.18522660414239875,
          0.16268459580562733,
          0.14325540715276644,
          0.12862643143507066,
          0.11178907558011512,
          0.09732602106890192,
          0.08520252432898377,
          0.0752523358505978,
          0.06626564090709305,
          0.054519248216550936,
          0.051981810135853096,
          0.045029509474773445,
          0.04335176301613467,
          0.03864068022467782
        ],
        "train_acc": [
          0.7587384259259259,
          0.8346643518518518,
          0.8579861111111111,
          0.880150462962963,
          0.8976851851851851,
          0.9119791666666667,
          0.9217013888888889,
          0.9351273148148148,
          0.944212962962963,
          0.9523148148148148,
          0.9605324074074074,
          0.9649884259259259,
          0.9700810185185185,
          0.9697337962962963,
          0.9737847222222222
        ],
        "train_auc": [
          0.847336542995542,
          0.9154143625685871,
          0.9352137720764746,
          0.950587795067444,
          0.960722683041838,
          0.9701250732310243,
          0.9772534079218107,
          0.9825693819301554,
          0.9864663440929355,
          0.9895381265717879,
          0.9929674014774805,
          0.9934308109710791,
          0.9949776913294468,
          0.995536444044353,
          0.9963720636145406
        ],
        "train_f1": [
          0.8245739532926573,
          0.8834210633696495,
          0.9006397279131914,
          0.9169107321965898,
          0.9296906068559612,
          0.9397170147834014,
          0.946650368676314,
          0.9558887183724866,
          0.9622316251371258,
          0.9677974050336096,
          0.9734402990887141,
          0.9764508972013546,
          0.9799043806118086,
          0.9796727428193867,
          0.9824029833352756
        ],
        "val_loss": [
          0.25112481862306596,
          0.14030918213538826,
          0.12420670604333281,
          0.1263726758149763,
          0.14944143609609456,
          0.20810104956229528,
          0.11866681970035037,
          0.11524346641575296,
          0.11781146025750786,
          0.12625389968355497,
          0.11159159503877163,
          0.1271476188674569,
          0.13850631505871813,
          0.12152798459089051,
          0.12106094028567896
        ],
        "val_acc": [
          0.7151041666666667,
          0.8859375,
          0.8770833333333333,
          0.875,
          0.884375,
          0.790625,
          0.89375,
          0.9,
          0.9125,
          0.9010416666666666,
          0.9276041666666667,
          0.9083333333333333,
          0.9015625,
          0.9276041666666667,
          0.9234375
        ],
        "val_auc": [
          0.8857732928240741,
          0.9526909722222222,
          0.964263599537037,
          0.9617975983796296,
          0.9546021412037036,
          0.9632544849537038,
          0.9700629340277779,
          0.9747837094907407,
          0.9750636574074074,
          0.9736841724537038,
          0.9787311921296294,
          0.9767194733796296,
          0.9738274016203703,
          0.9782602719907407,
          0.9777828414351852
        ],
        "val_f1": [
          0.7731231854002488,
          0.9209100758396533,
          0.9126572908956329,
          0.9118942731277533,
          0.9206576125804146,
          0.8393285371702638,
          0.925601750547046,
          0.9299781181619255,
          0.9399571122230165,
          0.9308084486525856,
          0.9506567270145545,
          0.9363241678726484,
          0.9311976701856571,
          0.95069173465768,
          0.9475187433059622
        ]
      },
      "test_metrics": {
        "accuracy": 0.9254166666666667,
        "auc_roc": 0.9772423611111111,
        "f1": 0.9490753911806543,
        "confusion_matrix": [
          [
            1106,
            94
          ],
          [
            264,
            3336
          ]
        ]
      },
      "source_metrics": {
        "inpainting": {
          "accuracy": 0.9191666666666667,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              97,
              1103
            ]
          ],
          "n": 1200,
          "detection_rate": 0.9191666666666667,
          "pairwise_auc": 0.9749111111111111,
          "pairwise_f1": 0.9203170629954109
        },
        "insight": {
          "accuracy": 0.8916666666666667,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              130,
              1070
            ]
          ],
          "n": 1200,
          "detection_rate": 0.8916666666666667,
          "pairwise_auc": 0.9674319444444444,
          "pairwise_f1": 0.9052453468697124
        },
        "text2img": {
          "accuracy": 0.9691666666666666,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              0,
              0
            ],
            [
              37,
              1163
            ]
          ],
          "n": 1200,
          "detection_rate": 0.9691666666666666,
          "pairwise_auc": 0.9893840277777778,
          "pairwise_f1": 0.9466829466829467
        },
        "wiki": {
          "accuracy": 0.9216666666666666,
          "auc_roc": null,
          "f1": null,
          "confusion_matrix": [
            [
              1106,
              94
            ],
            [
              0,
              0
            ]
          ],
          "n": 1200,
          "false_alarm_rate": 0.07833333333333337
        }
      },
      "pair_metrics": {
        "wiki_vs_inpainting": {
          "sources": [
            "wiki",
            "inpainting"
          ],
          "n": 2400,
          "accuracy": 0.9204166666666667,
          "auc_roc": 0.9749111111111111,
          "f1": 0.9203170629954109,
          "confusion_matrix": [
            [
              1106,
              94
            ],
            [
              97,
              1103
            ]
          ]
        },
        "wiki_vs_insight": {
          "sources": [
            "wiki",
            "insight"
          ],
          "n": 2400,
          "accuracy": 0.9066666666666666,
          "auc_roc": 0.9674319444444444,
          "f1": 0.9052453468697124,
          "confusion_matrix": [
            [
              1106,
              94
            ],
            [
              130,
              1070
            ]
          ]
        },
        "wiki_vs_text2img": {
          "sources": [
            "wiki",
            "text2img"
          ],
          "n": 2400,
          "accuracy": 0.9454166666666667,
          "auc_roc": 0.9893840277777778,
          "f1": 0.9466829466829467,
          "confusion_matrix": [
            [
              1106,
              94
            ],
            [
              37,
              1163
            ]
          ]
        }
      }
    }
  ],
  "aggregated_metrics": {
    "accuracy": {
      "mean": 0.9174166666666667,
      "std": 0.006410440702479072,
      "ci_95": 0.005618999021178086,
      "values": [
        0.9116666666666666,
        0.9229166666666667,
        0.9154166666666667,
        0.9116666666666666,
        0.9254166666666667
      ]
    },
    "auc_roc": {
      "mean": 0.9736913425925925,
      "std": 0.0023805497994612776,
      "ci_95": 0.0020866439007642124,
      "values": [
        0.9709605324074074,
        0.9746640046296297,
        0.9729494212962962,
        0.9726403935185185,
        0.9772423611111111
      ]
    },
    "f1": {
      "mean": 0.9434274818319734,
      "std": 0.004749975490040382,
      "ci_95": 0.004163537090177762,
      "values": [
        0.9392724147808651,
        0.9477843635337285,
        0.9420827389443652,
        0.9389225007202535,
        0.9490753911806543
      ]
    }
  },
  "aggregated_per_source": {
    "inpainting": {
      "accuracy": {
        "mean": 0.9268333333333333,
        "std": 0.012780193008453854,
        "ci_95": 0.011202333090328382,
        "values": [
          0.9291666666666667,
          0.9408333333333333,
          0.9358333333333333,
          0.9091666666666667,
          0.9191666666666667
        ]
      },
      "n": {
        "mean": 1200.0,
        "std": 0.0,
        "ci_95": 0.0,
        "values": [
          1200,
          1200,
          1200,
          1200,
          1200
        ]
      },
      "detection_rate": {
        "mean": 0.9268333333333333,
        "std": 0.012780193008453854,
        "ci_95": 0.011202333090328382,
        "values": [
          0.9291666666666667,
          0.9408333333333333,
          0.9358333333333333,
          0.9091666666666667,
          0.9191666666666667
        ]
      },
      "pairwise_auc": {
        "mean": 0.9754777777777779,
        "std": 0.0020227217247155895,
        "ci_95": 0.0017729937642036325,
        "values": [
          0.9761385416666668,
          0.9778364583333332,
          0.9761270833333333,
          0.9723756944444445,
          0.9749111111111111
        ]
      },
      "pairwise_f1": {
        "mean": 0.920919449323874,
        "std": 0.0021151914201433647,
        "ci_95": 0.0018540470259390336,
        "values": [
          0.9222497932175352,
          0.919006919006919,
          0.9238996297819827,
          0.9191238416175231,
          0.9203170629954109
        ]
      }
    },
    "insight": {
      "accuracy": {
        "mean": 0.8731666666666668,
        "std": 0.012982359826574964,
        "ci_95": 0.011379540119588928,
        "values": [
          0.8683333333333333,
          0.8808333333333334,
          0.8591666666666666,
          0.8658333333333333,
          0.8916666666666667
        ]
      },
      "n": {
        "mean": 1200.0,
        "std": 0.0,
        "ci_95": 0.0,
        "values": [
          1200,
          1200,
          1200,
          1200,
          1200
        ]
      },
      "detection_rate": {
        "mean": 0.8731666666666668,
        "std": 0.012982359826574964,
        "ci_95": 0.011379540119588928,
        "values": [
          0.8683333333333333,
          0.8808333333333334,
          0.8591666666666666,
          0.8658333333333333,
          0.8916666666666667
        ]
      },
      "pairwise_auc": {
        "mean": 0.9610511111111112,
        "std": 0.005009094637947759,
        "ci_95": 0.004390665037542907,
        "values": [
          0.9591041666666666,
          0.9577305555555554,
          0.9557927083333334,
          0.9651961805555554,
          0.9674319444444444
        ]
      },
      "pairwise_f1": {
        "mean": 0.8913618737499409,
        "std": 0.009126746824678685,
        "ci_95": 0.007999946314857462,
        "values": [
          0.8886993603411514,
          0.8863731656184486,
          0.8815733219324497,
          0.8949181739879414,
          0.9052453468697124
        ]
      }
    },
    "text2img": {
      "accuracy": {
        "mean": 0.9556666666666667,
        "std": 0.017828270309321142,
        "ci_95": 0.01562716793849024,
        "values": [
          0.935,
          0.9766666666666667,
          0.9566666666666667,
          0.9408333333333333,
          0.9691666666666666
        ]
      },
      "n": {
        "mean": 1200.0,
        "std": 0.0,
        "ci_95": 0.0,
        "values": [
          1200,
          1200,
          1200,
          1200,
          1200
        ]
      },
      "detection_rate": {
        "mean": 0.9556666666666667,
        "std": 0.017828270309321142,
        "ci_95": 0.01562716793849024,
        "values": [
          0.935,
          0.9766666666666667,
          0.9566666666666667,
          0.9408333333333333,
          0.9691666666666666
        ]
      },
      "pairwise_auc": {
        "mean": 0.9845451388888888,
        "std": 0.005230911778120413,
        "ci_95": 0.004585096333511164,
        "values": [
          0.9776388888888888,
          0.988425,
          0.9869284722222222,
          0.9803493055555554,
          0.9893840277777778
        ]
      },
      "pairwise_f1": {
        "mean": 0.9361299524203165,
        "std": 0.007601494669431217,
        "ci_95": 0.006663003854088594,
        "values": [
          0.925360824742268,
          0.9376,
          0.9348534201954397,
          0.9361525704809287,
          0.9466829466829467
        ]
      }
    },
    "wiki": {
      "accuracy": {
        "mean": 0.914,
        "std": 0.014011404085402865,
        "ci_95": 0.012281537182110197,
        "values": [
          0.9141666666666667,
          0.8933333333333333,
          0.91,
          0.9308333333333333,
          0.9216666666666666
        ]
      },
      "n": {
        "mean": 1200.0,
        "std": 0.0,
        "ci_95": 0.0,
        "values": [
          1200,
          1200,
          1200,
          1200,
          1200
        ]
      },
      "false_alarm_rate": {
        "mean": 0.08600000000000001,
        "std": 0.014011404085402865,
        "ci_95": 0.012281537182110197,
        "values": [
          0.08583333333333332,
          0.10666666666666669,
          0.08999999999999997,
          0.06916666666666671,
          0.07833333333333337
        ]
      }
    }
  },
  "aggregated_pairwise": {
    "wiki_vs_inpainting": {
      "accuracy": {
        "mean": 0.9204166666666665,
        "std": 0.0021850184336878135,
        "ci_95": 0.0019152531019278984,
        "values": [
          0.9216666666666666,
          0.9170833333333334,
          0.9229166666666667,
          0.92,
          0.9204166666666667
        ]
      },
      "auc_roc": {
        "mean": 0.9754777777777779,
        "std": 0.0020227217247155895,
        "ci_95": 0.0017729937642036325,
        "values": [
          0.9761385416666668,
          0.9778364583333332,
          0.9761270833333333,
          0.9723756944444445,
          0.9749111111111111
        ]
      },
      "f1": {
        "mean": 0.920919449323874,
        "std": 0.0021151914201433647,
        "ci_95": 0.0018540470259390336,
        "values": [
          0.9222497932175352,
          0.919006919006919,
          0.9238996297819827,
          0.9191238416175231,
          0.9203170629954109
        ]
      }
    },
    "wiki_vs_insight": {
      "accuracy": {
        "mean": 0.8935833333333333,
        "std": 0.008978175699377257,
        "ci_95": 0.00786971798167575,
        "values": [
          0.89125,
          0.8870833333333333,
          0.8845833333333334,
          0.8983333333333333,
          0.9066666666666666
        ]
      },
      "auc_roc": {
        "mean": 0.9610511111111112,
        "std": 0.005009094637947759,
        "ci_95": 0.004390665037542907,
        "values": [
          0.9591041666666666,
          0.9577305555555554,
          0.9557927083333334,
          0.9651961805555554,
          0.9674319444444444
        ]
      },
      "f1": {
        "mean": 0.8913618737499409,
        "std": 0.009126746824678685,
        "ci_95": 0.007999946314857462,
        "values": [
          0.8886993603411514,
          0.8863731656184486,
          0.8815733219324497,
          0.8949181739879414,
          0.9052453468697124
        ]
      }
    },
    "wiki_vs_text2img": {
      "accuracy": {
        "mean": 0.9348333333333333,
        "std": 0.00742204860908063,
        "ci_95": 0.006505712447107124,
        "values": [
          0.9245833333333333,
          0.935,
          0.9333333333333333,
          0.9358333333333333,
          0.9454166666666667
        ]
      },
      "auc_roc": {
        "mean": 0.9845451388888888,
        "std": 0.005230911778120413,
        "ci_95": 0.004585096333511164,
        "values": [
          0.9776388888888888,
          0.988425,
          0.9869284722222222,
          0.9803493055555554,
          0.9893840277777778
        ]
      },
      "f1": {
        "mean": 0.9361299524203165,
        "std": 0.007601494669431217,
        "ci_95": 0.006663003854088594,
        "values": [
          0.925360824742268,
          0.9376,
          0.9348534201954397,
          0.9361525704809287,
          0.9466829466829467
        ]
      }
    }
  },
  "config": {
    "seed": 42,
    "cv_folds": 5,
    "batch_size": 32,
    "num_workers": 4,
    "early_stopping_patience": 5,
    "lr": 0.0001,
    "weight_decay": 0.0001,
    "T_max": 15,
    "data_dir": "data_cropped",
    "run_name": "p2e_resnet18_facecrop_aug",
    "backbone": "resnet18",
    "pretrained": true,
    "epochs": 15,
    "image_size": 224,
    "subsample": 0.2,
    "augment": {
      "hflip_p": 0.5,
      "rotation_degrees": 10,
      "brightness": 0.2,
      "contrast": 0.2,
      "saturation": 0.1,
      "hue": 0.02,
      "grayscale_p": 0.1,
      "blur_p": 0.1,
      "erase_p": 0.2,
      "noise_p": 0.3,
      "noise_std": 0.04
    }
  }
}