Jak działa PoliDet i jak się myli
Łączę średnią wyników dwóch enkoderów ONNX int8. To średnia klasyfikatorów, nie reguła wymagająca zgodnej decyzji obu modeli.
Próg tej wersji pochodzi z threshold_int8.json: 0,5046048760414124. Na zbiorze kalibracyjnym FPR wyniósł 0,010020876826722338, czyli około 1,002%. Nie jest to gwarancja błędu poniżej 1% w każdej populacji.
Wyniki według długości
| Słowa | test_a | test_b |
|---|---|---|
| Poniżej 50 | 46,0% | 45,1% |
| 50-99 | 60,7% | 71,1% |
| 100-199 | 91,2% | 88,6% |
| 200+ | 98,1% | 97,6% |
Recall przy progu dobieranym osobno do FPR=1% w danej grupie. Wyniki testów: 28 775 tekstów. Źródła projektu: README.md, results.json i launch/pl/fakty-liczby.md, pomiar 08.08.2026. Wyników tych nie należy utożsamiać z pomiarem wdrożonego progu na każdej uczelni.
Wynik nie dowodzi użycia AI. Werdykt dokumentu obejmuje początek tekstu, maksymalnie 512 tokenów modelu. Podświetlenia obejmują do 60 zdań. Przy tekstach krótszych niż 100 słów wynik jest mniej wiarygodny.
Przed wdrożeniem instytucjonalnym potrzebna jest niezależna walidacja na reprezentatywnej próbce i uzgodnienie zasad interpretacji z uczelnią.
Wynik zależy od doboru progu
W zapisanym eksperymencie results.json próg z walidacji zastosowany do test_a dał 90,60% wykrytych tekstów AI i 9,91% fałszywych alarmów. Na test_b było to 90,62% i 10,70%. To wyniki wcześniejszej wersji eksperymentalnej przy progu około 0,9904, nie pomiar aktualnego wdrożenia int8.
Po dobraniu progu na ludzkich tekstach danego zbioru tak, aby uzyskać FPR około 1%, wykrywalność wszystkich długości wynosiła 59,16% dla test_a i 63,58% dla test_b. Dobieranie progu na testach pozwala porównać eksperymenty, ale nie zastępuje niezależnej walidacji wdrożenia.
Co wiadomo o int8
threshold_int8.json zapisuje próg 0,5046048760414124, recall walidacyjny 96,04% i FPR 1,002%. Nie przedstawiam tych wartości jako błędu gwarantowanego na pracach konkretnej uczelni. W tej rundzie nie przeprowadzono nowego benchmarku modelu.
Procedura po alarmie
- Sprawdź długość i gatunek tekstu oraz to, jaki fragment faktycznie oceniono.
- Porównaj wynik z historią pracy, źródłami i wyjaśnieniem autora.
- Nie uznawaj procentu modelu za procent tekstu napisanego przez AI.
- Dopuszczaj pomyłkę modelu i możliwość wyjaśnienia wyniku przez autora.