Generatívna AI vyvoláva otázky o pôvode obrázkov pre dospelých

Odhadom 90 % nových obrázkov v niektorých online galériách už môže byť čiastočne alebo úplne vytvorených generatívnou AI, čo nás núti prehodnotiť, čo považujeme za "skutočné".

Sme skupina redaktorov a výskumníkov, ktorí sa venujú etike digitálnych médií, a sledujeme, ako technológie menia hranice vizuálneho obsahu—najmä v oblasti pre dospelých, kde sú dôsledky zložité a citlivé.

Položíme si otázky o pôvode, súhlase a právach zobrazených osôb, keď za objektmi stoja modely, databázy či algoritmy, nie človek za fotoaparátom.

Sme odhodlaní rozobrať právne, morálne a technologické aspekty; zmapovať, kto nesie zodpovednosť; a navrhnúť kroky k transparentnosti a ochrane zraniteľných skupín.

Tento článok predstavuje naše zistenia, dilemy a odporúčania v snahe pochopiť novú realitu obrázkov pre dospelých v ére generatívnej AI.

Generatívna AI a realita

Generatívna AI mení naše vnímanie reality.

Generatívna AI dokáže vytvárať fotografie a videá, ktoré sa od skutočnosti často nedajú ľahko odlíšiť. To narúša istoty, na ktoré sme boli zvyknutí, a vytvára potrebu nových nástrojov a pravidiel, aby sme sa cítili bezpečne. Technológia núti prehodnotiť dôveru v vizuálny obsah.

Súhlas a identita predstavujú osobitné riziká.

• Niečí obraz sa môže použiť bez dohody.
• Identita osoby môže byť zmenená alebo zneužitá najmä v materiáloch určených pre dospelých.

Naše odporúčania a hodnoty.

1. Podporujeme investície do detekčných techník proti deepfake.
2. Žiadame väčšiu transparentnosť pri tvorbe obsahu (označovanie generovaných alebo upravených materiálov).
3. Budujeme spoločenstvo, kde sa rešpektuje dôstojnosť jednotlivcov.
4. Zdieľame zodpovednosť za overovanie zdrojov a vytvárame normy na ochranu všetkých.

Cieľ:

Spoločne vytvoriť prostredie, kde sú ľudia chránení pred zneužitím vizuálnych materiálov a kde môžeme dôverovať zdrojom a autenticite obsahu.

Identita a súhlas

Musíme zabezpečiť, aby sa na tvorbu alebo úpravu obrázkov ľudí vždy pýtalo a overilo ich identitu.

Ak nebude získaný jasný súhlas a overenie identity, riskujeme vážne porušenie súkromia a dôstojnosti.

Chceme, aby sa každý cítil súčasťou bezpečnej komunity, preto trváme na jasnom súhlase a identite predtým, než použijeme generatívnu AI na tvorbu či úpravu intímnych obrázkov.

Budeme podporovať transparentné procesy, kde ľudia vedia, kto pracuje s ich podobizňou a na aký účel.

Zároveň budeme požadovať technické riešenia na detekciu deepfake, ktoré pomôžu overiť pravosť obsahu a zabrániť zneužitiu.

Nechceme, aby sa niekto cítil izolovaný alebo bezmocný — budeme presadzovať práva osôb na rozhodovanie o vlastnom obraze a zavádzať zodpovednosť tvorcov a platforiem.

Týmto spôsobom posilníme dôveru medzi používateľmi a vytvoríme prostredie, kde súsediace hodnoty rešpektu a ochrany sú na prvom mieste.

Autorské práva a vlastníctvo

Musíme jasne určiť vlastníctvo a riešenie nárokov.

Musíme jasne určiť, kto vlastní práva k vytvoreným alebo upraveným obrázkom a ako budeme riešiť nároky autorov, modelov a používateľov.

Navrhujeme definovať vlastníctvo a licencie pri obrázkoch vytvorených generatívnou AI.

V tejto komunite chceme spravodlivé pravidlá, preto navrhujeme jasne definovať vlastníctvo a licencie pri obrázkoch vytvorených generatívna AI.
Dohodnime sa, keď používame tréningové dáta z diel iných autorov, že budeme rešpektovať ich práva a poskytovať transparentné informácie o pôvode.

Súhlas a identita musia byť súčasťou autorských rozhodnutí.

Musíme tiež zabezpečiť, že súhlas a identita sú súčasťou autorských rozhodnutí — ak sú v obraze použité podobizne reálnych ľudí, potrebuje sa riešiť právne a eticky konsenzus.
Navrhujeme zdieľané zásady, ktoré chránia tvorkyne a tvorkov, ale aj osoby zobrazené v materiáloch.

Podpora mechanizmov na overenie pôvodu a detekciu zneužitia.

Zároveň podpora mechanizmov pre detekcia deepfake a metadata môže pomôcť pri preukazovaní pôvodu a zodpovednosti.

Cieľ: férové, inkluzívne a praktické pravidlá.

Spoločne môžeme vytvoriť pravidlá, ktoré sú férové, inkluzívne a praktické pre všetkých zainteresovaných.

Techniky detekcie falošných obrázkov

Prejdime k technikám odhaľovania falošných alebo upravených obrázkov a zhodnotenia ich dôveryhodnosti.

Kombinujeme viacero prístupov: používame forenzné analýzy metadát aj analýzy pixelových štruktúr, modely na detekciu deepfake a overovanie pôvodu cez kryptografické pečiatky.

Forenzná analýza metadát (EXIF):

• Skontrolujeme EXIF údaje na nekompatibility alebo nezrovnalosti (napr. nezhodné časy, chýbajúce informácie, upravené softvérové značky).
• Hľadáme stopy po prepisovaní alebo odstránení metadát, ktoré môžu naznačovať úpravy.

Analýza pixelových štruktúr:

• Hľadáme artefakty typické pre generatívne modely (opakujúce sa textúry, nepriame prechody, nepresné hrany).
• Používame nástroje na analýzu šumu, frekvenčných zložiek a lokálnej konzistencie pixelov.

Modely trénované na detekciu deepfake:

• Využívame modely, ktoré overujú fyziologické znaky (napr. blikanie, mikroexpresie) a konzistentnosť osvetlenia či tieňov.
• Tieto modely porovnávajú očakávané fyziologické vzory s tým, čo je na snímke.

Kryptografické overenie pôvodu:

• Overujeme dostupné blockchainové pečiatky alebo digitálne podpisy, ktoré potvrdzujú pôvod a integritu súboru.
• Ak takéto pečiatky nie sú k dispozícii, zaznamenávame to ako medzeru v dôveryhodnosti.

Komunitné kontroly a zdieľanie nálezov:

• Zdieľame analýzy a overujeme zdroje s ďalšími odborníkmi alebo komunitou.
• Podporujeme zodpovedné nahlasovanie a postupy overenia, aby sa znížilo riziko zneužitia súhlasu a identity.

Cieľ: vytvoriť bezpečnejšie prostredie, kde kombináciou technológií a komunitnej spolupráce zvyšujeme dôveru v digitálny obsah a chránime súhlas a identitu jednotlivcov.

Riziká pre zraniteľné skupiny

Mnohé zraniteľné skupiny čelia zvýšenému riziku zneužitia obrazového materiálu.

Falošné alebo upravené snímky (deepfaky) môžu viesť k psychickému poškodeniu, sociálnej stigmatizácii a bezpečnostným hrozbám. Generatívna AI výrazne znižuje technické bariéry tvorby kompromitujúcich obrázkov, čím sa zvyšuje riziko pre obete šikany, menšiny a osoby s marginalizovanými identitami.

Musíme jednoznačne chrániť súhlas a identitu.

Identita by mala byť chránená pred falšovaním a zneužitím; jasný súhlas pri zverejňovaní obrazového materiálu je kľúčový pre ochranu dôstojnosti a bezpečia jednotlivcov.

Praktické kroky na zníženie rizika a ochranu zraniteľných skupín:

1. Zvyšovanie povedomia a vzdelávanie.

   • Vzdelávame komunity o tom, čo je súhlas a ako ho správne získavať.
   • Informujeme o technikách a rizikách deepfakov, aby ľudia vedeli rozpoznať manipulovaný obsah.

2. Posilňovanie schopností komunít.

   • Učíme komunitných lídrov a podporné siete, ako reagovať a poskytovať bezpečnú pomoc obetiam.
   • Vytvárame dôverné kanály, kde sa ľudia môžu obrátiť pre podporu bez obáv z odsúdenia.

3. Šírenie nástrojov na detekciu a overovanie.

   • Zdieľame overené techniky a nástroje na detekciu deepfakov s tými, ktorých sa to najviac týka.
   • Podporujeme jednoduché, prístupné riešenia, ktoré môžu použiť aj neodborníci.

4. Tvorba bezpečných priestorov a podporných mechanizmov.

   • Vytvárame prostredia, kde sú obete vypočuté a dostanú konkrétnu pomoc (psychologickú, právnu, technickú).
   • Podporujeme politiky a postupy, ktoré minimalizujú ďalšie vystavenie a škody.

Naša hodnota a cieľ:

Stojíme spolu proti zneužitiu obrazového materiálu a usilujeme sa chrániť dôstojnosť tých, ktorí sú najzraniteľnejší. Implementáciou vzdelávania, nástrojov na detekciu, komunitnej podpory a jasných pravidiel súhlasu môžeme výrazne znížiť škody spôsobené manipulovanými snímkami.

Zodpovednosť platforiem

Platformy nesú zodpovednosť za prevenciu šírenia kompromitujúcich obrázkov.

Kľúčové opatrenia:

• Nastaviť jasné pravidlá týkajúce sa zdieľania citlivého obsahu.
• Rýchlo reagovať na nahlásenia používateľov.
• Umožniť používateľom efektívne chrániť svoje práva.

Cieľ:
Vytvoriť bezpečné prostredie, kde sa každý cíti prijatý a chránený.

Záväzok:
Zaväzujeme sa k transparentným politikám, ktoré vyžadujú jasný súhlas a overenie identity pri zdieľaní citlivého obsahu, a sme pripravení odstraňovať materiál, ktorý porušuje tieto štandardy.

Technologické opatrenia:

1. Implementovať nástroje na detekciu deepfake a zneužitia generatívnej AI.
2. Predchádzať škodám rýchlou identifikáciou falošných alebo manipulovaných obrázkov.

Zapojenie komunity a procesy:

• Zjednodušiť proces nahlásenia pre používateľov.
• Oprávniť komunity, aby pomáhali odhaľovať problémové prípady.

Transparentnosť a podpora obetí:

1. Pravidelne komunikovať rozhodovacie postupy, aby sme si udržiavali dôveru používateľov.
2. Poskytnúť podporu obetiam, vrátane odstránenia obsahu a pomoci pri obnove dôstojnosti.

Regulačné a právne rámce

Musíme vytvoriť jasné právne rámce, ktoré určia zodpovednosť tvorcov, platforiem a užívateľov pri vzniku a šírení kompromitujúcich obrázkov.

Chceme zákony, ktoré sú spravodlivé a inkluzívne, aby sa každý cítil chránený.

Potrebujeme definovať zodpovednosť a prípustnosť zdieľania:

• Kedy nesie vinu autor generatívnej AI (napr. zámerné vytváranie škodlivého obsahu).
• Kedy zodpovedá platforma (napr. nedostatočné opatrenia proti šíreniu alebo absentujúce označovanie syntetického obsahu).
• Kedy je zdieľanie prípustné na základe súhlasu a identity zobrazených osôb.

Navrhujeme pravidlá podporujúce identifikáciu a nápravu:

1. Zaviesť povinnú identifikáciu syntetického obsahu (napr. metadata, označenia).
2. Zaviesť jasné a rýchle mechanizmy nápravy pre obete bez nadmernej byrokracie.
3. Prijat legislatívu chrániacu súhlas a identitu, ktorá zabráni zneužitiu vzhľadu osôb.

Podporujeme technológie a dôkazy v kontexte súdov:

• Podporiť investície do detekcie deepfake a overovacích nástrojov.
• Určiť štandardy dokazovania v súdnych sporoch týkajúcich sa syntetického obsahu.

Cieľ:

Spoločne vytvoriť právne prostredie, kde budú práva jednotlivcov rešpektované a zodpovednosť jasne rozdelená medzi všetkých aktérov.

Odporúčania pre transparentnosť

Navrhujeme požadovať jasné označenie všetkého syntetického obsahu vrátane štandardizovaných metadát a viditeľných štítkov pri jeho zverejnení.

Navrhujeme súčasne vyžadovať informácie o nástroji generatívnej AI, autorovi a dátume vytvorenia, aby sme vytvorili dôveru medzi tvorcami, platformami a používateľmi.

Chceme zaručiť, že súhlas a identita sú jasne zdokumentované — najmä pri obsahu, ktorý zobrazuje reálnych ľudí alebo ich podobizne.

Navrhujeme zaviesť povinné štítky, ktoré sa nedajú ľahko odstrániť, a zabezpečiť overiteľné metadáta v otvorenom formáte.

Zároveň budeme podporovať nástroje pre detekciu deepfake, ktoré platformy nasadia ako súčasť nahrávacieho procesu a komunitného dohľadu.

Veríme, že spoločným stanovením zrozumiteľných pravidiel a technických štandardov dosiahneme prostredie, kde sa každý cíti súčasťou bezpečnejšieho a zodpovedného digitálneho priestoru.

Ako môže generatívna AI ovplyvniť psychické zdravie tvorcov obsahu, ktorí sú opakovane falešne označovaní alebo zneužívaní (napríklad falošné porno) — a aké dostupné zdroje pomoci existujú na Slovensku?

Pýtate sa, ako falošné označenia a zneužitie (napr. falošné porno) ovplyvňujú psychické zdravie a akú pomoc nájdete na Slovensku.

Dopad na psychické zdravie:

• Hanba a stigma. Obete často prežívanú hanbu, obavy z odsudzovania a strach z verejného odhalenia.
• Úzkosť a depresiа. Neustále premýšľanie o dôsledkoch, poruchy spánku, znížená sebaúcta.
• Sociálna izolácia. Vyhýbanie sa priateľom, rodine alebo práci zo strachu, že sa informácie rozšíria.
• Posttraumatické symptómy. U niektorých osôb sa môžu rozvinúť príznaky PTSD (flashbacky, hypervigilancia).

Krátkodobé kroky na zlepšenie psychického stavu:

1. Vyhľadať dôveryhodnú osobu a povedať jej, čo sa stalo.
2. Kontaktovať krízovú linku (napr. Linka dôvery 116 123) pre okamžitú podporu.
3. Zamerať sa na základné potreby: spánok, jedlo, pohyb a obmedzenie konzumácie správ, ktoré zhoršujú úzkosť.

Dostupná pomoc na Slovensku:

• Krízové linky:

  • Linka dôvery: 116 123 (telefonická podpora pre krízu a akútnu potrebu hovoru).
  • Môžete vyhľadať aj lokálne telefónne linky alebo online chaty podľa regiónu.

• Psychologická a psychoterapeutická pomoc:

  • Vyhľadajte registrovaného psychológa alebo psychoterapeuta – možná je aj terapia online.
  • Niektoré neziskovky poskytujú bezplatné alebo dotované poradenstvo pre obete zneužitia.

• Právna pomoc a neziskové organizácie:

  • Obráťte sa na organizácie ako ANEKO a EMA (skontrolujte aktuálne kontakty a služby) pre právne poradenstvo, podporu a sprevádzanie.
  • Neziskovky často pomôžu s dokumentovaním dôkazov, komunikáciou s platformami alebo poskytovaním právnych konzultácií.

• Policajné nahlásenie:

  • Zvážte nahlásenie trestného činu na polícii; polícia môže začať vyšetrovanie a žiadať stiahnutie obsahu.
  • Zhromaždite dôkazy (screenshoty, odkazy, dátumy, svedkov) predtým, než obsah zmeníte alebo odstránite.

Online bezpečnosť a podpora komunity:

• Zabezpečte účty: Zmeňte heslá, zapnite dvojfaktorové overenie, skontrolujte súkromie profilu.
• Požiadajte o odstránenie obsahu: Kontaktujte platformy (súkromné správy, reportovanie obsahu) s žiadosťou o zmazanie falošných materiálov.
• Podpora medzi preživšími: Spojte sa s ľuďmi, ktorí prešli podobným zneužitím — zdieľanie skúseností môže znížiť pocit osamelosti a hanby.

Ak sa cítite v ohrození alebo máte akútnu krízu:

• Okamžite zavolajte Linku dôvery 116 123 alebo tiesňovú linku.
• Ak hrozí fyzické nebezpečenstvo, kontaktujte políciu.

Ak chcete, môžem vám pomôcť nájsť konkrétne kontakty (e-maily, linky) pre ANEKO, EMA, miestne psychologické služby alebo návod, ako pripraviť podklady pre nahlásenie polícii. Chcete, aby som to vyhľadal?

Môže byť použitie generatívnej AI na vytvorenie dospelého obsahu považované za trestný čin, ak zapája osoby, ktoré síce sú dospelé, ale sú pri tom zneužité alebo vystavené nátlaku — a aké sú praktické kroky pri podávaní trestného oznámenia?

Otázka zodpovednosti pri tvorbe „dospelého“ obsahu s dospelými, ktorí sú zneužití alebo pod nátlakom

Áno — môže ísť o trestný čin.
Tvorba alebo šírenie obsahu, kde dospelé osoby vystupujú z dôvodu nátlaku, vydierania, zneužitia alebo porušenia súkromia, môže byť trestná podľa príslušných zákonov. Zásadné sú okolnosti: či išlo o súhlas bez nátlaku, či bola využitá manipulácia, hrozby, vydieranie alebo iné trestné konanie.

Okamžité kroky, ktoré treba podniknúť

1. Podanie trestného oznámenia

   • Kontaktujte políciu a podajte podrobné oznámenie o podozrení na trestný čin.
   • Uveďte všetky známe okolnosti a podozrivé osoby.

2. Zhromažďovanie dôkazov

   • Uchovajte screenshoty, správy, e-maily a iné digitálne stopy.
   • Zaznamenajte mená a kontakty svedkov, časy a miesta udalostí.
   • Nezasahujte do pôvodných súborov (neupravujte ich), uchovajte ich kópie.

3. Vyhľadanie právnej pomoci

   • Obráťte sa na advokáta so skúsenosťami v trestnom práve alebo právach obetí.
   • Advokát poradí pri podaní trestného oznámenia, civilných nárokoch a ochranných opatreniach.

4. Kontaktovanie podporných organizácií

   • Spojte sa s organizáciami, ktoré poskytujú pomoc obetiam zneužívania alebo obchodovania s ľuďmi.
   • Organizácie môžu poskytnúť psychologickú pomoc, právne poradenstvo a praktickú podporu.

5. Ochrana obetí

   • Dôrazne trvajte na bezpečnosti a anonymite obetí tam, kde je to potrebné.
   • Zabezpečte, aby neboli obete opätovne vystavované škodlivému obsahu.

6. Sledovanie postupu vyšetrenia

   • Udržujte kontakt s políciou a právnym zástupcom, získavajte informácie o stave prešetrovania.
   • Uchovávajte kópie všetkej komunikácie a rozhodnutí.

Dôležité upozornenia

• Nezávislé overenie okolností je kľúčové — právne posúdenie závisí od konkrétnych faktov a miestnej legislatívy.
• Ak je ohrozený život alebo bezpečnosť, kontaktujte tiesňové služby okamžite.
• Ochrana dôkazov a spolupráca s odborníkmi významne zvýšia šance na právne postihnutie páchateľov.

Ak chcete, môžem pomôcť zostaviť vzor trestného oznámenia v slovenčine, zoznam organizácií pre podporu obetí vo vašej krajine alebo odporučiť, ktoré dôkazy sú najdôležitejšie na zhromaždenie. Ktorú možnosť preferujete?

Ako rozpoznať, či obrázok bol vytvorený alebo upravený generatívnou AI, ak nemám technické nástroje — aké jednoduché vizuálne znaky alebo známe služby poskytujú rýchle overenie?

Ako rozpoznať, či obrázok je AI‑vytvorený — bez použitia špecializovaných nástrojov

Hľadajte nejasné alebo nesúmerné detaily.
AI generátory často produkujú chyby pri detailoch, napr. prsty, uši alebo zuby môžu byť zdeformované alebo mať nesprávny počet.

Sledujte pozadie a drobné prvky.
Pozadie môže obsahovať nezmyselné objekty, opakujúce sa vzory alebo plynulé prechody, ktoré nedávajú zmysel v kontexte sceny.

Skontrolujte text na obrázku.
Generované obrázky často obsahujú nezmyselné písmo alebo skreslené znaky, preto text býva dobrým ukazovateľom.

Venujte pozornosť pokožke a svetlu.
Príliš hladká pokožka bez pórov, neprimerane dokonalé svetlo alebo jednotné osvetlenie môžu naznačovať syntetický vznik.

Používajte reverzné vyhľadávanie obrázkov.

1. Google Image Search
2. TinEye
   Tieto služby pomôžu zistiť pôvod obrázka alebo či existujú podobné verzie online.

Doplnkové kontroly bezplatnými službami.
FotoForensics (analýza úprav, ELA) a AI‑detektory dostupné na Hugging Face môžu dať ďalšie indície, hoci nie sú vždy stopercentné.

Nedôverujte jednému znameniu — kombinujte indície.
Ideálne je spojiť viacero pozorovaní (detaily, text, pozadie, reverzné vyhľadávanie, nástroje) pred záverom, či je obrázok AI‑vytvorený.

Conclusion

Generatívna AI mení spôsob, akým vnímaš a zdieľaš obrázky pre dospelých, a kladie pred teba zodpovednosť overovať pôvod a súhlas zobrazených osôb.

Buď obozretný voči porušovaniu autorských práv, manipuláciám a rizikám pre zraniteľné skupiny.

Očakávaj, že platformy a zákony sa budú meniť — vyžaduj transparentnosť, podporuj detekčné nástroje a presadzuj jasné pravidlá, aby si ochránil dôstojnosť a bezpečnosť všetkých zúčastnených.