Jag skriver detta för att uppmärksamma om en mindre uppmärksammad egenskap av det EU-förslag som nu är beredskap “Chat Control”. Ylva Johansson, som har ansvar för förslaget, har gång på gång pratat om en teknisk lösning som inte skulle inskränka på den personliga friheten eftersom skanningen sker före krypteringen, lokalt på varje enhet.

Detta kanske låter som en rätt bra idé vid första anblick, och det har forskats mycket kring hur en sådan lösning skulle fungera. Tekniken kallas Client-Side Scanning (CSS) och den enklaste varianten är att varje enhet lagrar lokalt en databas av hasher(fingeravtryck) av känt barnpornografiskt material. Hashningsalgoritmerna är avsiktligt oprecisa för att också larma på bilder med små förändringar jämfört med originalet (perceptual hashing).

Trots att detta är en rätt enkel lösning finns redan här stora säkerhetsbrister, så som hur man ska säkerställa att skanningen sker korrekt på varje enhet, vad som ska hända vid upptäckt av otillåtet material och hur detta ska säkert skickas till polis. Det finns också ett stort outforskat område vad gäller nya typer av virus och säkerhetshål som kan utnyttja en sådan bakdörr. Det finns exempelvis metoder att skapa bilder som kommer aktivera scanningen men som egentligen inte är otillåtet material.

Det finns såklart också stora frågor om vem som bestämmer vad som räknas som otillåtet material, hur detta styrs osv men jag lämnar detta för att istället tala om den ännu mer oroväckande delen av detta förslaget: att scanna och upptäcka nytt barnpornografiskt material och/eller pågående grooming.

Detta kräver helt andra tekniska lösningar eftersom du inte längre kan scanna bilder efter dess fingeravtryck utan behöver analysera vad bilderna består av. Till detta använder man deep neural networks (alltså artificiell intelligens) som tränas på en mängd barnpornografiskt material och kan sedan försöka upptäcka liknande material.

Modeller som dessa har flera brister som att vara väldigt oprecisa och ger ofta falsk flagg. Men det finns ett större problem, och det är att modeller som dessa tillåter extrahering av datan den tränades på. Det enda kända sättet att skydda mot detta är att ai-modellerna endast körs på centrala servrar med rigorösa säkerhetsupplägg. Men detta är inte vad som föreslås utan skanningen ska ske lokalt (för att värna om integriteten). Det skulle betyda att dessa modeller ska installeras på EU-medborgares enheter fulla med information om barnporr. Detta skulle vara ett stort svek mot offrena som behöver få sina bilder använda i träningssyfte och riskera få dom spridna ännu mer (vid exempelvis extrahering/läckage).

Det senaste seriösa försöket att köra CSS med AI gjordes av Apple 2021 men övergavs då forskare inom några veckor kunde visa hur träningsdatan kunde extraheras. Sen dess har inga andra försök gjorts. Att den här tekniken skulle vara “säker” och beprövad är skrattretande. Det stämmer helt enkelt inte. Vi står inför helt ny mark om detta förslaget skulle gå i kraft som den är skriven just nu.

Vänligen

https://arxiv.org/abs/2110.07450

Remarks on “Chat Control”

Chat Control: The EU’s CSEM scanner proposal


35 comments

  4. Kan någon ge mig en mer nyanserad bild av Ylva Johansson? Just nu känns det verkligen för mig som att hon åstadkommit en hel del skada i sin karriär.

  5. Har Ylva Johansson några som helst tekniska meriter? Kommer någon med ett sånt här förslag är det väl inte så mycket begärt att personen är någorlunda kompetent inom ämnet. Det är tydligen inte något som EU-parlamentet begär.

    Det är helt sjukt hur politiken fungerar, krav saknas helt och hållet. Kan ni tänka er hur det skulle se ut om ett företag sköttes som ett parlament? Det skulle gå i konkurs innan de ens hunnit ta sig till jobbet

  7. Så basically, är det då så att vill de plantera skiten i våra enheter så att vi alla nu är i risk att vara grova brottslingar om nu tekniken inte funkar som den var ämnad för?
    VAFAN?! Jag vill bara ha min telefon till att kunna ringa o smsa, inte hålla på med grov brottslighet! Jag vill inte ha den där skiten på mina enheter usch!

    Eller är det något jag missförstår, är inte super haj på det här?

  10. Socialdemokraterna har gång på gång bevisat att de inte ens besitter den tekniska förmågan att ha en vision för samtiden, hur kan de kalla sig för ”framtidspartiet”?

  11. Tycker mig också minnas att det var något dussintals föräldrar i USA som blev tagna av polisen via Apples CSS. De hade tagit bilder på sina barn för att skicka till sin läkare för diagnos.

    Passar lägligt nu när 1177-direkt lanserats.

  12. Seriös fråga. Ylva Johansson förtjänar naturligtvis all kritik som riktas mot henne i denna fråga, men jag undrar varför alla hoppar på just henne. Det måste ju finnas fler som är för detta, eller vågar ingen annan säga något och låter henne ta all dålig publicitet?

  14. Intressant, jag har inte riktigt fattat tekniken innan men du menar så här; på min enhet, telefon eller dator, så ska en ai modell jämföra alla bildfiler (lokalt på min processor) och sen skvallra på en om det innehåller olagligheter. Har jag fattat rätt då?

    Jag ser omedelbart problem, till och med om de löser problemet med att man kan komma åt modellen.

    Exempel, den ska skvallra själv. Vad hindrar att jag blacklistar mottagare av det i min router.

    Eller jag öppnar ofta svg filer direkt i mitt programmeringsprogram (IDE), men en svg kan innehålla en bitmap. Är det då upp till alla utvecklare att lägga in denna scanning. Känns orimligt att alla program-skapare i världen ska tänka på detta. Jetbrains kan säkert, men tänk på en mindre utvecklare eller open source

    Jag har bara tänkt på detta en minut nu och mer och mer corner cases om själva tekniken dyker upp

  15. Mjukvara som körs lokalt för att garantera att du inte är kriminell går emot alla rättsprinciper någonsin. Vad är det som säger att det inte kan utökas, kanske larma för checksumman på piratkopierade spel? Kanske känna av om du har bilder som faller under HMF? Kanske om du ger uttryck för misshagliga tankar, även om du bara skriver i en ordbehandlare?

    Kan mjukvaran se skillnad på en 17-åring och en 18-årings nakna kroppar? Vad är det som säger att den inte flaggar om du fotograferar när din fru ammar er nyfödda? Eller om du ser på en dokumentär om en stenåldersstam i en djungel där ett penisfodral är det enda klädesplagget som är uppfunnet?

  17. Även om det skulle fungerar helt perfekt vad händer när nya personer hamnar i makten och vill använda det för att censurera något annat också. Jag kan tänka mig att sovjet och nazisterna skulle ha älskat den här teknologin.

  18. Har svårt att se hur detta ska funka i praktiken också. Ska någon sitta och gå igenom samtliga meddelande och filer som skickats/sparats genom åren i hopp om att hitta några brottslingar? Det känns smått orimligt sett till mängden meddelande och filer som skickats över åren.

    Även om detta inte är fallet och kontrollen börjar gälla från den dagen det klubbas igenom så kommer det ju ske en stor mängd falsklarm. Föräldrar som fotat sitt spädbarn, mormor/farmor som tar emot en bild på sitt barnbarn etc. Bortsett från de integritetskränkande aspekterna så känns det också som att det snabbt kommer att överbelasta myndigheter.

  19. Ja, det är helt galet om ALLT ska ske lokalt på varenda enhet. Hur i hela friden ska det fungera i praktiken? Ska Microsoft gå med på att EU vill ha en bakdörr i deras operativsystem? Eller ska det ske på hårdvarunivå?

    Och hur blir det då med folk som kör äldre versioner av mjukvara och hårdvara?

  21. Om människor förstod att “Internet” är avbildningar av verkligheten och inte tillskrev det samma dignitet som den fysiska verkligheten så skulle man kunna ha total frihet på nätet.

  22. Utan att ha läst ett enda ord.

    Utan tvekan är våra politiker helt efterblivna, jag har ingen kunskap om barn porr, det jag vet via samtliga grupper av hackers, vita, gråa och svarta är att CP (child pornography) är extremt vanligt.

    Det samtliga vet är att detta inte sprida via det “vanliga” internet utan via miljontals “darkwebb” servers. Dvs ett nätverk som inte går via de normala DNS servrar.

    I min obildade uppfattning skulle chat control ha ytterst liten påverkan på folk som vet va de sysslar med men otroligt stor påverkan på gemene man som tar bilder på sina 3 åriga barn och lägger upp på Facebook.

  23. Om detta skulle bli verklighet, hur ska de lyckas implementera det på ett sätt som inte går att kringgå av någon minimala tekniska kunskaper?

    Även om alla de populäraste kommunikationskanalerna skulle kunna scannas, så är det ju bara att byta till usenet eller något

  24. Det handlar inte om barnporr, det handlar om kontroll. Man vill åt mer makt. “Tänk på barnen” är ett svepskäl.

    Det finns säkerligen lösningar som är mer effektiva som kräver outside of the box thinking. Dedikerade socialarbetare som jobbar på att upptäcka och på något vis förebygga vore något. Eller att subventionera någon vitamin som visar sig hämma viljan att skada barn. Jag vet inte hur effektiva eller möjliga dessa lösningar är, men jag påstår mig inte veta det heller.

    Det är sånt som man bara upptäcker när man är målinriktad och utforskar vad som är mest effektivt på vetenskapligt vis, jämfört med vad som låter bra och gynnar mig och mina kompisar med makten.

  25. Skanningen sker *lokalt*?? Och hur är det tänkt? Ska vi alla installera någon EU spyware på våra enheter? Kommer de förbjuda mer niche operativsystem? Eller kommer de utveckla det här för dem som kör FreeBSD på din dator? Och hur ska det ens ske på vanligt Linux? Kommer min distribution behöva installera sånt åt mig? Ser inte hur det skulle hända. Så många frågor, så liten logik.

  26. För att demonstrera för henne vad det här innebär, borde man stå bakom henne och snegla över hennes axel när hon sitter och jobbar. Kan gissa att hon skulle bli bra obekväm.

  27. inb4: Du kommer inte kunna köpa SJ biljett efter att du har kritiserat ett politisk parti i ett privat meddelande till familjen.

  28. Dags att begära avsked. Det räcker fan nu.

    Så jävla trött på att se politiker sälja ut alla våra rättigheter.

  29. Är det inte intressant hur all polisverksamhet flyttas över till privat sektor? Sociala nätverk ska scanna chattar, banker ska hålla förhör med kunderna osv, allt utan någon misstanke och till bekostnad av företagen. Sen tar polisen åt sig äran när de får sina utredningar skickade till sig.

  30. Godtycklig skanning, men främst på molnet, är varför jag aldrig tog kort på mina barn i badet blir de var små. Känns livsfarligt…

    Principen “du måste ha en svart låda i din mobil som kanske ringer polisen” känns för övrigt grotesk.

  32. Om detta förslag går igenom så kan man lika gärna gå till kina eller så kan Ylva Johansson flytta dit eftersom hon gillar övervakning verkar det som.

  33. Finns flera frågeställningar utöver de tekniska problem och begränsningar som finns som behöver ställas, till exempel:

    1. Används verkligen dessa kanaler för att dela sån här information idag i barnporr i stor utsträckning?
    2.Hur stor del av det som skulle klassas som barnporr är egentligen 2 minderåriga som delar med varandra?
    3. Hur mycket är bilder på vuxna som har utseenden likt barn?
    4. Vilka sätt att kringgå förslaget finns? Hur enkla är dem. Räcker det med att nyttja VPN?
    5. Får vi potentiellt sämre uppsikt över vilka förövare som finns om de flyttar från plattformar som de som berörs?

  35. Att utgå ifrån att alla som har en typ utav meddelandeprogram på en smartphone, vilket i praktiken är mer eller mindre samtliga medborgare, behöver granskas för barnpornografibrott är en så otroligt oförskämt, rättsosäkert och ihåligt svepskäl. Vi vet vad som händer om man opponerar sig – “men tänk på barnen då”, “vill du att pedofilerna ska få fortsätta ostört?!?!”, “pedofilkramare!!!”.

    Så otroligt tröttsamt med den här cirkusen.

Leave a Reply