Östhammars Nyheter upprättade en lista med 15 frågor om arbetstillstånd, medborgarskapsansökningar, långtidsboende (LTR) och andra frågor och lämnade in dem till GPT-5.2. Vi använde ChatGPT Plus-prenumerationen, som påstår sig tillhandahålla en modell som kan ”djupare forskning”, med ”starkare resonemang, kreativitet och analys”. Vi skickade sedan svaren som modellen gav till tre svenska immigrationsjurister för att bedöma deras riktighet.
Advokaterna, Youstbi Djuanvat på Edelweiss Legal, Adib Hosseini på Vedette Legal och Lena Rekdal på Nimmersion, var överens om att ChatGPT:s svar var felaktiga på tre frågor, och delvis felaktiga på en fjärde.
De skilde sig dock på fyra av de andra elva svaren, där en advokat i varje fall identifierade problem med modellens svar, medan de andra två antingen inte gav några kommentarer eller inte hittade några problem.
”Även om ChatGPT-svaren kan se tillförlitliga ut, är bara två av svaren tillförlitliga nog att skicka in utan risk för förnekande”, sa Rekdal. ”Vissa svar är delvis korrekta. Men de saknar värdefull och avgörande information om kvalifikationer, timing, genomgång av tidigare historia och vem som kan söka.”
Djuanvat sa att han inte var förvånad över antalet fel som AI gjorde.
”AI har förbättrats enormt,” sa han. ”För några år sedan var majoriteten av den information som genererades felaktig, medan detta nu är mycket mindre vanligt. Men det är fortfarande inte tillräckligt bra. Om ett överklagande är livsförändrande skulle jag inte lita på AI.”
Misstagen
ChatGPT gjorde misstag i reglerna kring arbetstillstånd, medborgarskap och långtidsboende. Som Rekdal hävdade skulle flera av dessa misstag leda till att en ansökan avslogs om en användare litade på råden och ansökte på baksidan av den.
Kommer ChatGPT att nå dit så småningom?
Även om advokaterna var överens om att AI ännu inte kunde lita på att ge tillförlitliga råd om migrationslagstiftning, skilde de sig åt om framtida versioner av ChatGPT eller andra LLM:er kan matcha eller till och med överträffa mänskliga advokaters prestationer.
Djuanvat sa att han hade blivit tillräckligt imponerad av hur snabbt AI:s prestanda hade förbättrats för att han trodde att det skulle komma ikapp inom några år.
”Jag har läst flera överklaganden gjorda av individer som genererats med hjälp av AI och även om de innehåller många felaktiga juridiska hänvisningar har de ofta ett bra flöde av argumentation och struktur”, sa han.
”Att döma av den nuvarande utvecklingskurvan är det tänkbart att AI inom mindre än ett decennium kan överträffa mänskliga prestationer inom den juridiska branschen.”
Rekdal var mer skeptisk och menade att utan en reform av Sveriges komplicerade migrationslagstiftning skulle advokater fortfarande behövas.
”Kan detta förändras i framtiden? Möjligen, men bara om lagstiftningen i grunden förenklades, med de flesta undantag borttagna och arbetsrättsliga krav blir mindre avgörande i bedömningsprocessen”, sa hon.
”Ett sådant skifte skulle sannolikt möjliggöra ett till stor del automatiserat system, vilket i sin tur avsevärt skulle kunna minska behovet av manuell ärendehantering och den nuvarande bemanningen på cirka 6 000 anställda på Migrationsverket.”
