Mailtråd med Advent of Code-skaparen gällande LLMs i topplistor #
The big change this year is that it’s the first time “asking the community nicely” has failed to fix a problem. For the past nine years, I’ve been able to (for the most part) keep people from overwhelming the site, sharing answers, streaming early, making copies of the site, or even using LLMs on the global leaderboard, all by just asking nicely. This year, I’m not sure what changed, but people have been very brazen about their cheating.
I do not mean “more people are cheating”. I mean that people this year have been emailing me to explicitly state that they see the request to not use LLMs, but that they do not respect me or my work, and as such will be using LLMs to place on the global leaderboard regardless of what I say. This change in behavior is disappointing to me; it leads me to believe that any solution to our immediate problem which relies on users being honest will likely fail.
Advent of Code filar tioårsjubileum, och det är en jävligt sur och bitter eftersmak att rövhattar struntar i regler och skapar distorsion i den globala poängtabellen.
Detta är ett publikt arkiv av en mailkorrespondens mellan en av de profilerade tävlingsprogrammerarna och skaparen av Advent of Code, som håller god ton och ger insikt. Skaparen ser att detta är ett problem, men har ingen enkel lösning.
Min åsikt: ta bort globala poänglistan, och låt istället communityt lösa det. En möjlig lösning är att låta en kurerad privat poänglista summera resultat för tävlingsprogrammerarna. Det är det enda sättet, då Advent of Code drivs av 1 person med stöd av ett par reddit-moderatorer.
Jag anser inte att det är att “fuska” att träna på sin färdighet att prompta LLMs och att göra detta med Advent of Code-problem. Vad jag däremot kan uppskatta är att se dessa tävlingsprogrammerares tider för att få litet feedback om t ex
- Huruvida dagens pussel var så svårt som jag upplevde det,
- det alls går att lösa dagens pussel snabbt och enkelt, eller
- Hur jag själv presterar i jämförelse med de som är proffs och är specialiserade i den här typen av programmering.
Med en massa brus i form av “kopiera och klistra in”-tider blir den globala poängtabellen irrelevant för mig, och andra som följer den av samma eller liknande anledningar.