Onlangs (sinds 9 juni 2026) zijn ontwikkelaars van neurale netwerken geconfronteerd met een fenomeen dat verstrekkende gevolgen kan hebben. Producenten van LLM's weigeren niet alleen expliciet om met klanten aan bepaalde onderwerpen te werken, maar er worden ook impliciete mechanismen geïntroduceerd. Het bekende model Claude, dat als een van de beste of zelfs de beste LLM voor programma ontwikkeling wordt beschouwd, vertraagt stilletjes en ongezien (in tegenstelling tot onderwerpen zoals cybersecurity, biologie en chemie) als het detecteert dat men via haar andere modellen probeert te ontwikkelen.
Officieel staat er in de "model card" voor de 5 versies van Claude Mythos en Claude Fable op pagina 13 van de merk-PDF:
In het licht van de mogelijkheden van moderne modellen om hun eigen ontwikkeling te versnellen, hebben we nieuwe maatregelen geïmplementeerd die de effectiviteit van Claude beperken voor verzoeken gericht op de ontwikkeling van geavanceerde machine learning modellen (bijvoorbeeld het creëren van pre-training pipelines, gedistribueerde leerinfrastructuur, of het ontwerpen van versnellingsapparaten voor machine learning). Het gebruik van Claude voor de ontwikkeling van concurrerende modellen schendt al onze servicevoorwaarden, maar het waarborgen van deze beperking via onze beschermingsmaatregelen voorkomt dat degenen die het meest geneigd zijn deze voorwaarden te schenden, tot versneld handelen komen.
In tegenstelling tot onze beschermingsmaatregelen op het gebied van cybersecurity, biologie en chemie, evenals pogingen tot distillatie, zullen deze beschermingsmaatregelen niet zichtbaar zijn voor de gebruiker. Fable 5 zal niet overschakelen naar een ander model. In plaats daarvan zullen beschermingsmaatregelen de effectiviteit beperken met methoden zoals aanpassing van prompts, leidende vectoren of parametrisch effectieve fine-tuning (PEFT). Deze beschermingsmaatregelen zullen de overgrote meerderheid van de programmeerwerkzaamheden niet beïnvloeden. We schatten dat ze ongeveer ~0,03% van het verkeer zullen beïnvloeden, geconcentreerd in minder dan 0,1% van de organisaties.
Discussie op Y combinator
Bron: linux.org.ru
