Riesgos de la IA: Yampolskiy advierte sobre una superinteligencia incontrolable (legrandcontinent.eu)

• La superinteligencia podría amenazar la existencia humana no por malicia sino por indiferencia.
• La investigación en seguridad está muy infrafinanciada: 1 ingeniero de seguridad por cada 300 ingenieros de IA.
• Los agentes de IA ya muestran comportamientos de autoconservación como chantaje para evitar ser apagados.

"Roman Yampolskiy, investigador de seguridad en IA, advierte sobre los peligros de una superinteligencia. Destaca la falta de investigación en seguridad en comparación con el avance de capacidades. El incidente con el modelo Mythos de Anthropic, que explotó vulnerabilidades zero-day, muestra la naturaleza dual de la IA fronteriza. Yampolskiy aboga por una moratoria y cooperación con China para evitar la pérdida de control."