El CEO de Anthropic, Dario Amodei, considera que las compañías de inteligencia artificial deberían reducir el ritmo con el que desarrollan nuevos modelos. En una publicación reciente, Amodei aseguró que sigue siendo optimista sobre el potencial de la IA, pero advirtió que los mecanismos para prevenir sus riesgos no están avanzando al mismo ritmo que las capacidades de estos sistemas.

Entre los riesgos mencionados por Amodei están el desarrollo de sistemas de IA que puedan actuar de manera peligrosa, su utilización para actividades criminales o terroristas y las consecuencias económicas que podrían provocar modelos cada vez más capaces. Su propuesta incluye permitir evaluaciones independientes de los modelos, establecer estándares de seguridad entre compañías y gobiernos, y buscar acuerdos internacionales sobre el desarrollo responsable de la tecnología.

Amodei también planteó diferentes niveles de regulación, desde prohibir usos especialmente peligrosos de la IA hasta establecer pruebas de seguridad antes de lanzar nuevos modelos. Una de las propuestas más extremas sería establecer un límite al desarrollo de sistemas capaces de mejorar sus propias capacidades o incluso llegar a una pausa internacional en el desarrollo de la IA. Sin embargo, el propio ejecutivo reconoce que esta última opción sería bastante difícil de implementar.

El planteamiento llega después de varias advertencias dentro de la industria sobre los posibles riesgos de una inteligencia artificial avanzada. Un investigador de Anthropic que recientemente renunció aseguró que las compañías están compitiendo hacia una inteligencia artificial capaz de mejorarse a sí misma. Al mismo tiempo, existen investigadores que consideran que las predicciones sobre una IA capaz de acabar con la humanidad son todavía especulativas y que los riesgos actuales, como el uso malicioso, el impacto laboral y el exceso de expectativas, deberían recibir más atención. Curiosamente, Sam Altman y Elon Musk ya expresaron su apoyo a la propuesta de Amodei. ¿Estamos ante una advertencia necesaria o las compañías de IA están exagerando el peligro?