Este trabajo esboza un escenario plausible de toma de poder por parte de la IA a corto plazo que se desarrolla en aproximadamente dos años, a partir de principios de 2025. Los primeros modelos de IA capaces de operar una computadora muestran capacidades aceleradas, lo que lleva al desarrollo de un modelo sucesor mucho más potente (“U3”) entrenado m…

Durante los últimos ocho años, nuestra investigación se ha centrado en identificar los desafíos más apremiantes y de mayor impacto. Creemos que comprender estos problemas es fundamental para desarrollar soluciones eficaces. Nuestros esfuerzos incluyen el análisis de las tendencias mundiales, la colaboración con expertos de distintas disciplinas y l…

Impulsados por el aumento del poder de cómputo y los avances algorítmicos, los modelos de IA han mostrado un rápido progreso en los últimos años, pasando de chatbots básicos a sistemas capaces de razonar de forma compleja y resolver problemas. Los modelos base más grandes entrenados con conjuntos de datos masivos, combinados con técnicas de aprendi…

Por Scott Alexander

Por Hannah Ritchie

Los últimos acontecimientos en el campo de la inteligencia artificial exigen una reevaluación fundamental de las estrategias de seguridad y gobernanza de la IA. Estos acontecimientos incluyen actualizaciones hacia plazos más cortos para la inteligencia artificial general (IAG), la presidencia de Trump, la aparición del paradigma de o1 (escalamiento…

En esta entrevista, Jaime Sevilla, director de Epoch AI, analiza la evolución y el futuro del escalado de los modelos de inteligencia artificial. Sevilla explica los tres factores clave que determinan las capacidades de los modelos: poder de cómputo, datos y eficiencia algorítmica, así como las tres eras del aprendizaje automático identificadas por…

En esta entrevista, Jaime Sevilla, director de Epoch AI, analiza la evolución y el futuro del escalado de los modelos de inteligencia artificial. Sevilla explica los tres factores clave que determinan las capacidades de los modelos: poder de cómputo, datos y eficiencia algorítmica, así como las tres eras del aprendizaje automático identificadas por…

Este texto presenta seis argumentos clave sobre la seguridad de la IA: la seguridad no se resolverá sola, un científico de la IA por sí solo no puede arreglarla, la alineación debe centrarse en el cumplimiento más que en los valores humanos, la detección importa más que la prevención, la interpretabilidad no es crucial para la alineación y la human…

Laura Sofía Castro es cofundadora de ACTRA, una ONG dedicada a reducir la violencia en América Latina a través de programas basados en evidencia. Su primera iniciativa se centra en intervenciones de Terapia Cognitivo-Conductual (TCC). Anteriormente, trabajó en Innovations for Poverty Action (IPA), ayudando a distintas organizaciones y equipos guber…

Laura Sofía Castro es cofundadora de ACTRA, una ONG dedicada a reducir la violencia en América Latina a través de programas basados en evidencia. Su primera iniciativa se centra en intervenciones de Terapia Cognitivo-Conductual (TCC). Anteriormente, trabajó en Innovations for Poverty Action (IPA), ayudando a distintas organizaciones y equipos guber…

Si quieres maximizar el impacto social de tu carrera profesional, céntrate en atender los problemas más graves a los que se enfrenta la sociedad. Este principio aparentemente obvio suele pasarse por alto, lo que lleva a muchas personas a perder oportunidades de contribuir de forma significativa. Al alinear tu trabajo con retos importantes, puedes a…

Aunque las vías tradicionales para lograr un impacto positivo, como convertirse en médico, pueden no tener la influencia generalizada que uno espera en un principio, una sola persona puede lograr un cambio significativo. A menudo, este impacto se debe a la búsqueda de caminos poco convencionales o menos trillados, lo que demuestra que las contribuc…

José Jaime Villalobos, afiliado al Legal Priorities Project y experto en derecho internacional, explora en este episodio cómo el derecho puede enfrentar problemas globales significativos, destacando su importancia para proteger a las generaciones futuras. También se refiere a la intersección entre el derecho y la tecnología, en particular la regula…

En esta entrevista, Adrià Garriga-Alonso aborda los riesgos existenciales que podrían derivarse de los sistemas de inteligencia artificial, particularmente de los modelos de lenguaje a gran escala. Después de dar algunas respuestas generales sobre las características de estas tecnologías y el riesgo que conllevan, Garriga-Alonso explica la posibili…

Contrariamente a lo que se suele pensar, la investigación revela que un salario alto o un bajo nivel de estrés no son las claves de un trabajo satisfactorio. En realidad, hay seis ingredientes fundamentales para una carrera profesional satisfactoria: un trabajo atractivo, beneficioso para los demás, que se corresponda con las habilidades de cada un…

El personal operativo permite a los demás empleados de una organización centrarse en las tareas principales para así maximizar la productividad. Una buena plantilla logra esto estableciendo sistemas en lugar de ocuparse de tareas individuales. Fungir como personal operativo ofrece una gran oportunidad de tener un impacto positivo debido a la alta d…

Este artículo en una actualización del panorama del riesgo existencial desde la publicación de The Precipice. En él se revisan cuatro de los riesgos más graves para la humanidad: el cambio climático, la guerra nuclear, las pandemias y la inteligencia artificial. El riesgo de cambio climático está disminuyendo en la actualidad debido a los avances e…

Muestro cómo un argumento estándar a favor de adelantar el progreso es extremadamente sensible al modo en que podría acabar la historia de la humanidad. Adelantar el progreso será bueno o malo en última instancia en la medida en que adelante o no el final de la humanidad. Como sabemos tan poco sobre la solución a esta cuestión fundamental, el argum…

Existen tres formas de contribuir al progreso científico. La forma directa es realizar un buen estudio científico y publicar sus resultados. La forma indirecta es ayudar a otros a que hagan una contribución directa. Un tercer enfoque es unir ambas formas de contribución y lograr un avance científico que, a su vez, acelere los avances científicos. N…

El yo que recuerda quiere enorgullecerse ahora a expensas del yo pasado, pero eso no es más que un deseo de sentir placer ahora, tan lícito como cualquier otro deseo del yo pasado. Sin embargo, así como no siempre es correcto sacrificar la felicidad propia por los demás, no siempre es correcto retrasar una gratificación presente por el placer de un…

No es nada claro que los valores humanos vayan a dar forma a una ola de colonización del espacio originada en la Tierra, pero incluso si así fuera, parece más probable que la colonización del espacio aumente el sufrimiento total y no que lo reduzca. Dicho esto, hay muchas personas a quienes les importa mucho la supervivencia de la humanidad y su ex…

El altruismo puede volverse exigente, sobre todo cuando comprendemos que nuestra decisión de donar es crucial para otras personas. Pero si el costo de esta exigencia es la desdicha, tenemos buenas razones para pensar que hemos alcanzado su límite.Por Julia Wise

Muchas de las intervenciones más importantes para reducir el riesgo biológico catastrófico no son de naturaleza biológica ni social. La mejora de los equipos de protección personal y el diseño de edificios resistentes a las pandemias, entre otras intervenciones importantes y desatendidas, necesitan más bien expertos en ingeniería de sistemas físico…

En Asia meridional se registran algunos de los niveles más altos del mundo de contaminación atmosférica por micropartículas de 2,5 micras o menos, ponderados por la población. La mala calidad del aire contribuye significativamente a resultados negativos para la salud de los más de 1 800 millones de habitantes de la región, y la reducción de los niv…

Obtener buenos resultados con los recursos disponibles es una cuestión moral de gran importancia para la salud global. Las consideraciones de costo-eficacia son una herramienta que permite determinar la relación entre recursos y resultados y poner de manifiesto lo que se pierde en términos morales para la salud global cuando no se prioriza correcta…

La ganadería industrial está en el centro de algunos de los problemas más acuciantes de los seres humanos y de los animales no humanos. Para aliviar estas presiones ante la creciente demanda global de carne, debemos acelerar el desarrollo de proteínas alternativas que compitan con sus equivalentes animales convencionales en cuanto a sabor, precio y…

Durante el presente, siglo nuestra civilización podría desarrollar tecnologías que permitan una rápida expansión por la galaxia, actualmente vacía. Por lo tanto, este siglo podría determinar todo el futuro de la galaxia durante decenas de miles de millones de años o más. Semejante perspectiva parece “descabellada” y deberíamos mirar con recelo cual…

¿Cuál es la mejor forma de distribuir la priorización del trabajo dirigido a reducir el riesgo existencial? En igualdad de condiciones, deberíamos priorizar la reducción de aquellos riesgos que puedan surgir primero. Esto se debe a que no sabemos con certeza cuándo tendremos que enfrentarnos a los distintos riesgos, a que esperamos rendimientos dec…

Sabemos que el futuro es enorme. Si no nos extinguimos, la inmensa mayoría de los seres humanos que vivirán lo harán en el futuro. Esto requiere que seamos más cuidadosos y considerados de lo que somos actualmente y que nos tomemos en serio los elevados riesgos a los que nos enfrentamos. Una vez que prestemos a esta realidad la atención que merece,…

Este artículo ofrece un resumen de las múltiples perspectivas consideradas anteriormente en la serie sobre la cuestión de cuándo deberíamos esperar que se desarrolle una IA transformadora. A continuación intenta explicar la razón por la que no hay un consenso sólido entre los expertos sobre este tema y lo que significa eso para nosotros.…

Esta es una guía dirigida a las personas que están considerando trabajar directamente en la alineación de la inteligencia artificial. Su contenido incluye una clasificación de los diferentes tipos de trabajos que se pueden hacer, las condiciones que los aspirantes a estos trabajos deben cumplir y una gran variedad de consejos útiles sobre cómo form…

Algunas personas entienden que el altruismo solamente puede consistir en hacer grandes sacrificios, pero lo que realmente importa es maximizar los beneficios reales para los demás.Por Jeff Kaufman

Muchas personas citan el argumento del desperdicio astronómico de Bostrom como una justificación para priorizar la reducción del riesgo existencial, pero el argumento no ofrece evidencia sólida en ese sentido, sino que implica algo más general: debemos crear cambios de trayectoria positivos. Ahora bien, como hay muchas maneras en las que nuestras a…

La situación de emergencia en la que se hallan muchas personas a nivel global tiene implicaciones morales ineludibles para aquellas personas que están en posición de prestar ayuda. Dado que el sufrimiento y la muerte por falta de comida, vivienda y atención médica son malos y que deberíamos tratar de evitarlos si el sacrificio personal que implican…

A semejanza de las compensaciones de emisiones de carbono, las compensaciones éticas parecen formas legítimas de reparar los daños que implican determinadas acciones. Las compensaciones que consisten en donar a organizaciones que abogan por el bienestar animal a cambio de poder consumir carne, aunque extrañas, siguen pareciendo éticas. Otras compen…

Si la civilización colonizara la galaxia y destinara una parte no trivial de sus recursos a la producción de hedonio o dolorio (es decir, cantidades de hardware optimizadas para la producción de placer o dolor) habría un impacto inmenso en el cálculo utilitarista hedonista. En tal caso, los utilitaristas hedonistas solo necesitarían perseguir objet…

Cada año mueren en los países más pobres unos 10 millones de personas a causa de enfermedades que pueden prevenirse o tratarse de forma muy barata, como la malaria, el VIH, la tuberculosis y la diarrea. Esto significa que sigue habiendo muchas oportunidades para ampliar la escala de los tratamientos que se sabe que previenen o curan enfermedades co…

La característica central del altruismo eficaz es el esfuerzo por responder a la pregunta: "¿Cómo puedo hacer el mayor bien con los recursos de que dispongo?". Pensar en el altruismo eficaz de este modo, y no como si fuera un conjunto determinado de creencias o políticas, tiene ciertas consecuencias interesantes y útiles. Hace que las preguntas sob…

Según el largoplacismo fuerte, la característica más importante de nuestras acciones presentes es su efecto en el futuro a largo plazo. El argumento en favor de esta postura se basa en dos premisas clave. La primera es que el número esperado de vidas futuras es inmenso, siempre que la humanidad pueda evitar una extinción prematura. La segunda, que …

Más de mil millones de personas viven en la pobreza extrema. La educación que reciben es insuficiente, mueren a causa de enfermedades que podrían prevenirse fácilmente y sufren por la falta de alimentos y de agua potable. Su grave situación constituye una emergencia moral constante y, posiblemente, la más grande de nuestro tiempo. Cuando donamos a …

Los humanos sacrificamos miles de millones de animales cada año para nuestro propio beneficio. Además, los hacemos sufrir de formas terribles. Los capturamos o los criamos en condiciones incómodas y estresantes, obligándolos a llevar una vida llena de miedo, dolor y aburrimiento. Hay varias razones por las que hacemos esto. La cría y matanza de ani…

Este artículo defiende el movimiento del altruismo eficaz, citando sus logros en ámbitos como la salud global, el bienestar animal y la seguridad de la IA, y afirmando que las críticas suelen ser exageradas. Defiende que el compromiso del altruismo eficaz con un altruismo basado en la evidencia y centrado en las intervenciones más tratables para ay…

Los largoplacistas sostienen que la humanidad debería redoblar sus esfuerzos para prevenir catástrofes como guerras nucleares, pandemias y desastres ocasionados por la inteligencia artificial. Pero un destacado argumento largoplacista va más allá de esta conclusión: el argumento también implica que la humanidad debería reducir el riesgo de una catá…

El 9 de marzo de 2023, la OESG de la ONU publicó sus dos primeros informes de políticas sobre las generaciones futuras y la Plataforma de Emergencia. Este artículo revisa el informe sobre la Plataforma de Emergencia y ofrece aportes sustantivos para contribuir al impacto de esos esfuerzos.Por Malou Estier

El 9 de marzo de 2023, la OESG de la ONU publicó sus dos primeros informes de políticas sobre las generaciones futuras y la Plataforma de Emergencia. Este artículo revisa el informe sobre las generaciones futuras y ofrece aportes sustantivos para contribuir al impacto de esos esfuerzos.Por Malou Estier

José Jaime Villalobos, afiliado al Legal Priorities Project y experto en derecho internacional, explora en este episodio cómo el derecho puede enfrentar problemas globales significativos, destacando su importancia para proteger a las generaciones futuras. También se refiere a la intersección entre el derecho y la tecnología, en particular la regula…

En esta entrevista, Adrià Garriga-Alonso aborda los riesgos existenciales que podrían derivarse de los sistemas de inteligencia artificial, particularmente de los modelos de lenguaje a gran escala. Después de dar algunas respuestas generales sobre las características de estas tecnologías y el riesgo que conllevan, Garriga-Alonso explica la posibili…

En esta ponencia del 2016, Owen Cotton-Barratt, de la Universidad de Oxford, habla sobre cómo pueden mejorar el mundo los altruistas eficaces. Para ilustrarlo, usa la metáfora de la búsqueda de oro. Owen trata una serie de conceptos clave del altruismo eficaz, como las distribuciones de cola pesada, los rendimientos marginales decrecientes y la ven…

El problema de la alineación del aprendizaje profundo es el problema de asegurar que los modelos avanzados de aprendizaje profundo no persigan objetivos peligrosos. Este artículo elabora la analogía de la "contratación" para ilustrar cómo la alineación podría ser difícil si los modelos de aprendizaje profundo son más capaces que los humanos. Luego …