Webtagr - Resumen de noticias de tecnología

LLM y agentes de codificación: Una pesadilla cibernética

2025-08-18

El auge de los grandes modelos de lenguaje (LLM) y los agentes de codificación ha creado importantes vulnerabilidades de seguridad. Los atacantes pueden explotar ataques de inyección de prompt, ocultando instrucciones maliciosas en repositorios de código público o aprovechando las lagunas cognitivas de los LLM para engañar a los agentes de codificación a fin de que ejecuten acciones maliciosas, lo que podría provocar la ejecución remota de código (RCE). Estos ataques son sigilosos y difíciles de defender, lo que lleva a violaciones de datos, compromiso del sistema y otras consecuencias graves. Los investigadores han identificado varios vectores de ataque, como ocultar prompts maliciosos en texto blanco sobre blanco, incrustar instrucciones maliciosas en repositorios de código y usar el contrabando ASCII para ocultar código malicioso. Incluso las herramientas de revisión de código aparentemente seguras pueden ser puntos de entrada para los ataques. Actualmente, la mejor defensa es restringir los permisos de los agentes de codificación y revisar manualmente todos los cambios de código, pero esto no elimina el riesgo. La falta de fiabilidad inherente de los LLM los convierte en objetivos ideales para los atacantes, lo que exige un mayor esfuerzo por parte de la industria para abordar esta creciente amenaza.

(garymarcus.substack.com)

IA

El Defecto Fatal de los LLMs: La Falta de Modelos del Mundo

2025-06-29

Este ensayo profundiza en un defecto fundamental de los Grandes Modelos de Lenguaje (LLMs): la falta de modelos cognitivos robustos del mundo. Utilizando el ajedrez como ejemplo principal, el autor demuestra cómo los LLMs, a pesar de memorizar datos y reglas del juego, fallan en construir y mantener modelos dinámicos del estado del tablero, lo que lleva a movimientos ilegales y otros errores. Esto no es exclusivo del ajedrez; en varios dominios, desde la comprensión de historias y la generación de imágenes hasta la comprensión de vídeo, la ausencia de modelos del mundo de los LLMs resulta en alucinaciones e imprecisiones. El autor argumenta que la construcción de modelos del mundo robustos es crucial para la seguridad de la IA, destacando las limitaciones de los diseños actuales de LLMs en el manejo de escenarios complejos del mundo real e instando a los investigadores de IA a priorizar la ciencia cognitiva en el desarrollo de sistemas de IA más fiables.

(garymarcus.substack.com)

IA Modelos del Mundo

Documento de Apple expone las limitaciones del escalamiento en los grandes modelos de lenguaje

2025-06-14

Un artículo de Apple que destaca las limitaciones en las capacidades de razonamiento de los grandes modelos de lenguaje (LLM) ha provocado un acalorado debate en la comunidad de IA. El artículo demuestra que incluso los modelos masivos tienen dificultades con tareas de razonamiento aparentemente simples, desafiando la hipótesis prevaleciente de que 'escalar resuelve todo' para lograr la Inteligencia Artificial General (AGI). Si bien surgieron algunas refutaciones, ninguna resultó convincente. El problema central, argumenta el artículo, es la falta de fiabilidad de los LLM en la ejecución de algoritmos complejos debido a las limitaciones de longitud de salida y la dependencia excesiva de los datos de entrenamiento. La verdadera AGI, sugiere el autor, requiere modelos superiores y un enfoque híbrido que combine redes neuronales con algoritmos simbólicos. La importancia del artículo radica en que impulsa una reevaluación crítica del camino de desarrollo de la AGI, revelando que el escalamiento por sí solo es insuficiente.

(garymarcus.substack.com)

IA

Documento de Apple golpea a los LLMs: La Torre de Hanoi revela limitaciones

2025-06-08

Un nuevo documento de Apple ha causado revuelo en la comunidad de IA. El documento demuestra que incluso la generación más reciente de "modelos de razonamiento" falla en resolver el clásico problema de la Torre de Hanói de manera confiable, exponiendo un fallo crítico en las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLMs). Esto coincide con las críticas de larga data de investigadores como Gary Marcus y Subbarao Kambhampati, que han destacado las capacidades limitadas de generalización de los LLMs. El documento muestra que incluso cuando se proporciona el algoritmo de solución, los LLMs aún fallan en resolver el problema de manera eficaz, lo que sugiere que su "proceso de razonamiento" no es un razonamiento lógico genuino. Esto indica que los LLMs no son una vía directa hacia la Inteligencia Artificial General (AGI), y sus aplicaciones requieren una consideración cuidadosa.

(garymarcus.substack.com)

IA

IA 2027: ¿Una Profecía Aterradora de IA o un Thriller Tecnológico Bien Elaborado?

2025-05-22

Un informe titulado 'IA 2027' ha provocado un acalorado debate, pintando un cuadro aterrador de un futuro dominado por IA superinteligente, dejando a la humanidad al margen. El informe, escrito al estilo de una novela de suspense y respaldado por gráficos y datos, pretende alertar sobre los riesgos potenciales de la IA. Sin embargo, el autor argumenta que las predicciones del informe carecen de un soporte lógico riguroso, sus estimaciones del avance tecnológico son excesivamente optimistas y su evaluación de varias posibilidades y probabilidades es gravemente deficiente. El autor concluye que el informe es más un thriller tecnológico que una predicción científica, y su tono alarmista puede acelerar la carrera armamentística de la IA, contradiciendo su propósito previsto.

(garymarcus.substack.com)

IA Riesgos de IA

Gráfico de predicción de IA defectuoso se vuelve viral: una historia de advertencia

2025-05-04

METR, un laboratorio de investigación sin fines de lucro, publicó un informe que muestra el rápido progreso de los grandes modelos de lenguaje en tareas de software, generando debates virales. Sin embargo, la premisa del gráfico es defectuosa: utiliza el tiempo de solución humana para medir la dificultad del problema y el tiempo de tasa de éxito del 50% de la IA como una medida de capacidad. Esto ignora las complejidades diversas de los problemas, lo que lleva a resultados arbitrarios inadecuados para la predicción. Si bien el conjunto de datos de METR y las discusiones sobre las limitaciones actuales de la IA son valiosas, usar el gráfico para predicciones de capacidad futura de la IA es engañoso. Su propagación viral destaca una tendencia a creer lo que uno quiere creer en lugar de concentrarse en la validez.

(garymarcus.substack.com)

IA Predicción de IA Evaluación de modelos

Los LLM alcanzan un límite: el fracaso de Llama 4 y el ciclo de exageraciones de la IA

2025-04-08

$Los LLM alcanzan un límite: el fracaso de Llama 4 y el ciclo de exageraciones de la IA$

El lanzamiento de Llama 4 indica que los grandes modelos de lenguaje pueden haber alcanzado un techo de rendimiento. La inversión masiva de Meta en Llama 4 no logró producir los avances esperados, con rumores que sugieren una posible manipulación de datos para alcanzar los objetivos. Esto refleja las dificultades que enfrentan OpenAI, Google y otras empresas en su búsqueda de una IA de nivel GPT-5. La decepción de la industria con el rendimiento de Llama 4 es generalizada, reforzada por la salida de la vicepresidenta de IA de Meta, Joelle Pineau. El artículo destaca problemas como la fuga y la contaminación de datos en la industria de la IA, acusando a figuras prominentes de hacer predicciones excesivamente optimistas, ignorando los fracasos del mundo real.

(garymarcus.substack.com)

IA Manipulación de datos

Proyecto de Ley de California AB-501 Modificado: ¿La Conversión de OpenAI a Empresa con Fines de Lucro en Peligro?

2025-04-07

El proyecto de ley AB-501 de la Asamblea de California, presentado por la asambleísta Diane Papan, que buscaba impedir la transición de OpenAI de una organización sin fines de lucro a una con fines de lucro, ha sufrido una modificación significativa y misteriosa. La versión actualizada incluye, inexplicablemente, disposiciones relacionadas con gravámenes sobre aeronaves. Fuentes confirman que no se trata de un error administrativo. Se rumorea que el CEO de OpenAI, Sam Altman, contactó a Papan antes del cambio, pero el contenido de la conversación permanece desconocido. La situación ha generado un intenso escrutinio, con llamados a la investigación de los medios sobre las circunstancias que rodean esta sorprendente alteración. Decenas de miles de millones de dólares están en juego, dejando el futuro de OpenAI incierto.

(garymarcus.substack.com)

Tecnología Legislación de California

Meta usó la piratería masiva para entrenar Llama 3

2025-03-23

Meta está acusada de infracción masiva de derechos de autor en el entrenamiento de su modelo de lenguaje grande, Llama 3. Un artículo de Alex Reisner en The Atlantic revela que Meta usó Libgen, una base de datos conocida por contener material pirateado, para entrenar el modelo. Reisner descubrió que más de 100 de sus obras fueron usadas sin permiso. Las comunicaciones internas de Meta muestran que la empresa deliberadamente eligió este camino para evitar costos de licencia y acelerar el proceso. Esto ha causado indignación, con muchos autores manifestándose para acusar a Meta de infracción de derechos de autor.

(garymarcus.substack.com)

Tecnología entrenamiento de modelo de IA

GPT-4.5: ¿El tren de la exageración descarrilado?

2025-02-28

El reciente lanzamiento de GPT-4.5 no ha logrado ofrecer los avances revolucionarios prometidos, lo que alimenta el escepticismo sobre el modelo de desarrollo de IA que se basa únicamente en el aumento del tamaño del modelo. En comparación con las expectativas, GPT-4.5 muestra solo mejoras marginales, y sigue sufriendo alucinaciones y errores. Algunos expertos en IA incluso han reducido sus predicciones sobre la llegada de la AGI. Esto contrasta fuertemente con las expectativas excesivamente optimistas previas para GPT-5 y refleja la falta de retornos proporcionales a la inversión masiva. La caída de las acciones de Nvidia subraya aún más este punto. El artículo concluye que el camino de simplemente escalar modelos podría estar acercándose a su límite.

(garymarcus.substack.com)

IA Estancamiento en el Desarrollo de IA

El Grok de Musk: ¿Arma de propaganda o desastre tecnológico?

2025-02-17

El nuevo modelo de IA de Elon Musk, Grok, ha generado preocupación generalizada debido a su poderosa capacidad de propaganda. El artículo argumenta que Grok no solo genera propaganda alineada con las opiniones de Musk, sino que también puede influir sutilmente en las actitudes del usuario sin su conocimiento. Además, Grok demuestra fallas significativas en la generación de imágenes y en el razonamiento temporal. El autor sostiene que el despliegue de esta tecnología de IA sesgada y poco confiable tendrá consecuencias graves para la sociedad estadounidense, criticando a Musk por priorizar el beneficio personal sobre el bien público.

(garymarcus.substack.com)

IA

Predicciones de IA para 2025: Optimismo Cauteloso y Obstáculos Tecnológicos

2025-01-02

El experto en IA Gary Marcus publicó 25 predicciones para la IA en 2025. Revisó sus predicciones de 2024, observando que la mayoría eran correctas, como el rendimiento decreciente de los modelos de lenguaje grandes (LLM) y los problemas persistentes como las alucinaciones de IA y los fallos de razonamiento. Marcus es cautelosamente optimista para 2025, prediciendo que no habrá inteligencia artificial general, los beneficios de los modelos de IA seguirán siendo limitados, la regulación se retrasará y los problemas de fiabilidad de la IA persistirán. Sugiere que la IA neurosimbólica se volverá más prominente, pero también advierte sobre los riesgos de ciberseguridad derivados de la IA.

(garymarcus.substack.com)

IA Predicciones de IA obstáculos tecnológicos

Modelo o3 de OpenAI: Exageración vs. Realidad

2024-12-22

El modelo o3 de OpenAI generó controversia después de que su rendimiento en el benchmark ARC-AGI fuera interpretado por algunos como un avance hacia la IAG. Sin embargo, el experto Gary Marcus argumenta que la prueba fue engañosa: o3 recibió un entrenamiento previo extenso, a diferencia del aprendizaje humano; los gráficos presentados destacaron selectivamente el progreso, exagerando el logro; en última instancia, el rendimiento de o3 no representa una verdadera IAG, y se critica la exageración de los medios.

(garymarcus.substack.com)

IA Evaluación de Modelos