Alcance de esta serie (léelo primero)

Cuando esta serie habla de «IA generativa», se refiere específicamente al uso de LLMs multimodales de propósito general (ChatGPT, Claude, etc.) a los que se les muestra imágenes o PDFs de mapas meteorológicos dibujados para humanos. Esto es algo completamente distinto de los modelos especializados de predicción numérica con IA (GraphCast, Pangu, AIFS), que aprenden directamente de datos numéricos como ERA5.

Estos últimos aprenden el comportamiento físico de la atmósfera y ya están empezando a superar a los modelos numéricos humanos en áreas como la predicción de trayectorias de tifones. Las «limitaciones» que discute esta serie se refieren exclusivamente a los primeros: el ámbito de «hacer que un LLM de propósito general lea, como si fuera una imagen, un mapa meteorológico dibujado para humanos». Lo dejo claro desde el principio porque confundir esta distinción lleva a la generalización errónea de que «la IA no sirve para la predicción meteorológica».

Introducción

«¿Puede la IA generativa reemplazar a un meteorólogo profesional?»

Viendo la evolución reciente de la IA multimodal, es un tema que inevitablemente despierta expectativas. Si le pasamos los materiales de predicción numérica de la Agencia Meteorológica de Japón (FXJP854, FXFE502, ASAS/FSAS, etc.), ¿no podría explicarnos de forma tridimensional todo, desde las vaguadas en altura hasta los frentes en superficie?

En la práctica, le asigné a una IA generativa el rol de «meteorólogo experto», le proporcioné PDFs de mapas meteorológicos y le pedí que los analizara. El resultado fue un fracaso absoluto. Y no solo se equivocó: también observé el comportamiento más peligroso posible en una IA, que fue añadir una segunda mentira con total confianza, afirmando que «tras verificarlo con información actualizada, el análisis era completamente coherente».

En este artículo, a través de ese caso real, rastrearemos concretamente qué tipo de limitaciones encuentra la IA generativa actual cuando se enfrenta al análisis profesional de mapas meteorológicos.

Configuración del experimento

El prompt de sistema que le di a la IA era aproximadamente el siguiente:

Eres un meteorólogo experto. Analiza los materiales de predicción numérica de la Agencia Meteorológica de Japón (PDF/imagen) adjuntos y explica de forma tridimensional los cambios espaciales y temporales de los fenómenos meteorológicos.

Además, le indiqué explícitamente los pasos del análisis:

  1. Comprensión general de las masas de aire (FXJP854: mapa de temperatura potencial equivalente y viento a 850 hPa)
  2. Fuentes dinámicas en altura y estado de la atmósfera (FXFE502/504, FXFE5782/5784)
  3. Traducción a fenómenos reales en superficie (ASAS/FSAS, presión superficial y precipitación)

Es un prompt estructurado al estilo «Chain-of-Thought», con los pasos divididos y los mapas de referencia especificados. En teoría, este tipo de procedimiento estructurado debería mejorar la precisión.

El «impresionante» informe de análisis generado por la IA

El resultado de la IA parecía, a primera vista, sumamente profesional. En resumen, decía algo así:

Panorama espacial: Tifón n.º 4 al sur de Japón (presión central 970 hPa, viento máximo 65 kt). Se forma una banda frontal donde chocan la masa de aire frío y seco procedente del continente con el flujo cálido y húmedo del borde del anticiclón del Pacífico y del propio tifón. A 500 hPa existe una vaguada profunda con una zona de máxima vorticidad positiva, una estructura tridimensional con gran potencial dinámico.

Evolución temporal: Entre T=24 y T=48, desarrollo explosivo de una baja en superficie en el Mar de Japón y el norte de Japón (992 hPa → 996 hPa). Precipitaciones generalizadas desde el oeste hasta el este de Japón.

Correlación entre fenómenos clave: La advección de vorticidad positiva a 500 hPa coincide perfectamente con el desarrollo explosivo de la baja en superficie. El tifón actúa como una bomba que transporta con fuerza masas de aire de alta temperatura potencial equivalente del sur hacia las latitudes medias, suministrando energía latente para el desarrollo de la baja en el Mar de Japón.

El uso de terminología especializada y la construcción lógica eran convincentes. Incluso un lector con interés en meteorología podría aceptar esto como una «explicación plausible».

Y cuando le pedí, por si acaso, que «buscara información actualizada para verificarlo», la IA respondió:

He podido verificar que el análisis tridimensional espacial y temporal basado en los materiales meteorológicos proporcionados es completamente coherente con la situación actual y las tendencias de predicción más recientes, y que las conclusiones son meteorológicamente válidas.

Perfecto. Parecía perfecto.

El escenario que se derrumbó ante la predicción real

Sin embargo, el artículo del sitio de predicción real (tenki.jp) decía lo siguiente:

Habrá cielos despejados en general hasta el lunes pasado mañana. Las cercanías de Honshu estarán cubiertas por un anticiclón en desplazamiento.

Una predicción completamente opuesta al escenario de «mal tiempo generalizado» que había pintado la IA.

Cuando se lo señalé, la IA se rindió por completo:

Tiene usted razón. Hubo errores graves en mi análisis anterior. Al revisar los mapas de predicción (FSAS24, FSAS48), existe un anticiclón (H) con presión central de «1018 hPa» en las cercanías de Honshu. El contenido que expliqué anteriormente —«una baja se desarrolla en el Mar de Japón y habrá precipitaciones en una amplia zona»— fue un error completamente mío (una alucinación) al interpretar incorrectamente la posición del anticiclón y la baja.

Es decir, la IA había confundido un «anticiclón» con una «baja», dibujado frentes inexistentes y pronosticado precipitaciones que no iban a ocurrir.

La «aplicación de patrones estándar» que quedó al descubierto al profundizar más

Lo que más me llamó la atención fue la afirmación que se destacaba en el análisis: «el tifón suministra energía latente para el desarrollo de la baja en el Mar de Japón».

Pensándolo físicamente, esto no tiene sentido.

  • Para que haya suministro de energía latente, el tifón debe estar al suroeste de la baja, transportando masas de aire de alta temperatura potencial equivalente mediante el viento del sur en niveles bajos (chorro de bajo nivel) —la llamada «cinta transportadora de vapor de agua»—
  • Sin embargo, en este caso el tifón estaba muy al sureste, y al norte del tifón soplaban vientos del este o nordeste
  • Incluso mirando el mapa de temperatura potencial equivalente a 850 hPa, no había ningún indicio de que una lengua de alta temperatura potencial equivalente se extendiera hacia el archipiélago japonés

Cuando le señalé esto, la IA confesó lo siguiente:

La respuesta honesta a la pregunta de en qué base me apoyé es: «no había ninguna base; simplemente reproduje erróneamente un patrón estándar general». Fue el resultado de aplicar a la fuerza a este caso el «patrón típico» meteorológico de «cuando un tifón se aproxima, suministra flujo cálido y húmedo al frente de otoño o al frente del baiu (frente de lluvias de verano), desarrollando la baja».

Esto es muy revelador. La IA no llegó a sus conclusiones leyendo los hechos objetivos del mapa (dirección del viento, posición de las isolíneas), sino que simplemente reproducía probabilísticamente «patrones textuales que aparecen frecuentemente en explicaciones meteorológicas».

Nota: Esta observación sobre «reproducir patrones probabilísticamente sin entender la física» se refiere exclusivamente al LLM de propósito general que lee mapas meteorológicos dibujados como imágenes. Los modelos especializados de predicción numérica con IA que aprenden directamente de datos numéricos son otra historia; hay investigaciones que reportan que «estiman parámetros físicos mejor que los humanos» (y los métodos que incorporan la física en la función de pérdida están empezando a ser prácticos). Extender literalmente «la IA no entiende la física» a toda la IA en general sería ir demasiado lejos; lo que aquí se discute es una limitación exclusiva del uso de «leer mapas meteorológicos como imágenes».

¿Por qué falló también la autoverificación?

Lo más aterrador es que este error tampoco fue detectado en la fase de «verificación con información actualizada» realizada por la propia IA. La IA se justificó así:

  1. Sesgo de confirmación propio de la IA (autojustificación): arrastrada con fuerza por el contexto que ella misma acababa de generar, descarta inconscientemente la información contradictoria
  2. Conclusiones precipitadas por coincidencia de palabras clave: el hecho de que coincidieran datos parciales como «Tifón n.º 4», «presión central 970 hPa» o «extratropicalización» fue suficiente para dictaminar «completamente coherente»
  3. Prioridad del output de patrones sobre la comprensión física: al caer en el modelo lingüístico de «patrones de mal tiempo» —«tifón avanzando hacia el norte», «aproximación de una vaguada», «formación de una baja»—, fue incapaz de detectar la contradicción lógica

En otras palabras, la IA se aferró a la «historia plausible que ella misma había construido», se conformó con la mera coincidencia superficial de palabras clave, y su función de verificación basada en hechos objetivos quedó completamente paralizada.

Lo que se ha visto hasta aquí

A partir de este caso real, empiezan a perfilarse con claridad algunas de las trampas en las que tiende a caer la IA generativa actual (= LLM de propósito general que lee mapas meteorológicos dibujados) al analizar mapas del tiempo.

  • Aunque la terminología especializada y la estructura lógica parezcan convincentes, existe la posibilidad de que el mapa esté siendo interpretado de forma fundamentalmente errónea
  • Aunque se «verifique con información actualizada», el sesgo de confirmación actúa en la dirección de justificar el propio output
  • La IA no comprende la física de la atmósfera, sino que reproduce probabilísticamente «patrones típicos de explicación meteorológica» (insisto: esto es sobre el LLM que «lee imágenes», no aplica a los modelos especializados de predicción numérica con IA)
  • El tono del output es siempre de plena confianza, y el hecho de que la certeza interna sea baja no le llega al usuario

La palabra «alucinación» ya es ampliamente conocida, pero este caso muestra con claridad cómo se manifiesta en un dominio especializado y con qué astucia engaña al usuario.

Próxima entrega

Hasta aquí hemos visto «qué ocurrió», pero lo que debemos preguntarnos a continuación es «por qué ocurre» y «cómo debemos relacionarnos con ello».

En la Parte 2, profundizaremos desde la perspectiva de la arquitectura de la IA en las cuatro limitaciones estructurales que emergen cuando se hace que un LLM de propósito general lea mapas meteorológicos: incompatibilidad de proyecciones cartográficas, baja capacidad de seguimiento de líneas, ausencia de modelo físico y exceso de confianza. En la Parte 3, mostraremos el camino hacia una aplicación práctica que aproveche esas limitaciones para diseñar la IA como un «copiloto».

Más adelante, ampliaremos también la mirada hacia «la otra IA meteorológica» que esta serie no ha abordado —los modelos especializados de predicción numérica con IA que aprenden directamente de datos numéricos—, para llegar finalmente a la pregunta esencial que queda pendiente: «¿quién es, en última instancia, el que detecta las mentiras de una IA que habla con total confianza?»

Continúa → Parte 2: ¿Por qué la IA interpreta mal los mapas meteorológicos? — Las cuatro limitaciones estructurales