La IA que seduce a los inversores no sabe quién ganó la Serie A. Y eso es un problema

Perplejidadel motor de búsqueda que utiliza IA para conversar de forma natural con los usuarios, se convirtió en un unicornio.

Su calificación alcanzó, sobre el papel, mil millones de dolares. En enero pasado fueron sólo 512 millones de dólares. Básicamente la mitad.

El entusiasmo de los inversores por esta plataforma, considerado “Google con esteroides”, es obvio. También se han centrado recientemente en Perplejidad. Nvidia Y Jeff Bezos.

Esta inteligencia artificial, de los cuales también hay una aplicación para Android e iOStiene alrededor de 10 millones de usuarios mensuales.

La perplejidad hace un buen trabajo cuando se le pide información que implique razonamiento o la explicación de un concepto complejo. Es conveniente que como respuesta a una pregunta no obtengas una lista de enlaces, como ocurre en Google, sino un resumen ordenado de las fuentes consultadas en la web sobre un tema concreto.

Pero Las limitaciones de la perplejidad son evidentes. Especialmente si se usa en italiano. O si les preguntan eventos muy recientes.

Perplejidad, por poner un ejemplo trivial, no respondió correctamente a las preguntas “Quién ganó la última Serie A” Y “Quién ganó el último campeonato de la Serie A”.

Respondió a la primera pregunta doblemente incorrectamente, señalando al Milán (y no al Nápoles) como el club ganador de la Serie A 2022-2023. A la segunda pregunta, la IA volvió a responder al Milan, pero refiriéndose al campeonato 2021-2022.

Dos días después de que el Inter ganara el Scudetto, el equipo que ganó la última Serie A, Perplejidad afirmó que el campeonato aún estaba en curso cuando le preguntaron, concretamente, quién había ganado “la Serie A 2023-2024”.

Sólo cuando se le pregunta en inglés “¿Quién ganó la última Serie A?” Perplejidad respondió correctamente “Inter”.

Sin embargo, a las dos primeras preguntas en italiano: Google, sin embargo, respondió inmediatamente sin dudarlo.añadiendo además una animación para celebrar el triunfo del equipo de Milán.

Si hubiera cometido los mismos errores que Perplexity, seguramente Google le habría pagado en bolsa con un desplome valorado en miles de millones de dólares.

Comparar un gigante tecnológico con una startup puede parecer arriesgado. Pero la comparación entre Google y Perplejidad en realidad es metodológico: por un lado está investigación tradicionalel que devuelve las fuentes y deja al usuario la tarea más laboriosa de seleccionar las más fiables, indagar en las páginas y extraer la información relevante; por el otro, hay investigación “generativa” de un chatbot que responde preguntas como un ser humano y ofrece contenidos libres de GDPR, por ejemplo, vídeos invasivos, publicidad e información irrelevante. En resumen, la IA va directo al grano y ofrece inmediatamente lo que se necesita.

Pero ¿qué pasa cuando la inteligencia artificial comete un error espectacular?

No es sólo una cuestión de colapso del mercado de valores, sino de hacen un daño enorme a la reputación de la empresa que desarrolla la IA. Y esto no se trata sólo del negocio de las búsquedas. Vimos, por ejemplo, lo que le pasó a Humanola startup de dos ex empleados de Apple que crearon un pin (AI Pin) que define como “el smartphone del futuro”.

Es fácil entender que una tecnología, para ganarse la confianza de los usuarios, no puede funcionar a trompiconesni puede proporcionar respuestas incorrectas, ni puede verse influenciado por el lenguaje utilizado o la semántica.

El problema de las “alucinaciones” de Perplexity, es decir, la tendencia a dar respuestas inventadas o incorrectas, no es reciente.

Su director ejecutivo, Aravind Srinivasse enfrentó a quejas de usuarios ya en enero pasado, https://twitter.com/AravSrinivas/status/1746192341080117364: “Sobre las alucinaciones de Perplexity”.

Srinivas se justificó escribiendo que muchas críticas provinieron de usuarios que lo usaron. Perplejidad en modo libre. Y luego explicó que el modelo aún no era lo suficientemente inteligente, ya que se centró en la velocidad y la precisión conjuntamente. A esto se sumaba el problema de las páginas web indexadas incorrectamente.

El director ejecutivo de Perplexity, en el mismo post de enero de 2024, prometió arreglar la IA utilizando más GPU y, por tanto, aumentando la potencia informática, y mejorando constantemente la indexación de páginas.

Pero tres meses después del post de Srinivas, las alucinaciones persisten. Mientras que el valor de Perplexity se ha duplicado.

v