Categoría: Inteligencia Artificial

Con la llegada de los modelos LLM nos acostumbramos a decirle a todo lo relacionado con ellos IA. Pero es cierto que los LLM solo forman parte de una subrama de la IA, por lo cual, cuando hay una novedad como la de Jev o Laya, solemos decirle que ha llegado una nueva IA.

Jev es un modelo que pertenece a una categoría llamada System One, con un enfoque diferente a los LLMs. Un LLM es un modelo que sirve para generar texto a partir de predicciones, tomando como base un texto inicial, en cambio, los modelos del tipo System One están orientados a tomar decisiones y regresar un contenido estructurado.

Jev fue creado por la empresa TypeSafe AI, y es un modelo de paga.

Los modelos como Jev pueden ser más rápidos ya que su objetivo es ser un modelo de decisión, recibiendo un contexto junto con un grupo de preguntas tipadas para tomar la decisión y responder una estructura con las posibilidades sobre cada grupo de preguntas tipadas enviadas.

Por ejemplo, a un LLM si le mandamos una pregunta como la siguiente:

"Después de una semana pesada, quiero tomar una cerveza fría para relajarme y conversar con mis amigos."

El LLM nos respondería en un texto tomando en cuenta la probabilidades de los tokens siguientes a esa frase, tomando esta posibilidad gracias a su entrenamiento con una enorme cantidad de textos, y nos respondería algo parecido a lo siguiente (texto tomado de GEMINI):

"¡Qué gran plan para cerrar la semana! No hay nada como una cerveza bien fría y una buena plática con amigos para recargar baterías después de días pesados.
Para acompañar ese momento, ¿de qué te gustaría que platiquemos o qué tema traes en mente para relajarte un rato?"

En cambio un modelo System One como Jev, aparte de la pregunta necesitaría de un contexto de preguntas categorizadas, por ejemplo, bajo el contexto del texto inicial podemos anexar una pregunta sobre ese mismo texto y Jev nos respondería con posibilidades en una respuesta estructurada.

Si enviamos a Jev el contexto del texto:

"Después de una semana pesada, quiero tomar una cerveza fría para relajarme y conversar con mis amigos."

Junto con una pregunta relacionada a ese texto:

¿La persona expresa ganas de tomar cerveza?

Jev nos respondería con un porcentaje que va del 0 al 1 siendo 0 el valor de «No» y siendo 1 el valor de «Sí» y nos respondería:

0.98

Indicando que es casi 100% que la persona sí expresa ganas de tomar cerveza.

Esto hace que los modelos System One se comporten como un If de programación, pero también a estos modelos se les puede enviar preguntas categorizadas, bajo el mismo ejemplo anterior, podríamos preguntar sobre distintos criterios categorizados como:

¿Cuál es el motivo principal para tomar cerveza?

Relajarse: Quiere descansar o liberar estrés después de una situación pesada
Socializar: Quiere compartir o conversar con otras personas
Sabor: Quiere cerveza principalmente por gusto o antojo

Y Jev bajo este contexto nos respondería algo como lo siguiente:

Sabor: 0.0
Relajarse: 1.0
Socializar: 0.0

De esta manera, obtendríamos una estructura como respuesta en lugar de un texto generado, como lo harían los LLMs.

Las preguntas a Jev se las hacemos por medio de una estructura en formato JSON. Lo del ejemplo anterior se mandaría como muestro a continuación:

{
  "state": "Despues de una semana pesada, quiero tomar una cerveza fria para relajarme y conversar con mis amigos.",
  "model": "jev-latest",
  "questions": {
    "quiere_cerveza": {
      "type": "noul",
      "instructions": "La persona expresa ganas de tomar cerveza?"
    },
    "motivo": {
      "type": "choice",
      "instructions": "Cual es el motivo principal para tomar cerveza?",
      "criteria": {
        "relajarse": "Quiere descansar o liberar estres despues de una situacion pesada",
        "socializar": "Quiere compartir o conversar con otras personas",
        "sabor": "Quiere cerveza principalmente por gusto o antojo"
      }
    }
  }
}

Y Jev nos respondería de manera estructurada así:

{
  "model": "jev-1.13.0",
  "answers": {
    "quiere_cerveza": {
      "type": "noul",
      "noul": 0.98
    },
    "motivo": {
      "type": "choice",
      "choice": "relajarse",
      "confidence": 0.99,
      "probabilities": {
        "sabor": 0,
        "relajarse": 1,
        "socializar": 0
      }
    }
  },
  "usage": {
    "input_tokens": 396,
    "output_tokens": 66
  }
}

Los modelos System One tienen también la ventaja que bajo necesidades estructuradas son mucho más baratos y rápidos.

Este tipo de modelos van a ir siendo más sonados con el tiempo, pero solo vienen a reemplazar una de las tantas cosas para las que son utilizados los LLMs, que bien, los modelos LLMs pueden igual responder respuestas estructuradas indicándoles un esquema, pero son más caros y necesitan mayor infraestructura.

Si quieres profundizar más en cómo se utiliza Jev, te adjunto un tutorial gratuito donde puedes ver un ejemplo de su uso y ejecución:

A los pocos días de la salida de Jev, apareció un nuevo modelo Open Source de la categoría System One llamado Laya, un modelo que puedes descargar en tu computadora y ejecutarlo.

A diferencia de Jev, Laya es completamente gratis, y puedes utilizarlo de forma muy parecida a Jev.

Si quieres ver un ejemplo de su uso, te anexo a continuación un tutorial gratuito:

Los modelos como Jev y Laya pueden ser combinados con los LLM, para reducir los costos que estos últimos generan. Pero sobre todo, pueden ser utilizados para ser ejecutados como una herramienta extra en tus sistemas por ejemplo:

• Clasificación de textos.
• Detección de Spam.
• Detección de fraudes como phishing.
• Detección de emociones en texto.
• Decisiones booleanas.
• Selecciones de opciones.

Y muchas otras cosas que entren en la categoría de toma de decisiones tomando un texto como contexto.