Stack tecnológico para el prototipado de los grandes modelos de lenguaje | NTT DATA

ma., 02 enero 2024

Stack tecnológico para el prototipado de los grandes modelos de lenguaje

Los grandes modelos de lenguaje (LLMs) se han convertido rápidamente en el motor de la IA, revolucionando la forma en que interactuamos con la tecnología. Como vimos en el post anterior, el prototipado es esencial para que los desarrolladores experimenten, iteren y perfeccionen sus aplicaciones impulsadas por grandes modelos de lenguaje. el prototipado es esencial para que los desarrolladores experimenten, iteren y perfeccionen sus aplicaciones impulsadas por grandes modelos de lenguaje.

Para obtener todos los beneficios de los LLMs, es importante que los desarrolladores adopten una estrategia de prototipado que simplifique y acelere el desarrollo de prototipos. Lo ideal es que los marcos, las plataformas y las herramientas que se utilicen sean fáciles de dominar, sin necesidad de realizar una formación específica, y que se puedan emplear más veces.

En esta entrada exploraremos el stack tecnológico que NTT DATA utiliza para el prototipado de aplicaciones basadas en grandes modelos de lenguaje. Tiene cuatro elementos principales:

  1. Ecosistema Python: el lenguaje de programación Python es nuestra herramienta principal y proporciona una gran versatilidad en los trabajos relacionados con la IA. Ofrece una amplia variedad de herramientas y código listo que podemos utilizar para crear aplicaciones de IA. Encontramos desde herramientas de web scraping hasta marcos de aprendizaje automático potentes. Además, es ideal para crear aplicaciones que funcionen con grandes modelos de lenguaje. Es como un lenguaje universal que facilita la creación de proyectos de IA, ya sean sencillos o complejos.
  2. Proveedores de servicios en la nube: utilizamos servicios de computación en la nube de Microsoft Azure, Amazon Web Services (AWS) y Google Cloud Platform (GCP) para disponer de la infraestructura necesaria con la que entrenar e implementar aplicaciones de LLM a escala. Estos proveedores han hecho una gran inversión en hardware de unidad de procesamiento gráfico (GPU) y unidad de procesamiento tensorial (TPU) para que incluso las aplicaciones LLM más exigentes se puedan ejecutar sin esfuerzo en la nube y sea posible manejar cargas de trabajo cada vez más grandes. Además de facilitar la creación, el entrenamiento y las pruebas de las aplicaciones de LLM, también ofrecen modelos listos para usar y personalizables en función de las necesidades de la organización.
  3. Streamlit: nacida como una biblioteca de código abierto, Streamlit fue diseñada específicamente para ingenieros y científicos de datos especializados en aprendizaje automático, ya que les permite crear aplicaciones con Python fácilmente. Después de que Snowflake la adquiriera, la empresa sigue proporcionando la biblioteca original de Python de forma gratuita. Esta versión de Streamlit satisface perfectamente nuestras necesidades de prototipado, pues permite crear aplicaciones receptivas con solo unas líneas de código Python. Por otro lado, Gradio ofrece una alternativa viable para el prototipado en Swift.
  4. API de Azure OpenAI: Creada por OpenAI, la empresa que se encuentra detrás de GPT-4 y ChatGPT, estas APIs permiten incorporar con facilidad potentes habilidades lingüísticas a una amplia variedad de aplicaciones. Microsoft Azure proporciona acceso directo a estas API, lo que facilita y acelera el prototipado de aplicaciones potenciadas por grandes modelos de lenguaje. Para que el desarrollo sea aún más fácil, podemos utilizar LangChain, una biblioteca especializada en Python que simplifica el trabajo con estas API.

En NTT DATA hemos elegido este stack tecnológico para el prototipado de aplicaciones de LLM porque se alinea con los estándares de la industria, y nuestro equipo de científicos de datos puede personalizarlo en función de las necesidades específicas de cada aplicación.

Al aprovechar las capacidades de los marcos y las herramientas de IA, los servicios de computación en la nube y otras tecnologías clave, nuestros desarrolladores pueden crear soluciones innovadoras de forma rápida y fácil para ampliar los límites de los grandes modelos de lenguaje. 

A medida que estas tecnologías continúen evolucionando, también lo harán las posibilidades de las aplicaciones basadas en grandes modelos de lenguaje. En el futuro serán capaces de trabajar en nuevos casos de uso, proporcionar soluciones innovadoras a los desafíos empresariales y crear nuevos tipos de servicios impulsados por IA. En la siguiente entrada explicaremos cómo identificar los casos de uso más prometedores para aplicar los grandes modelos de lenguaje.

¿Quieres saber más? Descárgate nuestro informe técnico sobre el prototipado de aplicaciones de los grandes modelos de lenguaje.