|
Fecha de propuesta:
15/10/2024
(Aceptada)
Descripción:
El impacto de la inteligencia artificial, especialmente los grandes modelos de lenguaje (LLMs) en el
medio ambiente no es menor y es una de las mayores preocupaciones alrededor de la revolución
actual de aplicación de la IA a todos los ámbitos de la vida.
Objetivos funcionales:
En este proyecto se desea construir una calculadora del gasto de CO2 que produce una ejecución
de un modelo de Deep Learning, en concreto un LLM. La calculadora tendrá como input la tarea,(si es una conversación simple, o si es una búsqueda y comprende también un RAG en su
ejecución), calculará el número de tokens previstos (input + salida) y los traducirá a CO2 con una
conversión sencilla. Este cálculo de tokens es un proceso no costoso, en comparación con la
ejecución del modelo completo, que puede hacerse en CPU.
El estudiante deberá de hacer una investigación sobre fuentes de consumo de CO vinculadas al
machine learning, como por ejemplo la realizada alrededor de un paper de DeepMind [1],adecuando el cálculo a los modelos actuales, el estado del arte y el hardware utilizado para su
ejecución.
La herramienta será implementada como un backend con su API, y posteriormente podrá
consumirse a través de un frontend, como una webapp que se desarrollará a medida y donde el
usuario podrá seleccionar sus LLMs, las tareas a realizar y calcular el impacto de emisiones de
CO2. Por otro lado, también se desea que el servicio de cálculo (backend) sea utilizable desde
herramientas de terceros y pueda integrarse en frontends ya existentes por lo que el servicio web
deberá de diseñarse con estos parámetros en mente y no solamente para servir a la aplicación
web desarrollada.
[1] https://152334h.github.io/blog/scaling-exponents
Entornos de desarrollo y explotación:
FastAPI, NodeJS, JavaScript, TypeScript, Python, HF transformers, React,Angular
Comentarios:
HP
|
