El científico de datos Rishabh Agrawal es una investigación pionera para reducir los modelos de IA, lo que les permite funcionar en dispositivos comunes para una mejor privacidad y accesibilidad.
Una mañana temprano en las concurridas calles de Austin se sienta en un tren desplazando sus teléfonos y enviando mensajes y movies y pidiendo a sus asistentes digitales que los ayuden en su día. No muchas personas saben que tales ayudantes podrían tener su futuro en una revolución silenciosa pionera por Rishabh Agrawal, un científico de datos. Según sus estudios, muestra que la inteligencia synthetic no necesariamente tiene que expandirse más grande para mejorar.
Agrawal es un científico de datos con sede en Austin. Sus esfuerzos se han centrado en cómo reducir el tamaño y la velocidad de los modelos de idiomas grandes, los cerebros de los chatbots y la IA generativa, en algo que puede funcionar en dispositivos comunes como teléfonos, automóviles y sensores inteligentes.
En el punto precise, solo los modelos sofisticados pueden sobrevivir dentro de enormes centros de datos, cube Agrawal y, para que la IA esté realmente disponible, debe poder hacer que los dispositivos de borde sean útiles sin proporcionar una conexión a Web siempre presente.
¿Por qué el tamaño importa en AI?
Los famosos modelos como GPT-4, Llama y Géminis reciben mucha atención. Tienen miles de millones de parámetros y terabytes de capacitación que se pueden usar, pueden escribir código e incluso analizar informes médicos. También son extremadamente intensivos y hambrientos en la potencia informática.
La investigación de Agrawal se dedica a la solución de este problema de eficiencia. Su equipo probó tres métodos principales de adelgazamiento de modelos de IA: poda, cuantización y destilación de conocimiento.
El avance
Sus experimentos dieron algunos buenos resultados:
Poda: es un método para eliminar las conexiones neuronales redundantes que redujo el tamaño del modelo hasta en un 60 por ciento, pero retuvo aproximadamente el 90 por ciento de su precisión.
Cuantización: scale back la precisión de los cálculos: reducida en la mitad del uso de la memoria y mantuvo una precisión mejor que el 91% en promedio.
Destilación del conocimiento: un modelo de estudiante más pequeño capacitado en un modelo de maestro más grande significa hacer pequeños sistemas que pueden reaccionar en tiempo actual.
El resultado: puede inferir tan rápido como 110 millisegundos y ocupa solo pequeños modelos que pueden caber en un bolsillo en un teléfono inteligente o procesador integrado.
De nube a borde
Cambiar la IA desde la nube hasta el borde, desde granjas de servidores remotos hasta dispositivos locales, tiene implicaciones radicales:
Privacidad: las conversaciones con chatbots pueden permanecer en su dispositivo.
Velocidad: respuestas en tiempo actual sin retrasos en la purple.
Accesibilidad: las personas en áreas con conectividad limitada aún pueden usar herramientas de IA avanzadas.
Agrawal destaca la atención médica y la educación como ejemplos. La IA eficiente en los dispositivos portátiles podría ayudar a los médicos en las clínicas rurales y proporcionar tutoría fuera de línea a los estudiantes en aldeas remotas. Los dispositivos cotidianos, como los automóviles y los electrodomésticos, podrían volverse más inteligentes mientras protegen la privacidad del usuario.
“No se trata solo de hacer que la IA sea más pequeña”, cube. “Se trata de hacerlo más centrado en el ser humano”.
Una misión private
Para Agrawal, que creció en Jabalpur, India, la investigación no es solo técnica sino profundamente private.
“Siempre he creído que la tecnología debería empoderar a las personas”, cube. “Si AI solo vive en centros de datos de mil millones de dólares, refuerza la desigualdad. Pero si podemos llevarlo a dispositivos de borde, entonces un estudiante en una pequeña ciudad tiene las mismas herramientas que alguien en Silicon Valley”.
Además de su investigación sobre IA eficiente, Agrawal ha escrito múltiples publicaciones IEEE y revisó artículos académicos para las contribuciones de revistas internacionales que subrayan su influencia en el campo de la inteligencia synthetic.
El centro de IA emergente de Austin
Si bien Silicon Valley a menudo domina el foco de AI, Austin está talando su propia identidad como un centro para la innovación aplicada. Con su combinación de nuevas empresas, empresas globales y universidades de investigación, la ciudad proporciona terreno fértil para investigadores como Agrawal.
Mirando hacia el futuro
Agrawal ve su trabajo precise como solo el comienzo. Sus próximos pasos incluyen la combinación de métodos de eficiencia con salvaguardas para garantizar que los sistemas de IA no solo sean más pequeños sino también confiables, justos y transparentes.
“Nuestro objetivo es diseñar una IA que sea eficiente, pero también ética”, explica. “De esa manera, cuando llega a far de millones de usuarios, les sirve de manera responsable”.
Su investigación ya está atrayendo la atención de los académicos y líderes de la industria que ven los LLM eficientes como la clave para desbloquear nuevos mercados de herramientas agrícolas inteligentes en países en desarrollo a sistemas empresariales que funcionan sin una infraestructura costosa.
Una revolución tranquila pero essential
El documento, “LLMS eficientes para dispositivos de borde: poda, cuantización y técnicas de destilación”, puede sonar técnico. Pero sus implicaciones son de gran alcance. Al demostrar que la inteligencia synthetic puede adelgazar sin perder sus capacidades, Rishabh Agrawal y sus colaboradores están trazando un camino hacia un futuro más inclusivo para la IA.
Si su visión se desarrolla, la próxima generación de IA en su bolsillo puede no depender de granjas de servidores distantes, sino en innovaciones nacidas en Austin con forma de científico decidido a hacer que la inteligencia synthetic sea más pequeña, más rápida y más justa para el mundo.
