Às vezes, uma demonstração é tudo o que você precisa para entender um produto. E esse é o caso da Runware. Se você acessar o site da Runware, inserir um comando e pressionar enter para gerar uma imagem, você ficará surpreso com a rapidez com que a Runware gera a imagem para você — em menos de um segundo.

Sobre a Runware

A Runware é uma nova participante no cenário de startups de inferência de IA, ou IA generativa. A empresa está construindo seus próprios servidores e otimizando a camada de software nesses servidores para eliminar gargalos e melhorar as velocidades de inferência para modelos de geração de imagens. A startup já garantiu US$ 3 milhões em financiamento de Andreessen Horowitz’s Speedrun, LakeStar’s Halo II e Lunar Ventures.

Objetivo e Tecnologia

A empresa não pretende reinventar a roda, mas sim fazê-la girar com mais rapidez. Nos bastidores, a Runware fabrica seus próprios servidores com o maior número possível de GPUs na mesma placa mãe. Possui um sistema de refrigeração personalizado e gerencia seus próprios data centers.

Otimizações de Performance

Ao rodar modelos de IA em seus servidores, a Runware otimizou a camada de orquestração com otimizações de BIOS e sistema operacional para melhorar os tempos de inicialização. Além disso, desenvolveu algoritmos próprios que alocam cargas de trabalho de interferência.

Modelo de Negócio Inovador

Diferentemente de muitas empresas de hospedagem de GPU, a Runware não pretende alugar suas GPUs com base no tempo de uso. Acredita que as empresas devem ser incentivadas a acelerar as cargas de trabalho. Por isso, está oferecendo uma API de geração de imagem com uma estrutura de custo tradicional por chamada de API, com base em modelos populares de IA como Flux e Stable Diffusion.

“Se você olhar para Together AI, Replicate, Hugging Face — todos eles — estão vendendo capacidade de computação baseada no tempo de GPU”, afirmou o co-fundador e CEO Flaviu Radulescu. “Se você comparar o tempo que leva para nós fazer uma imagem em comparação a eles, e depois comparar os preços, verá que somos muito mais baratos, muito mais rápidos.”

Inovação e Futuro

À medida que a Runware analisa toda a pipeline de inferência e otimiza hardware e software, espera poder utilizar GPUs de múltiplos fornecedores no futuro. Este tem sido um objetivo importante para várias startups, uma vez que a Nvidia é a líder clara no espaço de GPUs, tornando suas placas bastante caras.

“Neste momento, usamos apenas GPUs da Nvidia. Mas isso deve ser uma abstração da camada de software”, disse Radulescu. “Podemos alternar um modelo da memória da GPU rapidamente, permitindo que coloquemos múltiplos clientes nas mesmas GPUs.”

“Portanto, não somos como nossos concorrentes. Eles apenas carregam um modelo na GPU e então a GPU executa um tipo muito específico de tarefa. No nosso caso, desenvolvemos esta solução de software que nos permite alternar um modelo na memória da GPU enquanto realizamos a inferência.”

Se a AMD e outros fornecedores de GPU puderem criar camadas de compatibilidade que funcionem com cargas de trabalho típicas de IA, a Runware está bem posicionada para construir uma nuvem híbrida que dependerá de GPUs de múltiplos fornecedores, o que certamente ajudará se a empresa quiser continuar sendo mais barata do que os concorrentes na inferência de IA.