Kai-Fu Lee, o cientista da computação conhecido no Ocidente por seus livros mais vendidos Superpoderes de IA E na China, por suas apostas em unicórnios de inteligência artificial, ele tem um novo projeto – e grande ambição.
No final de março, Lee lançou uma empresa chamada… 01.AI Com a visão de desenvolver localmente um grande modelo de idioma para o mercado chinês. O projeto o coloca em concorrência com outros líderes tecnológicos chineses proeminentes, incluindo o fundador da Sogou, Wang Xiaochuan, que tem reunido rapidamente talentos e capital de risco para criar equivalentes chineses do OpenAI.
“Acho que a necessidade é a mãe da inovação e claramente há uma enorme necessidade na China”, disse Li, que tem 61 anos e lidera a 01.AI como CEO, ao TechCrunch em entrevista, explicando a motivação por trás do início da empresa. “Ao contrário do resto do mundo, a China não tem acesso à OpenAI e ao Google porque essas duas empresas não disponibilizaram os seus produtos na China, por isso penso que muitos MBAs estão a tentar fazer a sua parte na procura de uma solução para o mercado … Isso realmente precisa disso.”
01.O crescimento da inteligência artificial é um reflexo adequado do rápido desenvolvimento no campo da inteligência artificial generativa. Sete meses após sua fundação, a startup lançou seu primeiro protótipo, que é open source YE-34B. A decisão de oferecer um LLM aberto como seu primeiro produto é uma forma de “retribuir” à comunidade, disse Lee. Para as pessoas que sentiram que o LLaMA era uma “dádiva de Deus” para elas, “demos-lhes uma alternativa atraente”, acrescentou.
No momento em que este artigo foi escrito, Yi-34B, um modelo básico bilíngue (inglês e chinês), foi treinado com 34 bilhões de parâmetros e é muito menor do que outros modelos abertos, como Falcon-180B e Meta LlaMa2-70B. Ficou em primeiro lugar entre os modelos LLM pré-treinados, De acordo com a classificação Hugging Face.
“Ainda acreditamos que modelos maiores, quando bem treinados, com uma grande quantidade de dados de alta qualidade, sempre superarão significativamente os modelos menores de qualidade e tecnologia semelhantes, então acho que [Yi-34B] “Superar modelos maiores é algo que normalmente não vemos”, disse Lee. “Estamos muito confiantes de que lançamos modelos no valor de US$ 100 bilhões a US$ 400 bilhões no próximo ano ou ano e meio, e esses modelos serão dramaticamente melhores do que o modelo atual que anunciamos.”
A capacidade da startup de iniciar rapidamente o treinamento modular é, sem dúvida, resultado de uma arrecadação de fundos tranquila, o que é crucial para garantir talentos de primeira linha e magos de IA. Embora tenha se recusado a revelar o valor arrecadado pela 01.AI, Li disse que foi avaliado em US$ 1 bilhão após receber financiamento da Sinovation Ventures, Alibaba Cloud e outros investidores não divulgados.
01.AI já cresceu para mais de 100 funcionários, mais da metade dos quais são especialistas em LLM de grandes empresas de tecnologia multinacionais e chinesas. Seu vice-presidente de tecnologia, por exemplo, é um dos primeiros membros do Bard do Google, e seu engenheiro-chefe foi membro fundador do TensorFlow e trabalhou ao lado de pesquisadores famosos como Jeff Dean e Samy Bengio no Google Brain. As principais figuras por trás do Yi-34B são Wenhao Huang, um veterano da Microsoft Research na Ásia, e Ethan Dai, que ocupou cargos seniores de IA na Huawei e Alibaba.
Tendo apoiado mais de uma dúzia de unicórnios e construído sete empresas através da Sinovation Ventures, Lee é talvez um dos investidores e empreendedores mais bem relacionados da China.
“Já se passaram mais de 25 anos desde que a Microsoft Research Asia foi fundada, e tudo o que fiz foi para conseguir grandes talentos”, disse Lee, que lançou a Microsoft Research Asia, o maior centro de pesquisa estrangeiro da gigante norte-americana. Antes do Google liderar a China. Ao longo dos anos, a Microsoft Research Asia ganhou a reputação de ser o “Ponto Oeste” para estimular empreendedores de IA na China.
“Agora, é claro, você quer pagar aos trabalhadores de forma justa e precisa ser competitivo em salários, mas eu realmente acho que também se trata de pessoas que acreditam que podem fazer a diferença e que a empresa pode ter sucesso”, disse Lee, que apareceu no o espetáculo”. Videochamada às 21h30, horário de Pequim. Seus funcionários estavam igualmente motivados. Um dos especialistas em infraestrutura da startup estava trabalhando até altas horas daquele dia e ainda enviava mensagens para Lee às 2h15, expressando seu entusiasmo por fazer parte da missão 01.AI.
Não é nenhum segredo que construir LLMs é uma tarefa cara. Para manter suas operações com uso intensivo de caixa, a 01.AI possui planos de monetização em vigor desde o início. Embora a empresa continue a abrir o código-fonte de alguns de seus modelos, seu objetivo é construir um modelo proprietário de última geração que servirá de base para uma variedade de produtos comerciais.
“nós “Você não pode abrir tudo em código-fonte”, ele me disse. “Estávamos muito conscientes do fato de que esses grandes modelos de linguagem exigem muita computação e, portanto, são caros. Quando arrecadamos muito dinheiro, a maior parte será gasta na GPU. Dado isso, primeiro precisávamos obter o máximo tanta GPU quanto possível. O que fizemos.
Como outros participantes do LLM na China, a 01.AI armazenou proativamente GPUs em antecipação às sanções dos EUA; Você pediu dinheiro emprestado para comprar processadores antes mesmo de obter financiamento. No ano passado, a administração Biden reforçou as restrições ao acesso da China a chips avançados de IA. Isso levou as empresas chinesas a pagar preços inflacionados pelos chips. A previsão foi recompensada, pois 01.AI agora tem suprimentos suficientes Pelo menos nos próximos 12 a 18 meses.
Além de causarem dores de cabeça às empresas chinesas, as sanções dos EUA têm sido um catalisador para a inovação, incentivando-as a optimizar a utilização do poder computacional. “Com uma equipe de infraestrutura de alta qualidade, para cada 1.000 GPUs, poderemos extrair 2.000 GPUs delas”, disse Lee.
01. O caminho da IA para a monetização depende em grande parte da sua capacidade de encontrar um mercado de produtos adequado para modelos de IA caros. Embora sejam escassos excelentes acadêmicos de LLM, não faltam talentos produtivos na China.
“A China não está à frente dos Estados Unidos na área de MBA, mas não há dúvida de que a China é capaz de construir aplicações melhores do que os desenvolvedores americanos, principalmente devido ao enorme ecossistema de Internet móvel que foi construído ao longo dos anos”, disse Li. … “Nos últimos 12 anos ou mais.”
Embora o fundador não tenha fornecido detalhes sobre os serviços em desenvolvimento, ele deu a entender que a empresa está experimentando conceitos de produtividade e tendências sociais e que ficaria “desapontado” se 01.AI não lançasse um aplicativo dentro deste calendário. ano.
O objetivo final da startup, segundo Lee, é se tornar um ecossistema onde desenvolvedores externos possam criar aplicativos facilmente. “O dever não é apenas publicar bons modelos de pesquisa, mas, mais importante ainda, facilitar o desenvolvimento de aplicações para que haja aplicações atraentes”, disse ele. “No final das contas. É um jogo de ecossistema. O tempo dirá se os esforços de Lee em IA serão recompensados.
