오늘 부터 Replicate가 공식적으로 Cloudflare의 일부가 되었음을 발표하게 되어 기쁩니다.
2019년에 Replicate를 시작했을 때 OpenAI에는 막 GPT-2 소스가 공개되어 있었고, 머신 러닝 커뮤니티 외에 AI에 큰 관심을 가진 사람은 거의 없었습니다. 하지만 현장에 있는 우리에게는 큰 일이 일어나는 것처럼 느꼈습니다. 학계의 실험실에서는 주목할 만한 모델이 만들어지고 있었지만, 이를 실행하려면 은유적 실험복이 필요했습니다.
우리는 실험실에서 나온 연구 모델을 개발자에게 제공하는 것을 사명으로 삼았습니다. 우리는 프로그래머가 이러한 모델을 창의적으로 구부리고 왜곡하여 연구자들이 생각하지도 못했을 제품을 만들기를 원했습니다.
Cloudflare는 이를 도구 문제라고 접근했습니다. Heroku와 같은 도구를 통해 웹 서버를 관리하지 않고도 웹사이트를 운영할 수 있었던 것처럼, 저희는 역전파를 이해하거나 CUDA 오류를 처리할 필요 없이 모델을 실행하는 도구를 구축하고 싶었습니다.
저희가 첫 번째로 구축한 도구는 머신 러닝 모델의 표준 패키징 형식인 Cog입니다. 그런 다음 Cog 모델을 클라우드에서 API 엔드포인트로 실행하기 위한 플랫폼으로 Replicate 를 구축했습니다. Cloudflare는 추론을 대규모로 실행하는 데 필요한 저수준 머신 러닝과 복잡한 GPU 클러스터 관리를 모두 추상화했습니다.
적절한 타이밍이었죠. 2022년에 Stable Diffusion이 출시되었을 때 우리는 이러한 모델을 실행하고 싶고 엄청난 개발자 관심을 처리할 수 있는 성숙한 인프라를 갖추고 있었습니다. 특정 사용 사례를 해결하기 위해 매끄러운 UI에 패키징된 단일 모델을 자주 실행하는 애플리케이션인 Replicate를 기반으로 수많은 환상적인 애플리케이션과 제품이 구축되었습니다.
그 이후, AI 엔지니어링은 본격적인 분야로 발전했습니다. AI 애플리케이션은 더 이상 모델을 실행하는 것만이 아닙니다. 최신 AI 스택에는 모델 추론 외에도 마이크로서비스, 콘텐츠 전송, 개체 스토리지, 캐싱, 데이터베이스, 원격 측정 등이 있습니다. 우리의 많은 고객이 Replicate 모델이 여러 플랫폼에 걸친 고위 시스템의 일부인 복잡한 스택을 구축하는 것을 목격합니다.
이것이 Cloudflare에 합류한 이유입니다. Replicate에는 모델 실행을 위한 도구와 기본 요소가 있습니다. Cloudflare는 최고의 네트워크, Workers, R2, Durable Objects, 그리고 전체 AI 스택을 구축하는 데 필요한 모든 기타 기본 요소를 보유하고 있습니다.
AI 스택은 전적으로 네트워크에 의존합니다. 모델은 데이터 센터 GPU에서 실행되며 벡터 데이터베이스를 호출하고, blob 스토리지에서 개체를 가져오고, MCP 서버를 호출하는 등의 작은 클라우드 함수에 의해 서로 결합됩니다.“네트워크는 컴퓨터다”라는 말이 그 어느 때보다 더 진실입니다.
이제 Cloudflare에서 일을 시작하면서 꿈꾸어왔던 AI 인프라 계층을 구축할 수 있게 됩니다. 우리는 에지에서 빠른 모델 실행, 즉시 부팅되는 Workers에서 모델 파이프라인 실행, WebRTC로 모델 입력 및 출력 스트리밍 등의 일을 할 수 있게 됩니다.
Replicate는 구축한 결과물에 대해 자부심을 느낍니다. Cloudflare는 최초의 생성형 AI 제공 플랫폼으로, 대부분의 동료가 채택한 추상화와 디자인 패턴을 정의했습니다. Cloudflare는 제품을 중심으로 구축자들과 연구원들로 이루어진 훌륭한 커뮤니티를 성장시켰습니다.