CloudFlare 推出 Workers AI,可以免费 serverless 的用 meta 家 llama 2 了

CloudFlare 给它家的 Workers 增加了接入 AI 的新功能,包含 meta 的 llama 2 ,具体如下:

  • Text generation (large language model): meta/llama-2-7b-chat-int8
  • Automatic speech recognition (ASR): openai/whisper
  • Translation: meta/m2m100-1.2
  • Text classification: huggingface/distilbert-sst-2-int8
  • Image classification: microsoft/resnet-50
  • Embeddings: baai/bge-base-en-v1.5

暂时还处于 early beta 的阶段,限制比较多,比如 llama 2 最多每分钟 50 次。
多提一句,llama 2 70b 版本的表现和 chatgpt3.5 差不多,而 workers ai 提供的 7b 大体上是 70b 的一半表现(评价标准各异,不是确切的数值)。