博客: https://huggingface.co/blog/sensenova/neo-unify 叫 NEO-unify ,主要卖点是把多模态里最"理所当然"的两个组件都扔掉了: 1.不用 Vision Encoder ( CLIP/SigLIP 之类的) 2.不用 VAE 直接从原始像素出发,理解和生成两条路径都塞在一个叫 MoT ( Mixture-of-Transformer )的骨干里。文本用自回归交叉熵,图像生成用 pixel flow matching ,统一训练。 比较有意思的几个地方:
图像重建质量上,2B 的模型在 MS COCO 上跑出来 PSNR 31.56 / SSIM 0.85 ,Flux 的 VAE 是 32.65 / 0.91 ,差距没想象中大,而且这是在 90K pretraining step 之后的成绩 把理解分支完全冻住,只训练生成分支,图像编辑居然还能用,ImgEdit 得分 3.32 声称比 Bagel 数据利用率高——同样的 benchmark ,用更少的 token 训出来更高的性能
模型还没开源,团队在 HF 评论区说正在准备,tech report 也在路上。 感觉这个思路(彻底去掉预训练编码器,让模型自己从像素里学表示)如果真能 scale 起来是挺有意思的,现在的多模态基本都依赖 CLIP 系的先验,这条路如果走通了架构会干净不少。 有没有做过类似 UMM 工作的 v 友,这种方向实际上训起来坑多吗? 拿到了他们的 discord server 邀请码: https://discord.gg/vh5SE45D8b