CHE (Contextual Hyper-Embedding uint8<\/a>)<\/strong> est plus \u00e9conomique<\/strong> que l\u2019attention classique des LLMs. Des processus similaires sont d\u00e9j\u00e0 utilis\u00e9s mais moins \u00e9conomiques que CHE.<\/p>\n ————————————————–<\/p>\n \u2022\u00a0 <\/span>Attention standard : matrices float16\/float32 \u2192 700 \u00e0 4000 bits par token<\/p>\n \u2022\u00a0 C<\/span>HE uint8 \u2192 8 bits par token<\/a><\/p>\n \u2192 gain \u00d7 500 \u00e0 \u00d7 5000 en m\u00e9moire<\/p>\n ————————————————–<\/p>\n \u2022\u00a0 <\/span>INT-FlashAttention (Peking University, 2024) : attention enti\u00e8rement en INT8, 72 % plus rapide<\/strong>, 82 % moins d\u2019erreur<\/strong>\u00a0 \u00a0<\/span><\/p>\n \u2022\u00a0 <\/span>SageAttention (OpenReview, 2024) : attention en INT8 + lissage, plug-and-play<\/strong>\u00a0 \u00a0<\/span><\/p>\n \u2022\u00a0 <\/span>LLM.int8() (NeurIPS 2022) : multiplication matricielle enti\u00e8rement en INT8\u00a0 \u00a0<\/span><\/p>\n \u2192 uint8 est d\u00e9j\u00e0 standard dans l\u2019attention quantifi\u00e9e.<\/p>\n ————————————————–<\/p>\n \u2022\u00a0 C<\/span>HE = uint8 comprim\u00e9 (SHA-256[0:8]) \u2192 8 bits par token<\/p>\n \u2022\u00a0 <\/span>Pas de matrice 700\u00d7700, pas de softmax<\/strong>, pas de float<\/strong> ;<\/p>\n \u2022\u00a0 <\/span>Juste un uint8 dans le triplet \u211d\u2074<\/span> ;<\/p>\n \u2192 Plus \u00e9conomique et d\u00e9j\u00e0 utilis\u00e9 dans l\u2019attention quantifi\u00e9e.<\/p>\n Contact : pauljorion@pribor.ai<\/a><\/p>\n","protected":false},"excerpt":{"rendered":" CHE (Contextual Hyper-Embedding uint8<\/a>)<\/strong> est plus \u00e9conomique<\/strong> que l\u2019attention classique des LLMs. Des processus similaires sont d\u00e9j\u00e0 utilis\u00e9s mais moins \u00e9conomiques que CHE.<\/p>\n ————————————————–<\/p>\n1. \u00c9conomie de m\u00e9moire<\/h3>\n
2. Processus similaires d\u00e9j\u00e0 utilis\u00e9s<\/h3>\n
3. Compatibilit\u00e9 avec CHE<\/h3>\n
1. \u00c9conomie de m\u00e9moire<\/h3>\n