اخبار شرکت اينفررا يه روش روشنگري است که از ديوار حافظه استفاده ميکنه

من متن کامل را با۸ درصد تعداد کلمات، تمام حقایق اصلی، معیارها، نقل قول ها و منطق فنی را حفظ کرد و تمام لینک ها را حذف کرد:

نرم افزار Lightbits Inferra عملیات کش KV را تسریع می کند، دیوار حافظه نتیجه گیری AI را می شکند و به طور چشمگیری استفاده از GPU را بهبود می بخشد.شرکت ذخیره سازی بلوک با عملکرد بالا Inferra را برای مجازی سازی حافظه پهنای باند بالا GPU (HBM) ساخته استیک کش KV کلید های توجه و مقادیر پیش محاسبه شده را در طول نتیجه گیری LLM ذخیره می کند، از محاسبه مجدد داده های توالی اجتناب می کند و عملکرد AI تولید کننده را افزایش می دهد.

کیش KV استاندارد داده های ذخیره شده را به GPU HBM محدود می کند. هنگامی که HBM اشباع می شود، جفت های KV موجود برای داده های جدید اخراج می شوند، که نیاز به محاسبه مجدد در هنگام استفاده مجدد دارد.حافظه کش KV مدرن به DRAM سرور گسترش می یابددر حالی که سطوح بالاتر تاخیر دسترسی طولانی تری دارند، این تاخیر اغلب کوتاه تر از دوباره محاسبه وکتورهای توکن گسترده است.

اینفررا به مشکلاتی که در حافظه ایجاد می شود، که ناشی از گسترش KV-Cache Long-Context می شود، می پردازد. این امر کاربران ابر و شرکت را قادر می سازد سریعتر کار کنند.نتیجه گیری هوش مصنوعی مقیاس پذیر بدون ارتقاء گران قیمت سخت افزار GPU و HBM برای گسترش ظرفیت کش.

ایویگدور ویلنز، هم بنیانگذار و رئیس آزمایشگاه های لایت بیتز، گفت که بازار نتیجه گیری هوش مصنوعی 117 میلیارد دلاری در سال 2026، فروشندگان با تمرکز بر آموزش را مجبور به بازسازی می کند.او تاکید کرد که سیستم های ذخیره سازی و آموزش قدیمی را نمی توان برای تنگنای کش KV بازسازی کرد.اینفررا به منظور بهره وری نتیجه گیری GPU ساخته شده است و ارزش آن را در برنامه های بتا مشتری تأیید کرده است.گسترش NVMe فروشنده بر روی نوآوری TCP برای حل نقاط درد نتیجه گیری مدرن.

اینفررا با استفاده از الگوریتم های پیشگیری بهینه شده KV-cache ، داده های KV cache آینده را قبل از تقاضای GPU به طور فعال بار می گیرد. این سه مزیت اصلی را ارائه می دهد:تا 16 برابر بیشتر جلسات نتیجه گیری همزمان در سخت افزار GPU موجود با انطباق دقیق SLA (هیچ ارتقاء سخت افزار مورد نیاز نیست)؛ تا 100 برابر بهبود تاخیر و پشتیبانی از پنجره های زمینه ای 10 میلیون توکن، قطع TTFT و TPOT از طریق پیش بینی حالت توجه به جای محاسبه مجدد؛و جداسازی مستاجر امن با مدیریت حافظه کش KV متحد هوشمند برای خوشه های استنباط مشترک.

Inferra اقتصاد استنباط را با مجازی سازی حافظه GPU در سراسر حافظه و ذخیره سازی چند لایه، تبدیل به کاشی KV تکه تکه شده به یک لایه داده های پایدار و هوشمند، دوباره تعریف می کند.در زیرسیستم های x86 در سرورها استفاده می شود، فعالیت بلوک کش KV را نظارت می کند و از یک موتور Sub-Linear Sparse Attention Prefetch (SLSAP) استفاده می کند. ترکیب هشینگ حساس به محل و الگوهای استفاده مجدد توجه تاریخی،این رتبه بندی و اولویت بندی بلوک های KV مکرر استفاده می شود، از جمله توکن های اخیر، محتوای معنایی مشابه و الگوهای ساختاری در چت چند نوبت و جریان های کاری RAG.سیستم بلوک های هدف را از DRAM سرور یا SSD های خارجی بازیابی می کند و آنها را از طریق RDMA به GPU HBM بارگذاری می کند.

مدیر ارشد محصول و فناوری OVH، Yaniv Fdida تایید کرد که Inferra مزایای قابل توجهی در استفاده از GPU را ارائه می دهد و امکان فراهم کردن یک عامل هوش مصنوعی مقیاس پذیر و مقرون به صرفه و زیرساخت بار کاری RAG را فراهم می کند.

نتایج معیار عمومی افزایش عملکرد را تایید می کند: Qwen 2.5-7B (410K context) سرعت 102 × (72.6s → 711ms) را افزایش می دهد؛ DeepSeek-R1-70B (141K context) 152 × (70.8s → 465ms) را بهبود می بخشد؛Llama-4-Scout (10M زمینه) به دست می آورد یک پرش 380 × (1.5 ساعت → 13 ثانیه)

Inferra از افزونه های Dynamo، vLLM و LMCache پشتیبانی می کند.آن را ارائه می دهد مقیاس TTFT زیر خطی نسبت به طول زمینه، در حالی که رقبای دیگر از جمله DDN، VAST Data و WEKA فقط مقیاس بندی خطی یا پخش واکنش را ارائه می دهند.یک معیار قابل مقایسه با فروشندگان رقیب.

رامش چتیوتی، SVP محصول و کسب و کار آزمایشگاه های هوش مصنوعی لایت بیتز گفت که Inferra پس انداز فوری TCO را ارائه می دهد.از بین بردن استایل های طولانی زمینه و توانمندسازی شرکت ها برای اجرای مدل های بزرگتر و بار کاری دیالوگ طولانی تر با هزینه های زیربنایی پایین تر. کاربران می توانند مزایای بهینه سازی هزینه های استنباطی Inferra را از طریق پلت فرم ارزیابی کارایی عمومی فروشنده ارزیابی کنند. در یک نمایشی مشترک در ماه مارس با ScaleFlux،Inferra سرعت کش 100 × تا 280 × KV را در بارهای کار SSD ذخیره سازی محاسباتی به دست آورد.

شرکت فناوری چینجینگ جیوتونگ پکن، لمیتد
سندي يانگ، مدير استراتژي جهاني
واتساپ / وی چت: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز کسب و کار:
توزیع محصولات ICT / ادغام سیستم و خدمات / راه حل های زیرساخت
با 20+ سال تجربه توزیع فناوری اطلاعات، ما با مارک های پیشرو جهانی همکاری می کنیم تا محصولات قابل اعتماد و خدمات حرفه ای را ارائه دهیم.
استفاده از تکنولوژی برای ساختن یک جهان هوشمند، ارائه دهنده خدمات قابل اعتماد محصولات ICT شما