با استفاده از زیرساخت Oracle Cloud (OCI) ، نرم افزار WEKA NeuralMesh و Augmented Memory Grid 10 برابر بیشتر از توکن ها، 10 برابر بیشتر از کاربران همزمان و 7 برابر بیشتر از توکن ها در هر GPU،در مقایسه با محیط های استاندارد OCI که تنها به DRAM محلی متکی هستند.
شبکه حافظه افزوده WEKA® حافظه سرور GPU را برای نتیجه گیری هوش مصنوعی با استفاده از ذخیره سازی خارجی از طریق NeuralMesh گسترش می دهد و منابع خارجی را به یک کیش KV با عملکرد بالا تبدیل می کند.آن را ارائه می دهد تاخیر مایکرو ثانیه و چند GB / s پهنای باندNeuralMesh یک سیستم فایل هوش مصنوعی با عملکرد بالا است که توسط WEKA ساخته شده است.تمام شاخص های مرجع در یک خوشه H100 OCI 9 گره ای با 100پنجره هاي سياقي 1000 توکن
پابلو سالم، مدیر ارشد توسعه نرم افزار در OCI، اظهار داشت: "شکل های کاری هوش مصنوعی شرکت همچنان پنجره های زمینه ای را گسترش می دهند و استفاده از GPU را به محدودیت های جدید افزایش می دهند.اين مقايسه ها ثابت مي کنند که راه حل WEKA®، تنگن هاي حافظه GPU را در OCI از بين مي برد.، که باعث می شود حجم کار نتیجه گیری بزرگتر و سخت تر بدون سرمایه گذاری اضافی در سخت افزار GPU انجام شود.
WEKA اشاره می کند که افزایش تقاضا برای نتیجه گیری ناکارآمدی زیرساخت های هوش مصنوعی را تقویت می کند. اخراج مکرر KV cache باعث ایجاد هزینه های پنهان می شود که چرخه های GPU را هدر می دهد، تاخیر را افزایش می دهد،به تجربه کاربر آسیب می رساند و هزینه های عملیاتی هر توکن را افزایش می دهدبرای بارهای کاری AI با زمینه طولانی و عامل با ورودی های بیش از 100،000 توکن، چنین هزینه ای به شدت به اقتصاد واحد توسعه تولید AI آسیب می رساند.
معیار مبتنی بر 9 گره ، 72 GPU H100 ، پنجره های زمینه ای 100،000 توکن و هزاران کاربر همزمان با شکاف های عملکردی مشخص در زیر ساخته شده است:
-
ظرفیت کاربران همزمان: WEKA از بیش از 5000 کاربر همزمان پشتیبانی می کند، در مقابل تنها 600 نفر در تنظیمات DRAM. این از شکست اشباع کش با گسترش کش فعال از 8.64 TiB DRAM به 287 TiB NVMe ذخیره فلش جلوگیری می کند.به حداکثر رساندن ROI بر روی سخت افزار GPU موجود بدون خرید GPU اضافی.
-
میزان انتقال توکن: استیک WEKA حدود 2 میلیون توکن در ثانیه را به دست آورد، 10 برابر سریعتر از زیر 200،000 توکن / ثانیه پایه سیستم های تنها DRAM.
-
کل حجم پردازش توکن: در یک تست یک ساعته با ۲۴۰۰ کاربر همزمان، WEKA ۵ میلیارد توکن را پردازش کرد، در حالی که تنظیمات تنها DRAM فقط ۷۰۰ میلیون توکن را پردازش کرد.
برای جریان های کاری هوش مصنوعی عامل، DRAM ناکافی باعث محاسبه مجدد GPU مداوم پس از اشباع کش می شود، افزایش هزینه های هر توکن و کاهش ROI.WEKA به شدت هزینه های توکن کلی برای خدمات تولید هوش مصنوعی را کاهش می دهد.
برای خدمات هوش مصنوعی در زمان واقعی از جمله جستجو، خلاصه، کمک کد و عوامل چند نوبت، پردازنده رمزگذاری شده محدودیت های خدمات را برای ظرفیت کاربر تعریف می کند.سرعت پاسخ و احتمال درآمد زیرساخت. بهبود 10 برابر خروجی به طور کامل قدرت محاسباتی GPU بومی را در کلستر OCI باز می کند.
به طور خلاصه، نرم افزار گسترش حافظه WEKA به سیستم عامل های ابری کمک می کند تا به کاربران بیشتری خدمت کنند، توکن های بیشتری را پردازش کنند و هزینه های عملیاتی را به طور موثر کاهش دهند.
لیران زویبل، مدیر عامل WEKA، گفت: عملکرد استنباط با حافظه موثر GPU در دسترس محدود می شود. این نتایج ثابت می کند که ارتقاء سخت افزار به تنهایی نمی تواند مشکلات اقتصادی نشانه های هوش مصنوعی را حل کند.محدودیت واقعی دیوار حافظه طولانی مدت است که عملکرد GPU را محدود می کندراه حل WEKA در OCI ظرفیت پردازش توکن را به طور چشمگیری با بهینه سازی کل هزینه مالکیت افزایش می دهد.
OCI روش معیاری کامل، پیکربندی سیستم و نتایج کامل آزمایش را در وبلاگ رسمی AI & Data Science منتشر کرده است.
NeuralMesh با شبکه حافظه افزوده در حال حاضر به طور کلی برای مشتریان WEKA در دسترس است و در بازار اوراکل ذکر شده است، با OCI که به عنوان شریک انحصاری راه اندازی ابر آن عمل می کند.شرکت هایی که نتیجه گیری زمینه طولانی را بر روی OCI اجرا می کنند می توانند این، معماری کاملا تایید شده بلافاصله.
شرکت فناوری چینجینگ جیوتونگ پکن، لمیتد
سندي يانگ، مدير استراتژي جهاني
واتساپ / وی چت: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز کسب و کار:
توزیع محصولات ICT / ادغام سیستم و خدمات / راه حل های زیرساخت
با 20+ سال تجربه توزیع فناوری اطلاعات، ما با مارک های پیشرو جهانی همکاری می کنیم تا محصولات قابل اعتماد و خدمات حرفه ای را ارائه دهیم.
استفاده از تکنولوژی برای ساختن یک جهان هوشمند، ارائه دهنده خدمات قابل اعتماد محصولات ICT شما
پیام شما باید بین 20 تا 3000 کاراکتر باشد!
Persian
