Persian
IBM معماری ذخیرهسازی آگاه از محتوا (CAS) را معرفی کرده است که پردازش دادههای هوش مصنوعی را مستقیماً در لایه ذخیرهسازی جاسازی میکند. این رویکرد برای گردش کار تولید افزوده بازیابی (RAG) طراحی شده است، زیرا بردارسازی اسناد را در خود سیستم ذخیرهسازی ادغام میکند و نیاز به خطوط پردازش خارجی را کاهش میدهد.
CAS یک تابع کلیدی RAG - جاسازی اسناد از طریق روشهای مبتنی بر مدل زبان بزرگ (LLM) - را به زیرساخت ذخیرهسازی منتقل میکند. این به شرکتها اجازه میدهد تا دادهها را در مکان موجود خود پردازش و فهرستبندی کنند، سیستمهای ذخیرهسازی را با بارهای کاری مبتنی بر هوش مصنوعی همسو کنند و حرکت دادهها را در سطوح مختلف زیرساخت به حداقل برسانند. IBM این را به عنوان وسیلهای برای سادهسازی استقرار در حالی که عملکرد را افزایش میدهد و محلی بودن دادهها را برای برنامههای هوش مصنوعی بهبود میبخشد، قرار میدهد.
پایگاه داده برداری در مقیاس
در قلب پیادهسازی CAS IBM، یک پایگاه داده برداری بهینه شده برای جستجوی معنایی قرار دارد. پایگاههای داده برداری از جستجوی تقریبی نزدیکترین همسایه (ANN) پشتیبانی میکنند و به سیستمهای هوش مصنوعی اجازه میدهند تا قطعات داده مرتبط را بر اساس معیارهای شباهت مانند شباهت کسینوس یا فاصله L2 بازیابی کنند. این قابلیت برای RAG اساسی است، جایی که پرس و جوهای کاربر به بردار تبدیل میشوند و با دادههای سازمانی فهرستبندی شده مطابقت داده میشوند تا پاسخهای آگاه از زمینه ارائه دهند.
نمودار CAS IBM منبع: IBM
IBM Research، با همکاری سامسونگ و NVIDIA، یک سیستم نمونه اولیه را به نمایش گذاشت که قادر به مقیاسپذیری تا ۱۰۰ میلیارد بردار بر روی یک سرور واحد است. این سیستم بیش از ۹۰ درصد بازیابی و دقت را با تأخیر متوسط پرس و جو کمتر از ۷۰۰ میلیثانیه به دست آورد. این مقیاس به محیطهای سازمانی که مجموعه دادهها میتوانند میلیاردها فایل را در بر گیرند و پس از فهرستبندی کامل، به صدها میلیارد بردار برسند، پاسخ میدهد.
ادغام خط لوله RAG
RAG به یک رویکرد مورد علاقه برای هوش مصنوعی سازمانی تبدیل میشود، زیرا دقت خروجی را بدون نیاز به بازآموزی مدل بهبود میبخشد. این با تکمیل اعلانها با دادههای خاص سازمان که از یک پایگاه داده برداری بازیابی شدهاند، کار میکند.
خط لوله با جذب دادهها آغاز میشود، جایی که اسناد مانند PDF و ارائهها تجزیه، به قطعات تقسیم و به بردار تبدیل میشوند. این بردارها در یک پایگاه داده برداری ذخیره میشوند که دادهها را برای جستجوی شباهت کارآمد سازماندهی میکند. در طول پرس و جو، ورودی کاربر برداربندی شده و با بردارهای ذخیره شده مطابقت داده میشود و محتوای مرتبط به عنوان زمینه به مدل زبان منتقل میشود. این مکانیسم زمینهسازی توهمات را کاهش میدهد و اعتماد به خروجیهای تولید شده توسط هوش مصنوعی را افزایش میدهد.
CAS IBM این خط لوله کامل را مستقیماً در ذخیرهسازی ادغام میکند و جذب، فهرستبندی و بازیابی را در نزدیکی دادهها متمرکز میکند.
پرداختن به چالشهای مقیاس و هزینه
سیستمهای ذخیرهسازی سازمانی در حال حاضر در مقیاس پتابایت عمل میکنند. هنگامی که به CAS گسترش مییابد، هر فایل میتواند صدها بردار تولید کند و به سرعت اندازه مجموعه داده را گسترش دهد. پایگاههای داده برداری سنتی معمولاً در چندین سرور مقیاسبندی میشوند و هزینهها و پیچیدگی عملیاتی اضافی را معرفی میکنند. فهرستبندی و بازفهرستبندی مجموعه دادههای بزرگ نیز به وظایف زمانبر تبدیل میشوند.
رویکرد IBM بر بهبود تراکم بردار و کاهش سربار فهرستبندی برای محدود کردن گسترش زیرساخت تمرکز دارد. این معماری ذخیرهسازی و محاسبات پرس و جو بردار را جدا میکند و امکان مقیاسبندی مستقل منابع ذخیرهسازی و محاسباتی را فراهم میکند. این امر توسط IBM Storage Scale و سیستم فایل موازی با کارایی بالا آن امکانپذیر شده است.
معماری ذخیرهسازی و سختافزار
پیادهسازی CAS از سیستم IBM Storage Scale 6000 (ESS 6000) استفاده میکند، یک پلتفرم تمام فلش که برای بارهای کاری هوش مصنوعی و با کارایی بالا طراحی شده است. این سیستم تا ۴۸ درایو NVMe در هر محفظه ۴U را پشتیبانی میکند، با ظرفیت درایو فردی از ۷ ترابایت تا ۶۰ ترابایت. این سیستم اتصال PCIe Gen5، ۴۰۰ گیگابیت InfiniBand یا ۲۰۰ گیگابیت اترنت را ادغام میکند و تا ۳۴۰ گیگابایت بر ثانیه خواندن و ۱۷۵ گیگابایت بر ثانیه نوشتن توان عملیاتی در هر گره، همراه با تا ۷ میلیون IOPS را ارائه میدهد.
این پلتفرم همچنین از NVIDIA GPUDirect Storage پشتیبانی میکند و مسیرهای داده مستقیم بین ذخیرهسازی و GPUها را تسهیل میکند، و همچنین از BlueField-3 DPUs برای تخلیه وظایف پردازش شبکه و داده پشتیبانی میکند.
درایوهای SSD NVMe Samsung PM9D3a PCIe Gen5 ذخیرهسازی با توان عملیاتی بالا و چگالی بالا را ارائه میدهند. این درایوها که بر اساس نسل هشتم TLC V-NAND ساخته شدهاند، تا ۳۰.۷۲ ترابایت در هر دستگاه را با سرعت خواندن ترتیبی تا ۱۲ گیگابایت بر ثانیه و سرعت نوشتن تا ۶.۸ گیگابایت بر ثانیه ارائه میدهند. استفاده از SSDهای سازمانی موجود در بازار به معماری اجازه میدهد تا با استفاده از اجزای استاندارد مقیاسبندی شود.
فهرستبندی سلسله مراتبی و شتابدهنده GPU
برای مقابله با فهرستبندی در مقیاس، IBM یک مدل فهرستبندی سلسله مراتبی متشکل از چندین زیرفهرست که میتوانند به طور مستقل بهینه شوند، توسعه داده است. این ساختار بهروزرسانیهای افزایشی و بازفهرستبندی محلی را بدون مختل کردن کل مجموعه داده امکانپذیر میسازد و هم در دسترس بودن و هم کارایی عملیاتی را بهبود میبخشد.
شتابدهنده GPU زمان فهرستبندی را در مقایسه با رویکردهای فقط CPU به شدت کاهش میدهد. وظایفی که ساعتها طول میکشد تا روی CPUها انجام شوند، میتوانند در عرض چند دقیقه با استفاده از NVIDIA GPUها تکمیل شوند. در آزمایشها، ساخت فهرستها برای ۱۰۰ میلیارد بردار ۴ روز با ۶ NVIDIA H200 GPU طول کشید، در مقایسه با ۱۲۰ روز تخمینی روی یک سیستم CPU دو سوکته.
کل مجموعه داده، از جمله بردارها و فهرستها، تقریباً ۱۵۳ تِبایبایت فضا مصرف کرد. بارگذاری و پارتیشنبندی اولیه دادهها نه روز طول کشید. سیستم حاصل، تأخیر متوسط پرس و جو ۶۹۴ میلیثانیه با بازیابی ۹۰ درصد را ارائه داد که در برابر محاسبات حقیقت زمینی brute-force اعتبارسنجی شد.
نقشه راه
IBM و NVIDIA به بهینهسازی پلتفرم ادامه میدهند و بر کاهش تأخیر فهرستبندی و پرس و جو تمرکز دارند. اهداف فعلی شامل فهرستبندی ۱۰۰ میلیارد بردار یا بیشتر در یک روز، کاهش زمان جذب داده از نه روز به یک روز، و کاهش تأخیر پرس و جو به محدوده ۵۰-۱۰۰ میلیثانیه در حالی که بازیابی ۹۰ درصد حفظ میشود، است.
ادغام فهرستبندی برداری در سیستمهای فایل استاندارد با هدف سادهسازی استقرار و کاهش موانع پذیرش هوش مصنوعی سازمانی است. با جاسازی قابلیتهای RAG مستقیماً در ذخیرهسازی، IBM CAS را به عنوان یک لایه بنیادی برای زیرساختهای مجهز به هوش مصنوعی قرار میدهد.
شرکت فناوری پکن Qianxing Jietong
سندی یانگ/مدیر استراتژی جهانی
واتساپ / وی چت: +۸۶ ۱۳۴۲۶۳۶۶۸۲۶
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز تجاری:
توزیع محصولات ICT/یکپارچهسازی سیستم و خدمات/راهحلهای زیرساخت
با بیش از ۲۰ سال تجربه توزیع IT، ما با برندهای پیشرو جهانی همکاری میکنیم تا محصولات قابل اعتماد و خدمات حرفهای ارائه دهیم.
"استفاده از فناوری برای ساختن دنیایی هوشمند" ارائهدهنده خدمات محصولات ICT مورد اعتماد شما!
سندی یانگ/مدیر استراتژی جهانی
واتساپ / وی چت: +۸۶ ۱۳۴۲۶۳۶۶۸۲۶
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز تجاری:
توزیع محصولات ICT/یکپارچهسازی سیستم و خدمات/راهحلهای زیرساخت
با بیش از ۲۰ سال تجربه توزیع IT، ما با برندهای پیشرو جهانی همکاری میکنیم تا محصولات قابل اعتماد و خدمات حرفهای ارائه دهیم.
"استفاده از فناوری برای ساختن دنیایی هوشمند" ارائهدهنده خدمات محصولات ICT مورد اعتماد شما!