شرکت مدیریت داده های ساختار نیافته Komprise یک فناوری ثبت اختراع ایجاد کرده است که می تواند به صورت پویا مجموعه داده های عظیم بدون ساختار را تقسیم کند. این راه حل، بارهای کاری را در چندین موتور محاسباتی در حین انتقال داده به پردازنده های گرافیکی پردازش هوش مصنوعی توزیع می کند و سرعت کلی پردازش را به طور قابل توجهی افزایش می دهد.
فناوری Komprise Elastic Shares (KES) که رسماً به عنوان پتنت US-12566637-B2 ثبت شده است توسط مایکل پیرسی، مدیر ارشد فناوری Komprise و تیم تحقیقاتی او ارائه شده است. عنوان رسمی آن «سیستم و روشهای تقسیم یک درخت ناشناخته برای اجرای عملیات توسط چندین موتور محاسباتی» است.
Peercy اظهار داشت: "Elastic Shares مشتریان ما را قادر می سازد تا به طور کامل از منابع ارزشمند محاسباتی، حافظه و شبکه استفاده کنند. این فناوری مقیاس عملکرد تقریباً خطی را ارائه می دهد و به شرکت ها کمک می کند تا مزیت های رقابتی برجسته ای کسب کنند."
برای مجموعه دادههایی در مقیاس پتابایت که برای تجزیه و تحلیل، استنتاج LLM یا محاسبات عامل هوش مصنوعی به سرورهای هوش مصنوعی منتقل میشوند، یک موتور محاسباتی به ساعتها نیاز دارد تا از درختهای دایرکتوری یا پیشوندهای ذخیرهسازی اشیا عبور کند. یک موتور محاسباتی را می توان به عنوان یک سرور مستقل، یک رشته، گروه رشته، فرآیند یا خوشه فرآیند، با اصول عملیاتی سازگار در همه سناریوها تعریف کرد. اگرچه کاربران می توانند چندین موتور را برای محاسبات موازی از قبل مستقر کنند، تخصیص استاتیک اغلب باعث ناکارآمدی می شود. اندازههای شاخه ناهموار باعث میشود که گرههای محاسباتی خاصی زود به پایان برسند و در حالی که منتظر گرههای کندتر برای تکمیل وظایف محول شده هستند، بیکار باقی بمانند.
حق اختراع Komprise US-12566637-B2.
تیم Peercy یک زمانبندی کار هوشمند را اختراع کرد که در یکی از موتورهای محاسباتی تعبیه شده بود تا وضعیت گره را در زمان واقعی نظارت کند. هنگامی که یک کار پردازش داده آغاز می شود، بارهای کاری در ابتدا بین موتورهای محاسباتی موجود تخصیص می یابد. هنگامی که هر گره پارتیشن اختصاص داده شده خود را به پایان رساند، برای دریافت وظایف معلق به منبع منبع باز می گردد. این مکانیسم زمان بیکاری را حذف می کند، به طور مداوم بارهای کاری جدید را به گره های محاسباتی آزاد اختصاص می دهد و مدت زمان کلی پردازش را کوتاه می کند.
بر اساس یک پست وبلاگ رسمی Komprise، KES به صورت پویا بارهای کاری داده های بدون ساختار را در میان خوشه های سرور به شیوه ای جریانی توزیع می کند. این فناوری به سرعت تقریباً خطی برای پردازش داده در مقیاس بزرگ بدون نیاز به اطلاعات از پیش به دست آمده در مورد ظرفیت مجموعه داده، ساختار داخلی یا تأخیر پردازش دست می یابد.
به بیان ساده: هر گره محاسباتی به طور خودکار وظایف جدید را بلافاصله پس از اتمام تکالیف فعلی دریافت می کند، و استفاده کامل از منابع را تا زمانی که کل کار داده تکمیل شود حفظ می کند.
مایکل پیرسی.
اسناد ثبت اختراع نشان میدهد که وظایف انتقال داده در مقیاس بزرگ بین سرورهای فایل یا حجمهای ذخیرهسازی اغلب با محدودیتهای زمانی سختی روبرو هستند. یک گره محاسباتی منفرد، اعم از رشته، پردازش یا سرور مستقل، فاقد توان عملیاتی کافی برای تکمیل سریع بارهای کاری سنگین است و پردازش موازی چند موتوره را به یک راه حل ضروری تبدیل می کند.
این سند بیشتر توضیح میدهد که ساختارهای درخت دایرکتوری تنها در طول پیمایش بازگشتی از گرههای ریشه تا برگ قابل شناسایی هستند. در برخی موارد، داده ها باید در یک توالی ثابت پردازش شوند، مانند اولویت بندی دایرکتوری های والد قبل از زیرپوشه ها و فایل ها. این نیاز به تقسیمبندی حجم کاری پویا در زمان واقعی به جای پارتیشنبندی ثابت استاتیک دارد، که باید با معماریهای دادههای متنوع و ناشناخته سازگار شود.
این فناوری ثبت شده برای فایل ها، پوشه ها، اشیاء ذخیره سازی و پیشوندهای شی اعمال می شود. اگرچه در اصل برای سرورهای فیزیکی مستقل طراحی شده است، اما با همه انواع موتورهای محاسباتی، از جمله رشته ها، فرآیندها و خوشه های خدمات باطنی سازگار است.
Komprise سه مزیت اصلی ارائه شده توسط فناوری KES را برجسته می کند:
-
پارتیشن بندی وظایف پویا: منابع محاسباتی با ارزش به محض بیکار شدن، فوراً با وظایف جدید تخصیص داده می شوند.
-
پردازش اطلاعات کور: این سیستم از محاسبه مجموعه داده بدون آگاهی قبلی از اندازه داده، ساختار داخلی و تأخیر پردازش متغیر پشتیبانی میکند و کاملاً با سناریوهای انتقال داده جریانی AI مطابقت دارد.
-
تعادل مجدد منابع هوشمند: به طور خودکار استراتژی های تخصیص را برای انطباق با سلسله مراتب داده های بدون ساختار با تراکم شاخه های غیرقابل پیش بینی بهینه می کند.
این فناوری نوآورانه ثبت شده، بهینه سازی عملی و کارآمد را برای محاسبات داده های بدون ساختار در مقیاس بزرگ ارائه می دهد.
پکن Qianxing Jietong Technology Co., Ltd.
سندی یانگ / مدیر استراتژی جهانی
WhatsApp / WeChat: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز تجاری:
توزیع محصول ICT/یکپارچه سازی سیستم و خدمات/راه حل های زیرساخت
با بیش از 20 سال تجربه توزیع فناوری اطلاعات، ما با برندهای پیشرو جهانی برای ارائه محصولات قابل اعتماد و خدمات حرفه ای همکاری می کنیم.
«استفاده از فناوری برای ساختن جهانی هوشمند» ارائهدهنده خدمات مورد اعتماد شما در زمینه فناوری اطلاعات و ارتباطات!
پیام شما باید بین 20 تا 3000 کاراکتر باشد!
Persian
