[Китай, Шенжен, 14 юли 2023 г.] Днес Huawei представи своето ново решение за съхранение на AI за ерата на широкомащабните модели, предоставяйки оптимални решения за съхранение за базово обучение на модели, обучение на специфични за индустрията модели и изводи в сегментирани сценарии, като по този начин отприщване на нови AI възможности.
При разработването и внедряването на широкомащабни моделни приложения предприятията са изправени пред четири основни предизвикателства:
Първо, времето, необходимо за подготовка на данните, е дълго, източниците на данни са разпръснати, а агрегирането е бавно, като отнема около 10 дни за предварителна обработка на стотици терабайти данни. Второ, за многомодални големи модели с масивни текстови и графични набори от данни, текущата скорост на зареждане за масивни малки файлове е по-малка от 100MB/s, което води до ниска ефективност при зареждане на обучаващ набор. Трето, честите настройки на параметрите за големи модели, заедно с нестабилните платформи за обучение, причиняват прекъсвания на обучението приблизително на всеки 2 дни, което налага механизмът на Checkpoint да възобнови обучението, като възстановяването отнема повече от един ден. И накрая, високи прагове за внедряване за големи модели, сложна системна настройка, предизвикателства при планирането на ресурсите и използване на GPU ресурси често под 40%.
Huawei се привежда в съответствие с тенденцията за развитие на AI в ерата на мащабните модели, предлагайки решения, пригодени за различни индустрии и сценарии. Той представя OceanStor A310 Deep Learning Data Lake Storage и FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage е насочен както към базови сценарии, така и към големи моделни езера от данни на ниво индустрия, като постига цялостно управление на данни с изкуствен интелект от агрегиране на данни, предварителна обработка до обучение на модели и приложения за изводи. OceanStor A310, в един 5U шкаф, поддържа водеща в индустрията 400GB/s честотна лента и до 12 милиона IOPS, с линейна мащабируемост до 4096 възли, което позволява безпроблемна комуникация между протоколи. Глобалната файлова система (GFS) улеснява интелигентното преплитане на данни между региони, рационализирайки процесите на агрегиране на данни. Изчисленията почти до съхранението реализират предварителна обработка почти до данни, намалявайки движението на данни и подобрявайки ефективността на предварителната обработка с 30%.
Суперконвергираният уред за обучение/извод FusionCube A3000, проектиран за сценарии за обучение/извод на големи модели на ниво индустрия, се грижи за приложения, включващи модели с милиарди параметри. Той интегрира високопроизводителни възли за съхранение на OceanStor A300, възли за обучение/изводи, оборудване за превключване, софтуер за платформа за изкуствен интелект и софтуер за управление и работа, предоставяйки на големите партньори на модела изживяване при внедряване чрез plug-and-play за доставка на едно гише. Готов за употреба, той може да бъде разгърнат в рамките на 2 часа. Както възлите за обучение/извод, така и възлите за съхранение могат да бъдат независимо и хоризонтално разширени, за да отговарят на различни изисквания за мащаб на модела. Междувременно FusionCube A3000 използва контейнери с висока производителност, за да даде възможност за обучение на множество модели и задачи за извод за споделяне на GPU, увеличавайки използването на ресурсите от 40% до над 70%. FusionCube A3000 поддържа два гъвкави бизнес модела: Huawei Ascend One-Stop Solution и партньорското решение на едно гише от трети страни с отворен софтуер за изчисления, работа в мрежа и AI платформа.
Президентът на продуктовата линия за съхранение на данни на Huawei, Zhou Yuefeng, заяви: „В ерата на мащабните модели данните определят височината на AI интелигентността. Като носител на данни, съхранението на данни се превръща в ключовата фундаментална инфраструктура за широкомащабните модели на ИИ. Huawei Data Storage ще продължи да прави иновации, предоставяйки диверсифицирани решения и продукти за ерата на големите модели с ИИ, като си сътрудничи с партньори, за да насърчи овластяването на ИИ в широк спектър от индустрии.“
Време на публикуване: 01 август 2023 г
