Intel Xeon, Core™ Ultra и AI PC ускоряват натоварванията на GenAI

Като част от мисията си да достави AI навсякъде, Intel инвестира в софтуера и AI екосистемата, за да гарантира, че продуктите й са готови за най-новите иновации в динамичното пространство на AI. В центъра за данни процесорите Intel Gaudi и Intel Xeon с ускорение Intel® Advanced Matrix Extension (Intel® AMX) дават на клиентите опции за посрещане на динамични и широкообхватни изисквания.

Процесорите Ιntel Core Ultra и графичните продукти Intel Arc осигуряват както локално средство за разработка, така и внедряване в милиони устройства с поддръжка на всеобхватни софтуерни структури и инструменти, включително PyTorch и Intel® Extension за PyTorch®, използвани за локални изследвания и разработки и OpenVINO™ инструментариум за разработване на модели и формиране на заключения.

Първоначалните резултати от тестване и производителност на Intel за моделите Llama 3 8B и 70B използват софтуер с отворен код, включително PyTorch, DeepSpeed, библиотека Intel Optimum Habana и Intel Extension за PyTorch, за да предоставят най-новите софтуерни оптимизации.

Процесорите Intel Xeon се справят с взискателните натоварвания на AI от край до край, а Intel инвестира в оптимизиране на резултатите от LLM, за да намали забавянето. Процесорите Intel® Xeon® 6 с Performance-ядра (с кодово име Granite Rapids) показват 2 пъти подобрение на латентността при правене на изводи с Llama 3 8B в сравнение с процесорите Intel® Xeon® от 4-то поколение и способността да изпълняват по-големи езикови модели, като Llama 3 70B, под 100ms на генериран токен.

Intel Core Ultra и Intel Arc Graphics предоставят впечатляваща производителност за Llama 3. В първоначален кръг от тестове процесорите Intel Core Ultra вече генерират по-бързи скорости от типичните човешки скорости на четене. Освен това графичният процесор Intel® Arc™ A770 има Xe Matrix eXtensions (XMX) AI ускорение и 16 GB специална памет, за да осигури изключителна производителност за натоварвания на LLM.