GNA: PC inteligentes com acelerador de IA.

O mercado vem apostando na capacidade integrada de processamento de IA no hardware. Existem VPU/GPU e TPU em formato de Pen Drive que permite o processamento de inferência em processadores antigos. Agora a tendencia será a inclusão de aceleradores nos processadores para atender a imensa demanda neste setor. Com isto, os novos equipamentos oferecem mais desempenho dedicado para o processamento de rede neurais.

Os processadores Intel® Core™ da 11ª Geração com o recurso GNA apresentam eficiência energética, pois foi projetado para processar e acelerar o processamento de IA liberando simultaneamente preciosos recursos de CPU.

O que é Intel GNA?

O Termo GNA é um acrônimo de Gaussian & Neural Accelerator Library atribuído ao co-processador para aceleração Neural integrados em alguns modelos de processadores para acelerar a execução de algoritmos de inferência. O GNA é muito similar ao co-processador matemático dos processadores 386 da década de 90. Ou seja, o seu acionamento funciona através de API da intel (biblioteca libgda). A sua implementação em modelos de deep learning pode acontecer durante um treinamento, importação de modelos de frameworks convencionais (tensor flow, torch e outros) ou utilizando o Intel Deep Learning SDK Inference Engine (Open VINO).

Equipamento com o Intel® GNA

Abaixo a lista de processador com suporte ao Intel® GNA:

• Intel® Speech Enabling Developer Kit 
• Amazon Alexa* Premium Far-Field Developer Kit 
• Intel® Pentium® Silver Processors N5xxx, J5xxx and Intel® Celeron® Processors N4xxx, J4xxx:
• Intel® Pentium® Silver J5005 Processor 
• Intel® Pentium® Silver N5000 Processor 
• Intel® Celeron® J4005 Processor 
• Intel® Celeron® J4105 Processor 
• Intel® Celeron® Processor N4100 
• Intel® Celeron® Processor N4000 
• Intel® Core™ Processors (formerly codenamed Cannon Lake): Intel® Core™ i3-8121U Processor 
• 10th Generation Intel® Core™ Processors (formerly codenamed Ice Lake):
• Intel® Core™ i7-1065G7 Processor 
• Intel® Core™ i7-1060G7 Processor 
• Intel® Core™ i5-1035G4 Processor 
• Intel® Core™ i5-1035G7 Processor 
• Intel® Core™ i5-1035G1 Processor 
• Intel® Core™ i5-1030G7 Processor 
• Intel® Core™ i5-1030G4 Processor 
• Intel® Core™ i3-1005G1 Processor 
• Intel® Core™ i3-1000G1 Processor 
• Intel® Core™ i3-1000G4 Processor 
• All 11th Generation Intel® Core™ Processors (formerly codenamed Tiger Lake). 

Quando utilizando o GNA, o hardware aloca o modelo de inferência em memória para posteriormente executá-lo paralelamente ao processador (assim o liberando para as demais tarefas). Outro ponto importante é a sua eficiência energética, que permite sua presença mesmo em notebooks ultra finos. Alguns produtos sem processadores x86, como o Alexa Premium Far-Field Voice utilizam também a tecnologia GNA.

Então podemos entender um maior poder computacional na computação de borda (edge computer), pois com uma diferenciada. A eficiência energética, assim permitindo processar inferência sem comprometer a carga de trabalho da CPU. 

O código fonte da biblioteca libgda, pode ser obtido em https://github.com/intel/gna. Para entender sua implementação desde a compilação do módulo do kernel até a abstração da biblioteca, disponibilizo um artigo na categoria SDB (suporte database) da distribuição openSUSE Linux https://en.opensuse.org/SDB:Install_GNA_in_NUC_Beast_Canyon.

O hardware utilizado foi o Intel NUC 11 Extreme “Beast Canyon” que encontra-se em pré-venda nos EUA. Mas com as instruções do artigo, é possível compreender a tecnologia antes de atingir o mercado em massa. Em breve um tutorial em português no portal Viva O Linux.

Conclusão: O futuro chegou! O mercado de desktop, servidores e notebook disponibilizarão hardware com a capacidade de processar inferência sem comprometer o uso da CPU (assim evitando overhead). Com este recurso, a inteligência artificial utilizada com um eco sistema híbrido (computer edge e cloud), trará um maior benefício com um menor custo computacional.