3d,Rendering,Robot,Learning,Or,Machine,Learning,With,Education,Hud

15 de agosto de 2021

DATA-HEAVY AI (IA com muitos dados) by Azeem Azhar

1)  No início desta semana, Carl Frey e eu discutimos o “grande jogo de IA” na Conferência DLD, e nele o tópico de modelos de IA muito grandes apareceu.

A onda de aprendizado profundo aumentou o apelo de modelos massivos de aprendizado de máquina que exigem grande quantidade de computação e grandes quantidades de dados.

Os modelos ficaram tão grandes que o maior custou dezenas de milhões de dólares de computação para treinar.

Vídeo: The Great AI Game (Carl Benedikt Frey & Azeem Azhar) | DLD Summer, July 2nd  https://www.youtube.com/watch?v=P6e82TtB4O4

2) A pressão por computação que pode deslocar grandes quantidades de dados resultou em inovação na indústria de chips, sendo as “arquiteturas de chip acionadas por dados” uma prioridade em partes da indústria. Agora é importante que os designers de chips reduzam “a distância que os dados precisam percorrer, por sua vez [reduzindo] a quantidade de energia necessária para mover esses dados”.

3) Em nenhum lugar isso é mais verdadeiro do que com o enorme “hardware em escala de wafer” da Cerebras que, por enquanto, substitui o protocolo da Lei de Moore para desempenho por meio da miniaturização com um novo mantra de desempenho do tamanho físico geral de um chip. Os chips da Cerebras são enormes.

Cerebras Wafer Scale Hardware Crushes High Performance Computing Workloads Including Machine Learning And Beyond
Fonte: https://bit.ly/3dIAsUI

4) Um antídoto para chips maiores pode ser o uso de fotônica no aprendizado profundo, como argumentado por Ryan Hammerly. Os primeiros processadores fotônicos acessíveis em nuvem para aprendizagem profunda foram lançados no início deste ano pelo leitor EV, Igor Carron.

The Future of Deep Learning Is Photonic, June 29
https://bit.ly/3wj27Cj

5) Outra forma de approach pode ser encontrar abordagens alternativas para construir sistemas de IA que não exijam muitos dados e computação. Como sugeri em minha discussão com Carl acima, o fato de os modelos de big data estarem funcionando comercialmente e de a indústria de semicondutores e nuvem apoiar amplamente essas abordagens pode adicionar mais impulso, ao invés de menos, impulso a este método, por mais deselegante que possa parecer.