Recomendações para treinamento de rede neural

Neste capítulo, entenderemos os vários aspectos do treinamento de rede neural que podem ser implementados usando a estrutura TensorFlow.

A seguir estão as dez recomendações, que podem ser avaliadas -

Back Propagation

A propagação de retorno é um método simples para calcular derivados parciais, que inclui a forma básica de composição mais adequada para redes neurais.

Descida gradiente estocástico

Na descida gradiente estocástica, um batché o número total de exemplos, que um usuário usa para calcular o gradiente em uma única iteração. Até agora, presume-se que o lote foi todo o conjunto de dados. A melhor ilustração está trabalhando na escala do Google; conjuntos de dados geralmente contêm bilhões ou mesmo centenas de bilhões de exemplos.

Diminuição da taxa de aprendizagem

Adaptar a taxa de aprendizado é um dos recursos mais importantes da otimização de gradiente descendente. Isso é crucial para a implementação do TensorFlow.

Cair fora

Redes neurais profundas com um grande número de parâmetros formam poderosos sistemas de aprendizado de máquina. No entanto, o excesso de adaptação é um problema sério em tais redes.

Max Pooling

Max pooling é um processo de discretização baseado em amostra. O objetivo é reduzir a amostra de uma representação de entrada, o que reduz a dimensionalidade com as suposições necessárias.

Memória de longo prazo (LSTM)

LSTM controla a decisão sobre quais entradas devem ser tomadas dentro do neurônio especificado. Inclui o controle sobre a decisão do que deve ser computado e qual saída deve ser gerada.