Recomendações para treinamento de rede neural
Neste capítulo, entenderemos os vários aspectos do treinamento de rede neural que podem ser implementados usando a estrutura TensorFlow.
A seguir estão as dez recomendações, que podem ser avaliadas -
Back Propagation
A propagação de retorno é um método simples para calcular derivados parciais, que inclui a forma básica de composição mais adequada para redes neurais.
Descida gradiente estocástico
Na descida gradiente estocástica, um batché o número total de exemplos, que um usuário usa para calcular o gradiente em uma única iteração. Até agora, presume-se que o lote foi todo o conjunto de dados. A melhor ilustração está trabalhando na escala do Google; conjuntos de dados geralmente contêm bilhões ou mesmo centenas de bilhões de exemplos.
Diminuição da taxa de aprendizagem
Adaptar a taxa de aprendizado é um dos recursos mais importantes da otimização de gradiente descendente. Isso é crucial para a implementação do TensorFlow.
Cair fora
Redes neurais profundas com um grande número de parâmetros formam poderosos sistemas de aprendizado de máquina. No entanto, o excesso de adaptação é um problema sério em tais redes.
Max Pooling
Max pooling é um processo de discretização baseado em amostra. O objetivo é reduzir a amostra de uma representação de entrada, o que reduz a dimensionalidade com as suposições necessárias.
Memória de longo prazo (LSTM)
LSTM controla a decisão sobre quais entradas devem ser tomadas dentro do neurônio especificado. Inclui o controle sobre a decisão do que deve ser computado e qual saída deve ser gerada.