Entenda o Processo de Treinamento e Resposta.

Para treinar um modelo ChatGPT, existem duas etapas principais:

Pré-treinamento

Nesta etapa, treinamos um modelo GPT (um transformador de decodificação) com uma grande quantidade de dados da internet. O objetivo é treinar um modelo capaz de prever as próximas palavras em uma frase de forma gramaticalmente correta e semanticamente coerente, baseado em grandes volumes de dados da internet. Neste estágio, o treinamento é feito de forma não supervisionada, o que significa que o modelo aprende padrões linguísticos sem um objetivo específico, como responder a perguntas.

Ajuste fino

Esta etapa transforma o modelo pré-treinado em um modelo de perguntas e respostas como o ChatGPT, por meio de um processo de 3 passos:

• Coletar dados de treinamento (perguntas e respostas) e ajustar o modelo pré-treinado com esses dados. O modelo aprende a gerar respostas semelhantes aos exemplos fornecidos por seres humanos.
• Coletar mais dados (perguntas e várias respostas) e treinar um modelo de recompensa, que atribui pontuações às respostas, classificando-as da mais relevante para a menos relevante, com base em feedback humano.
• Usar aprendizado por reforço (otimização PPO) para refinar o modelo, tornando as respostas mais precisas e alinhadas às expectativas. O modelo é ajustado com base nas recompensas recebidas para melhorar sua precisão.

Responder a um prompt