Versão Inglês

Ano:  2013  Vol. 79   Ed. 5S1  - Setembro - Outubro - (1º)

Seção: Artigo Original

Páginas: s6 a s32

Protocolo de avaliação e classificação dos programas de residência e de especialização em Otorrinolaringologia no Brasil

Evaluation and classification of residence programs in Otorhinolaryngology

Autor(es): Agrício Nubiato Crespo

DOI: 10.5935/1808-8694.2013S001

Palavras-chave: educação; educação superior; especialização; internato e residência.

Keywords: education; education, medical, undergraduate; internship and residency; specialization.

Resumo:
A residência médica é ensino de pós-graduação caracterizado como treinamento em serviço.
OBJETIVO: Apresentar o protocolo de avaliação da ABORL-CCF dos cursos de residência ou especialização.
MÉTODO: Desenvolvimento de um protocolo de avaliação; Classificação por qualidade; Comparação do desempenho dos alunos egressos no concurso para obtenção de título de especialista, segundo a classificação de seus programas de origem.
RESULTADOS: Foram avaliados 82 programas de ensino em 2004 classificados como A+ (12,20%), B+ (7,3%), B (19,5%), C+ (20,7%), C (17,1%), D (20,7%) e E (2,4%). Houve discrepância em qualidade e distribuição geográfica. A classificação dos candidatos para obtenção do título de especialista foi melhor para os egressos dos programas mais qualificados. A curva das notas das instituições tem a mesma tendência decrescente que a obtida com as médias dos seus alunos. Dos programas inicialmente classificados como E, D, C ou C+, 77% melhoraram de classificação quando reavaliados após três anos.
CONCLUSÃO: O protocolo de avaliação foi capaz de discriminar por qualidade os programas de ensino. As notas dos aprovados no concurso para título de especialista têm a mesma tendência da classificação de suas instituições. Houve melhora na classificação dos programas de ensino após a implantação do protocolo.

Abstract:
Residence training is defined in Brazil as a full time learning in practice process, developed in public health institutions, private hospitals and clinics, under surveillance of qualified medical staff.
OBJECTIVE: To present the development process of a protocol of evaluation of residence programs in otolaryngology and its classification by quality.
METHOD: Design a comprehensive protocol of evaluation to cover the broad aspects of medical education in otolaryngology. Classify the training programs by quality. Evaluate board certification performance of its residents. Analyze the correlation between program quality classification status and residents scores at the board certification exam.
RESULTS: Eighty two residence programs were evaluated across the country in 2004, as follows: level A (12,20%), B+ (7,3%), B (19,5%), C+ (20,7%), C (17,1%), D (20,7%) and E (2,4%) p < 0,005.
CONCLUSION: The evaluation program was able to discriminate, quality-wise, the training programs. The grades from those who passed the ABORL-CCF Board's Exam have the same ranking trend as that of their training institution. There was an improvement in the ranking of training programs after the program was implemented.

INTRODUÇÃO

A formação em Otorrinolaringologia pode ser desenvolvida nos programas de residência médica credenciados pelo Ministério da Educação e Cultura (MEC), com direito automático ao título de especialista ou em cursos de especialização credenciados pela Associação Brasileira de Otorrinolaringologia e Cirurgia Cérvico-Facial (ABORL-CCF), que confere o título de especialista àqueles aprovados em concurso próprio^1,2.

Os cursos de especialização, bem como as residências, são definidos como modalidade de ensino de pós-graduação destinada a médicos e caracterizada como treinamento em serviço, teórico e prático, em regime de horário integral, desenvolvendo-se nas instituições de saúde públicas ou privadas, universitárias ou não, sob a orientação de profissionais médicos de elevada qualificação ética e profissional^1-3.

O credenciamento dos programas é condicionado ao cumprimento dos requisitos mínimos próprios do MEC ou da ABORL-CCF, sendo estes mais rigorosos quanto ao conteúdo programático. Os critérios estabelecidos pelo MEC são mais rigorosos quanto aos aspectos legais da atividade de ensino, como o pagamento obrigatório da bolsa de estudos, o cumprimento da jornada de trabalho estabelecida, de férias e outros^3,4.

Estes requisitos têm a finalidade de assegurar o perfil desejável do especialista em Otorrinolaringologia, objetivo a ser alcançado no final do treinamento. Consistem num elenco de conhecimentos e habilidades que os alunos devem adquirir durante seu treinamento em serviço, permitindo o exercício competente da especialidade².

A Comissão de Aperfeiçoamento Profissional de Nível Superior (CAPES) avalia e classifica os programas de Pós-Graduação senso estrito com processo rigoroso e reconhecido, que tem elevado continuamente a qualidade da pesquisa no Brasil³.

A Comissão Nacional de Residência Médica (CNRM) não desenvolveu um sistema de avaliação tão abrangente, condicionando o credenciamento dos programas de residência ao cumprimento de "critérios mínimos". Os critérios da CNRM nivelam os programas de ensino em parâmetros mínimos, não destacam sua qualidade, não estimulam seu aperfeiçoamento e, desta forma, não favorecem o aprimoramento qualitativo da residência médica⁵.

As vagas da residência médica em Otorrinolaringologia oferecidas pelas universidades ou faculdades de Medicina não atendem à demanda da procura pela especialidade. Aproximadamente 50% dos inscritos no concurso para obtenção do título de especialista concedido pela Associação Brasileira de Otorrinolaringologia e Cirurgia Cérvico-Facial (ABORL-CCF) são candidatos advindos dos programas de formação desenvolvidos nos hospitais gerais ou nas clínicas particulares. Esses programas de ensino são numericamente significantes na formação dos otorrinolaringologistas brasileiros e, consequentemente, no perfil da especialidade no nosso país. Destes, alguns são credenciados pelo MEC e outros, pela ABORL-CCF. Por não estarem inseridos nos ambientes acadêmicos e, eventualmente, serem desenvolvidos por coordenadores de programas sem formação acadêmica, algumas vezes podem estar sujeitos a práticas insuficientes na formação dos jovens especialistas, sem a devida supervisão de conteúdo^4-6.

Possivelmente, existem programas de residência não plenamente integrados à atividade de formação que privilegiam a prática assistencial e a prestação de serviços. Em condições extremas, talvez nem tão raras, os residentes poderiam atuar como meros prestadores de serviços, a baixo custo, em troca de alguma oportunidade de aprendizagem pouco qualificada.

Há programas cujos preceptores são médicos destacados por atuarem em apenas uma área da Otorrinolaringologia, expondo os seus alunos a uma formação parcial, com excelência focal, carecendo do domínio das demais áreas da especialidade.

Os médicos recém-formados, egressos dos cursos de graduação, geralmente desconhecem as características dos programas da residência médica cujas vagas pleiteiam.

A reputação das instituições, ou mesmo a de seus membros, não são garantias plenas da qualificação do ensino nelas desenvolvidos.

Como os programas de residência médica no Brasil são comparados aos desenvolvidos nos outros países? A imprecisão das informações não permite esta comparação, contrariamente ao que ocorre com os cursos de pós-graduação senso estrito.

Assim como ocorre com a abertura desenfreada de escolas de Medicina no Brasil, não existe uma política de controle e de atendimento de demanda, menos ainda de distribuição geográfica^4,6,7.

A existência de um processo de avaliação, pautado em critérios específicos e bem definidos, que considere aspectos quantitativos e qualitativos com abrangência sobre a formação técnica, científica e ética, propiciará condições de autoavaliação contínua dos programas por seus dirigentes e, também, pelo corpo discente. Programas reconhecidamente deficitários em áreas específicas poderão estabelecer acordos de cooperação com outros, como meio de complementação educacional nos estágios insatisfatórios. A identificação de fragilidades fornecerá subsídios para o aperfeiçoamento dos programas deficientes, fornecerá o estabelecimento de metas de qualidade e o possível descredenciamento daqueles programas de ensino que não possam atingi-las⁸.

A uniformização dos programas nacionais, associada a um controle centralizado, baseado no conhecimento pleno das ofertas e demandas, possibilitará a eventual adoção de um sistema de alocação de vagas.

Neste trabalho, apresentamos os passos do desenvolvimento e da aplicação do Protocolo de Avaliação e Classificação dos Programas de Residência Médica e Especialização em Otorrinolaringologia (PACRE), adotado pela ABORL-CCF em 2004, e seus resultados nos programas de ensino até o ano de 2007.


MÉTODO

No período de março a junho de 2004, o autor e a Comissão de ensino, treinamento e residência da ABORL-CCF desenvolveram o protocolo de avaliação, abrangendo os seguintes domínios:

Caracterização Geral do programa de ensino e ambiente acadêmico;

Infraestrutura;

Corpo Docente;

Atividades de Formação;

Atividades de Pesquisa e produção científica;

Avaliação Discente;

Avaliação do programa pelo Corpo Discente;

Autoavaliação do programa.

Cada domínio abrange itens específicos que o caracterizam. Os valores ou pontos atribuídos a cada item foram determinados consensualmente pelos membros da Comissão de ensino treinamento e residência. A importância de cada item na formação do médico residente foi considerada, muitas vezes, comparativamente. Essa comparação foi baseada na experiência dos autores na coordenação de programa de residência, chefia de serviço, dedicação ao ensino, assistência e pesquisa científica.

Os itens avaliados no domínio I (Caracterização Geral do Programa) contemplam a instituição onde o programa de ensino está inserido, o ambiente acadêmico, o nível de complexidade da instituição e a localização geográfica (Quadro 1).

Os programas de residência e de especialização localizados na região Norte receberam valor dez, devido à carência regional de oportunidades de formação. Inversamente, os programas localizados na região Sudeste não receberam pontuação devido ao excedente de especialistas e de serviços formadores. Os programas localizados nas demais regiões receberam pontuações intermediárias, segundo o mesmo critério.

Os itens avaliados no domínio II (Infraestrutura) estão apresentados no Quadro 2.

Os itens avaliados no domínio III (Corpo Docente) estão apresentados no Quadro 3.

Observações: Vínculo institucional - Relação contratual dos instrutores como docente ou médico do serviço. Todos os docentes devem possuir o título de especialista em Otorrinolaringologia ou nas áreas afins da Associação Médica Brasileira ou do Conselho Regional de Medicina, sendo que 50% devem ter, no mínimo, dez anos de formado.

Para orientação na cirurgia das afecções de cabeça, pescoço e base do crânio e nas cirurgias ortodônticas, do trauma maxilofacial, estéticas e recuperadoras da face, o instrutor deve ser otorrinolaringologista com cinco anos de experiência na área, ou não otorrinolaringologista com título de especialista na área, que trabalhe em equipe com o otorrinolaringologista sempre.

A pontuação atribuída ao item "titulação do corpo docente" (item 2 do Quadro 3) é obtida mediante a fórmula que indica a somatória das porcentagens de cada categoria, multiplicadas por seus pesos correspondentes e depois dividida por 100. Foi gerado um valor que variou de zero a oito para a pontuação deste item.

A existência do programa de pós-graduação na instituição recebeu pontuação dois. Quando os docentes apenas participam das atividades de pós-graduação em outras instituições, recebeu pontuação um.

Os aspectos avaliados no item IV (Atividades de Formação) estão apresentados no Quadro 4A-C.

Observação: Foram atribuídos pontos na avaliação das atividades de aulas teóricas, reuniões para apresentação de artigos de revista e para discussão de casos, apenas quando essas atividades são oferecidas regularmente e em sessões separadas.

No Quadro 4C são apresentadas as atividades de treinamento com cirurgia experimental, produção científica desenvolvida pelos residentes ou especializandos e participação em congressos.

Observação: Na primeira parte do item 7 do Quadro 4C, considerou-se o volume da produção científica total dos residentes em relação ao número de residentes. Na segunda, considerou-se quantos residentes participaram da produção, em relação ao número total de residentes. Esta distinção discrimina a eventualidade de apenas um residente ser responsável por toda a produção.

Os itens avaliados no item V (Atividades de pesquisa e produção científica da instituição) estão apresentados no Quadro 5.

O item VI (Corpo discente) avalia o desempenho dos egressos dos programas de residência ou especialização no concurso para obtenção de título de especialista em Otorrinolaringologia, promovido pela ABORL-CCF. Está apresentado no Quadro 6.

No Quadro 7, estão apresentados os itens considerados na avaliação do programa de ensino, realizada pelos próprios médicos residentes ou especializandos.

No item VIII (Autoavaliação do programa de ensino) há um espaço livre destinado aos comentários finais do preceptor do programa de ensino (Quadro 8).

Os itens VII e VIII não receberam pontuação. Compõem, no entanto, conjunto importante de informações que permitem aos avaliadores analisar aspectos do programa de residência ou especialização não contemplados no protocolo preenchido.

As informações fornecidas no preenchimento do protocolo de avaliação devem ser comprovadas. Os preceptores dos programas de ensino recebem previamente uma lista de documentos a serem apresentados no momento da visita de avaliação. Não são consideradas as informações sem comprovação durante a visita (Quadro 9).

Foram atribuídos pesos para cada domínio avaliado, conforme o Quadro 10.

Os pontos atribuídos aos itens contidos em cada domínio são somados. O valor resultante é convertido em nota de zero a cem, aplicando-se a regra de três.

Este valor é multiplicado por seu peso correspondente (Quadro 10) para compor a nota de cada domínio.

A nota final da avaliação do programa de ensino varia de zero a cem e é obtida pela média ponderada das notas de todos os domínios.

Classificação dos programas de residência ou de especialização

Os programas de residência ou especialização são classificados, segundo as notas finais em intervalos de ordem decrescente, nos níveis A, B+, B, C+, C, D e E.

Institucionalização e tramitação do processo-fase inicial

A implantação do Protocolo de Avaliação e Classificação dos Programas de Residência ou Especialização seguiu uma rotina de tramitação burocrática e política, o que assegurou sua aceitação, execução e implantação no programa de atividades da ABORL-CCF:

Apresentação integral do Protocolo de Avaliação e Classificação dos Programas de Residência ou Especialização à diretoria da ABORL-CCF para ciência e aprovação;

Proposição prévia de um cronograma de reavaliação, recadastramento e reclassificação das instituições segundo a classificação inicialmente atingida (Quadro 11);

Apresentação no Mini-Fórum da especialidade em 21 de agosto de 2004 para ciência, crítica e aprovação.

Observação: O Mini-Fórum é um colegiado formado pela diretoria da ABORL-CCF, coordenadores de todas as comissões técnicas e formadores de opinião convidados. Reúne-se periodicamente para apresentar, discutir e elaborar o programa de atividades da associação.

A aprovação institucional tornou o Protocolo de avaliação e classificação das residências e de especialização em Otorrinolaringologia parte das atividades ordinárias da ABORL-CCF, deixando de ser apenas um projeto da Comissão de ensino, treinamento e residência.

Após a aprovação definitiva da metodologia proposta, o Protocolo de Avaliação e Classificação dos Programas de Residência ou Especialização da ABORL-CCF e suas regras foram amplamente divulgados, com ênfase na imparcialidade do método. A finalidade dessa divulgação foi favorecer sua aceitação pela comunidade otorrinolaringológica.

Todos os preceptores de programas de ensino receberam carta convite para inscreverem seus programas de residência ou especialização no Protocolo de Avaliação e Classificação da ABORL-CCF.

Composição da equipe de avaliadores e cronograma das visitas

Foi composta uma equipe de avaliadores para realizar as visitas de inspeção dos programas de ensino que aderiram ao protocolo. Foram 40 otorrinolaringologistas criteriosamente selecionados segundo a experiência no ensino da Otorrinolaringologia, que foram distribuídos em duplas não constantes. O número de programas visitados por cada avaliador variou segundo a sua disponibilidade.

Todos receberam treinamento simultâneo, com cinco horas de duração, para apresentação e discussão minuciosa de todos os itens do protocolo e seus possíveis desvios e imprecisões.

No período de três semanas, em agosto de 2004, todos os programas de ensino foram visitados pelas duplas de avaliadores, cumprindo um cronograma previamente estabelecido. As instituições foram numeradas de 1 a 85.

Concluídas as visitas, todos os avaliadores foram simultaneamente reunidos com a finalidade de homogeneização de critérios, exposição das impressões gerais e apontamento das dificuldades com o protocolo. Todos relataram suas experiências, estabeleceram comparações e nivelaram divergências de interpretações.

Atribuição dos conceitos A, B+, B, C+, C, D e E

Os três membros da Comissão de ensino, treinamento e residência da ABORL-CCF revisaram todos os protocolos preenchidos, compilaram, digitalizaram e processaram os dados obtidos no programa desenvolvido com essa finalidade. Atribuíram, consensualmente, as notas finais para cada programa e sua classificação correspondente: A, B+, B, C+, D e E.

Os programas foram classificados mediante atribuição de conceitos, segundo intervalos de notas estabelecidos (Tabela 1).

A classificação final incluiu, em alguns casos, aspectos subjetivos, principalmente relacionados a questões éticas ligadas a assistência e ensino, que são prerrogativas exclusivas da ABORL-CCF.

As notas intermediárias ou parciais de cada programa foram mantidas em sigilo, sob a guarda da Comissão de ensino treinamento e residência e não devem ser divulgadas.

Institucionalização e tramitação do processo - fase final

Os resultados genéricos, sem identificação dos programas, foram apresentados no Fórum de Defesa Profissional realizado durante o Congresso Brasileiro de Otorrinolaringologia em 2004.

Observação: As decisões deste fórum, que norteiam as ações da ABORL-CCF, confirmaram o Protocolo de Avaliação e Classificação dos Programas de Residência e de Especialização como instrumento de defesa profissional.

O Programa e seus resultados genéricos, sem identificação das instituições participantes, foram apresentados e aprovados na Assembleia Geral da ABORL-CCF realizada durante o Congresso Brasileiro de Otorrinolaringologia em 2004. Esta oficialização institucionaliza a continuidade do Protocolo de Avaliação e Classificação dos Programas de Residência e de Especialização em Otorrinolaringologia no Brasil.

Foi enviada carta a todos os preceptores das instituições participantes contendo a classificação do seu programa de ensino, sua posição em relação à classificação geral e informações sobre sua qualificação nos diferentes itens.

Os preceptores dos programas classificados como D ou E e todos os demais que solicitaram orientações e esclarecimentos foram convocados para discussão conjunta.

Os programas classificados como D e E foram avaliados em 2006. Os que permaneceram nesta classificação foram novamente reavaliados pela Comissão de ensino, treinamento e residência em 2007.

Os programas classificados inicialmente como nível C+ e C foram reavaliados em 2007.

Os Classificados como A, B+ e B serão reavaliados após 5 e 4 anos, respectivamente, permanecendo inalterados no presente, portanto.

O desempenho desses programas e sua evolução na escala de classificação serão avaliados.

Classificação dos programas e desempenho dos seus alunos egressos

O desempenho dos candidatos no concurso da ABORL-CCF para obtenção do título de especialista em Otorrinolaringologia foi comparado com a classificação dos seus programas de origem, no ano de 2007. Foram analisadas as médias das notas obtidas pelos aprovados, o percentual de reprovação e a ordem de classificação dos candidatos, segundo os diferentes níveis de classificação de seus serviços de origem.

Análise dos dados

Para comparação entre os níveis de classificações e avaliar se há diferenças entre as médias das notas correspondentes aos programas classificados como A, B+, B, C+, C, D e E, utilizou-se o teste t de Student para amostras independentes. Adotamos o nível se significância de 5%.

Alegação: A média das escolas com conceito A é maior do que à média das escolas com conceito B+.

Tipo de Teste: unicaldal.

Hipótese H0: A média do conceito A é igual à média do conceito B+.

Hipótese H1: A média do conceito A é maior do que a média do conceito B+.

Rejeita-se H0 se o valor de p calculado for menor do que 0,05.

Para comparação entre as médias das notas dos candidatos ao concurso para obtenção do título de especialista e avaliar se há diferenças entre elas segundo a classificação de seus programas de origem, utilizou-se o teste t de Student para amostras independentes. Adotamos o nível se significância de 5%.

Alegação: A média dos alunos de escolas com conceito A é diferente da média dos alunos de escolas com conceito B+.

Hipótese H0: A média do conceito A é igual à média do conceito B+.

Hipótese H1: A média do conceito A é diferente da média do conceito B+.

Nível de significância: 0,05.

Rejeita-se H0 se o valor de p calculado for menor do que 0,05.

Na comparação do desempenho no concurso para obtenção do título de especialista da ABORL-CCF, calculou-se o coeficiente de correlação entre a curva das médias das notas dos candidatos com a curva das médias das notas de suas instituições de origem.

Os demais dados foram analisados descritivamente.


RESULTADOS

Foram identificados 85 programas de residência ou especialização em Otorrinolaringologia no Brasil, dos quais 82 aceitaram participar do Protocolo de Avaliação e Classificação da ABORL-CCF e foram avaliados. Sessenta eram residências médicas em Otorrinolaringologia credenciadas pelo MEC, 25 eram programas de especialização credenciados pela ABORL-CCF e 19 eram programas de residência credenciadas por ambas as instituições. Três instituições de ensino (33, 40 e 43) não aceitaram participar da avaliação e eram credenciadas apenas pelo MEC.

Com a finalidade de evitar comparações equivocadas, as notas que determinaram a classificação de cada programa de ensino não deverão ser divulgadas por determinação da ABORL-CCF. As notas finais de cada programa de ensino foram agrupadas por níveis de classificação.

As médias das notas nos diversos níveis de classificação estão apresentadas no Quadro 12.

Para avaliar se há diferenças entre as instituições classificadas como A, B+, B, C+, C, D e E, comparou-se as médias das notas obtidas.

A análise estatística da comparação entre as médias dos programas, segundo a classificação, está apresentada na Tabela 2.

A diferença significante entre os testes afirma que o sistema de classificação discrimina qualitativamente os programas de residência ou especialização avaliados.

No Quadro 13 estão apresentados os programas de ensino classificados segundo os critérios estabelecidos.

A distribuição da classificação qualitativa geral dos programas de residência médica ou de especialização no Brasil está apresentada na Figura 1.

Figura 1. Distribuição numérica e percentual da classificação qualitativa geral dos programas de residência médica ou de especialização em Otorrinolaringologia no Brasil em 2004.

A distribuição da classificação qualitativa dos programas da região Sudeste do Brasil está apresentada na Figura 2.

Figura 2. Distribuição numérica e percentual da classificação qualitativa dos programas de residência médica ou de especialização em Otorrinolaringologia na região Sudeste do Brasil em 2004.

A classificação dos programas de ensino da região Sul do Brasil está apresentada na Figura 3.

Figura 3. Distribuição numérica e percentual da classificação qualitativa dos programas de residência médica ou de especialização em Otorrinolaringologia na região Sul do Brasil em 2004.

A classificação dos programas da região Nordeste do Brasil está apresentada na Figura 4.

Figura 4. Distribuição numérica e percentual da classificação qualitativa dos programas de residência médica ou de especialização em Otorrinolaringologia na região Nordeste do Brasil em 2004.

A distribuição da classificação qualitativa dos programas da região Centro-Oeste do Brasil está apresentada na Figura 5.

Figura 5. Distribuição numérica e percentual da classificação qualitativa dos programas de residência ou de especialização em Otorrinolaringologia na região Centro-Oeste do Brasil em 2004.

A classificação qualitativa dos programas da região Norte do Brasil está apresentada na Figura 6.

Figura 6. Distribuição numérica e percentual da classificação qualitativa dos programas de residência médica ou de especialização em Otorrinolaringologia na região Norte do Brasil em 2004.

A distribuição comparativa percentual por classificação qualitativa e região geográfica está apresentada na Figura 7.

Figura 7. Distribuição percentual comparativa por regiões do Brasil, dos programas de residência médica ou de especialização em Otorrinolaringologia, segundo a classificação qualitativa em 2004.

A distribuição numérica e porcentual dos programas por estado, segundo a classificação qualitativa da ABORL-CCF em 2004, está apresentada na Tabela 3.

A distribuição numérica e porcentual por estado da classificação qualitativa dos programas de ensino está apresentada na Tabela 4.

No Estado de São Paulo, estão concentrados 60% dos programas nível A do país. De modo geral, 70,5% dos seus 34 programas de ensino foram classificados como A, B+, B ou C+ em 2004.

No estado do Rio de Janeiro, dos 13 programas credenciados, 69,3% foram classificados como C ou D.

No estado de Minas Gerais, com 11 programas de ensino, 63,7% foram classificados como B+, B ou C+.

No Rio Grande do Sul, com quatro programas de residência, 100% foram classificados como A, B+ ou C+.

No Paraná, 60% das cinco instituições foram classificados com A ou B.

Na Bahia, há cinco programas de ensino e 60% foram classificados como nível D.

As distribuições qualitativas, numérica e porcentual dos programas de residência ou especialização nos estados com menos de três instituições credenciadas podem ser observadas nas Tabelas 3 e 4.

A proporção entre os programas de ensino exclusivamente credenciados pelo MEC ou pela ABORL-CCF em 2004, segundo o nível de classificação, está apresentada na Figura 8.

Figura 8. Distribuição numérica dos programas de residência médica ou de especialização em Otorrinolaringologia segundo seus credenciamentos no MEC ou ABORL-CCF e a classificação qualitativa em 2004.

A distribuição comparativa dos programas previamente classificados como E, D, C e C+ em 2004, três anos após a implantação do Protocolo de Avaliação, está apresentada na Figura 9.

Figura 9. Distribuição comparativa da classificação dos programas de residência médica ou de especialização em Otorrinolaringologia em 2007, após as reclassificações dos programas previamente avaliados como E, D, C e C+ em 2004.

Na Figura 10, observa-se a distribuição proporcional dos candidatos classificados entre os primeiros 50% e os últimos 50%, aprovados no concurso para obtenção do título de especialista da ABORL-CCF, segundo a classificação qualitativa da instituição de origem, em 2006.

Figura 10. Distribuição proporcional comparativa entre os candidatos classificados entre os primeiros 50% e os últimos 50% aprovados no concurso para obtenção do título de especialista da ABORL-CCF, segundo a classificação qualitativa da instituição de origem. N/A: programas não avaliados.

A Figura 11 apresenta a média das notas obtidas pelos candidatos aprovados no concurso da ABORL-CCF para obtenção do título de especialista em Otorrinolaringologia em 2007, segundo a classificação qualitativa dos seus programas de origem.

Figura 11. Média das notas obtidas no concurso para título de especialista da ABORL-CCF segundo a classificação qualitativa da instituição de origem do candidato, em 2006.

A comparação entre as médias dos candidatos, de acordo com a instituição de origem, foi analisada estatisticamente e seus resultados estão expressos na Tabela 5.

A média das notas dos egressos das instituições classificadas como A é diferente das médias dos egressos das instituições C e D. Também a média das notas dos candidatos originários das instituições B é diferente da média daqueles das instituições C.

Não houve diferença com significância estatística entre as médias dos candidatos aprovados no concurso para obtenção do título de especialista da ABORL-CCF em 2007, quando comparadas quanto à classificação da instituição de origem, nas demais comparações.

A Figura 12 ilustra o comportamento da curva das médias das notas dos candidatos aprovados no concurso para obtenção do título de especialista pela ABORL-CCF em 2006 e da curva das médias das notas atribuídas aos seus programas de origem. As médias das instituições foram divididas por dez para facilitar a comparação gráfica com as médias dos alunos.

Figura 12. Curva das médias das notas dos candidatos aprovados no concurso para obtenção do título de especialista pela ABORL-CCF em 2006 e curva das médias das notas atribuídas aos seus programas de origem.

Graficamente, observa-se que as duas curvas têm a mesma tendência. Na medida em que a classificação das instituições diminui, a média das notas de seus egressos também diminui.

Calculou-se o teste de correlação entre as médias das notas das instituições e as médias das notas de seus egressos no concurso para obtenção do título de especialista da ABORL-CCF em 2007 e obteve-se p = 0,92, que indica fortemente que as curvas têm a mesma tendência.

A Figura 13 apresenta o número de candidatos reprovados e o percentual de reprovação no concurso para outorga do título de especialista pela ABORL-CCF em 2006, distribuídos segundo a classificação qualitativa da instituição de origem.

Figura 13. Distribuição numérica e percentual dos candidatos reprovados no concurso para obtenção do título de especialista da ABORL-CCF em 2006, segundo a classificação da instituição de origem do candidato. N/A = programas não avaliados.

Graficamente, observa-se que o percentual de reprovação é mínimo nas instituições A e máximo naquelas que recusaram participar do Protocolo de Avaliação e Classificação da ABORL-CCF.

A evolução qualitativa dos programas previamente classificados como E, D, C e C+ em 2004, e após suas reclassificações posteriores, está apresentada do Quadro 14.

Três instituições previamente classificadas com conceito C e uma classificada como C+ em 2004, não aceitaram a reavaliação. Outras três instituições, que haviam recusado participação no programa em 2004, permaneceram ausentes no protocolo de avaliação.


DISCUSSÃO

Todo processo de avaliação é passível de erros, deve ser mutável e continuamente aperfeiçoado. Mesmo imperfeito, é melhor que nenhuma avaliação.

Não há relatos publicados sobre processos de avaliação metódica e de classificação de programas de residência médica ou de especialização, anteriores ao Protocolo de Avaliação e Classificação dos Programas de Residência ou Especialização desenvolvido pela ABORL-CCF.

Este processo avaliou a estrutura de ensino e a proposta pedagógica em seus diversos aspectos. Não objetivou avaliar a qualidade do serviço onde se insere e, sim, o programa da residência médica que ali se desenvolve. Igualmente, esta avaliação não se refere à qualidade dos preceptores, suas reputações ou atividades médicas.

Na Otorrinolaringologia, a ausência de critérios de avaliação, previamente, tornava as opiniões e impressões anteriores meras especulações. Eram conceitos estabelecidos, sem bases definidas, influenciados pelo imaginário coletivo formado a partir da projeção dos serviços que ofereciam o programa de residência ou especialização.

Sumariamente, eram apenas preconceitos, favoráveis ou desfavoráveis.

A habituação ao modus operandi adotado espontaneamente, somada à falta de indicadores de qualidade, eram limites à evolução dos programas de ensino na residência médica. O desempenho dos candidatos no concurso para obtenção do título de especialista ABORL-CCF não era considerado indicador de qualidade dos programas de residência, apesar das evidências. O sucesso ou insucesso do candidato nesses exames era intuitivamente interpretado como atestado dos seus méritos próprios. Suas instituições de origem passavam despercebidas como responsáveis diretos por aquele desempenho.

Um dos méritos do Protocolo de Avaliação e Classificação dos Programas de Residência ou Especialização em Otorrinolaringologia foi oferecer informações que possam corrigir este desequilíbrio. Escudados na boa reputação de seus preceptores, surgiram programas de ensino que priorizavam a mera prestação de serviços, desacompanhada de uma proposta pedagógica e de foco na formação profissional. Esta realidade ocultava, algumas vezes, deformações induzidas pela solicitação indiscriminada e mercantil de exames médicos complementares, desnecessários, porém geradores de lucro. Em circunstâncias específicas, os alunos eram treinados em práticas eficazes de extrair vantagens indevidas do Sistema Único de Saúde (SUS). Por decreto e definição, residência médica é uma modalidade de ensino de pós-graduação senso lato caracterizada por treinamento em serviço em regime de dedicação exclusiva, funcionando em instituições universitárias ou não, sob a orientação de profissionais médicos de elevada qualificação ética e profissional.

A inexistência de informações, a extenuante carga horária de trabalho a ser cumprida e o isolamento acadêmico de alguns programas de formação eram fatores que dificultavam sua autoavaliação. Essas condições limitavam a observação crítica dos médicos residentes e preceptores sobre a adequação e suficiência dos seus programas de treinamento. Uma realidade adversa muitas vezes só era percebida diante da reprovação recorrente dos egressos no concurso para obtenção do título de especialista, naqueles casos mais extremos.

É vedado o uso da expressão "Residência médica" para designar qualquer programa de treinamento médico que não tenha sido aprovado pela Comissão Nacional de Residência Médica (CNRM). Estes são denominados "Cursos de Especialização" e são credenciados pelas Sociedades de Especialidade.

Somente os alunos dos cursos de especialização estão obrigados ao concurso para obtenção do título de especialista, conferido pelas Sociedades de Especialização. Os egressos dos programas de residência recebem automaticamente o título de especialista conferido pelo MEC ao término de sua formação, sem a necessidade de exame final.

Historicamente, a ABORL-CCF, a exemplo de outras Sociedades de Especialidade, fortaleceu a reputação do seu concurso como forma de reconhecimento da qualidade profissional e da boa formação acadêmica. Há vários anos, os médicos residentes também submetem-se ao concurso para obtenção do título de especialista pela ABORL-CCF. Esta prática permitiu interpretar os índices de aprovação e reprovação dos programas de residência como potenciais indicadores da qualidade do programa de ensino de origem dos candidatos.

Os programas de pós-graduação senso estrito são periodicamente avaliados pela CAPES com rigor e método, e podem ascender na classificação que os qualifica ou serem penalizados com extinção. Conquanto órgão regulador de ensino, e apesar da importância e complexidade da formação dos profissionais especializados, a CNRM não dispõe de um sistema de avaliação sensível e eficaz, que promova melhoria qualitativa dos programas ou indique penalização por desempenho insuficiente. A própria concessão do título de especialista ocorre automaticamente aos egressos dos programas credenciados pelo MEC, sem nenhum critério que avalie suficiência ao final da formação. A CNRM certamente descredenciará um programa de residência que não forneça regularmente a bolsa de estudos obrigatória ou não respeite jornadas de trabalho, férias e outras formalidades, mas dificilmente identificará e punirá um programa que não desenvolva proposta pedagógica adequada. Faltam-lhe estrutura, método universal às especialidades médicas e profissionais treinados em quantidade suficiente para este fim.

Consideramos que a CNRM exerce papel regulador fundamental na garantia e manutenção das condições institucionais mínimas que assegurem o desenvolvimento legal dos programas de residência e condições adequadas de trabalho aos médicos residentes. O conteúdo científico e técnico da formação, no entanto, não são contemplados em profundidade pelas diretrizes genéricas emanadas da CNRM. Esta dificuldade surge da multiplicidade de especialidades médicas existentes e da falta de estrutura compatível na CNRM.

Em julho de 2005, a CNRM publicou a resolução nº 2, que dispõe sobre sua estrutura, organização e funcionamento. Normatizou o convite aos representantes das Sociedades Médicas para integrarem sua Assessoria Técnica. Esta participação é um canal aberto à contribuição progressiva das Sociedades de Especialidade. Ainda nesta portaria, estabeleceu requisitos mínimos para a instituição e para o programa de residência. Esses requisitos são orientações genéricas essenciais ao funcionamento do programa, mas que não contemplam todas as particularidades de cada especialidade médica.

Mediante a resolução CNRM 01, de janeiro de 2006, a CNRM dispõe sobre a estrutura, organização e funcionamento das Comissões Estaduais de Residência Médica (CEREM), criadas em 1987. Ratifica que as CEREM são órgãos subordinados à CNRM, com poder de decisão em relação aos assuntos de residência médica no estado. Às CEREM compete orientar e analisar os processos de credenciamento, recredenciamento, solicitação de anos opcionais, de aumento do número de vagas, sugerir medidas que aprimorem o desempenho dos programas, acompanhar o processo seletivo, gerenciar transferências, realizar vistoria in loco para cumprir os propósitos mencionados. Além disso, supervisionar o cumprimento dos critérios mínimos estabelecidos pela CNRM, elaborar relatórios, propor sansões, julgar as penalidades aplicadas pela comissão de residência médica local (COREME) das instituições que mantêm programas de residência médica, julgar recursos decorrentes do processo seletivo e outras funções.

Quando consideramos o número de especialidades existentes, com características próprias e distintas, e a multiplicidade dos programas de residência, torna-se evidente a impossibilidade de esses órgãos avaliarem o conteúdo de formação e os aspectos práticos das atividades cotidianas dos residentes.

Em dezembro de 2004, a Comissão Nacional de Residência Médica (CNRM), o Departamento de Residência Médica e Projetos Especiais na Saúde da Secretaria de Educação Superior (SESu/MEC) e entidades ligadas à residência médica organizaram o 1º Fórum Nacional de Residência Médica. Entre outros temas, havia a intenção de rediscutir o estado da residência médica no Brasil e critérios de avaliação dos programas de residência. Presenciamos, na ocasião, uma avaliação generalista que apenas confirmava a necessidade do estabelecimento de critérios e sua inexistência, assim como a incapacidade do MEC em executar avaliações pertinentes sem a participação das sociedades de especialidade. Entre as dificuldades apontadas, destacou-se a profunda diferença evolutiva entre as sociedades quanto à capacidade de homogeneizar critérios, desenvolver e aplicar métodos de avaliação. Esta desigualdade impedia a adoção generalizada da participação oficial das sociedades numa ação conjunta com a CNRM.

Em setembro de 2006, a CNRM emitiu a resolução CNRM nº 06, que dispõe sobre a avaliação dos Programas de Residência Médica.

Ratificou que residência médica é modalidade de ensino pós-graduado criada e regulamentada por lei federal, cujo objetivo é treinar médicos em serviço sob supervisão apropriada. Visa a atender às necessidades do país no que se refere à formação de profissionais qualificados dentro da área médica. Essa modalidade de ensino deve ser avaliada regularmente mediante instrumentos apropriados visando a adequar e aprimorar o conteúdo educacional e assistencial dos programas. Com essa finalidade, deve usar qualificadores que permitam o máximo de fidedignidade e o mínimo de injunções externas à própria avaliação.

Determina que os programas de residência médica sejam avaliados, no máximo, a cada cinco anos, com vistas à renovação dos seus credenciamentos. As avaliações quinquenais contemplarão a análise das dimensões da infraestrutura, o projeto pedagógico, o corpo docente, o corpo discente e a contribuição ao desenvolvimento do sistema local de saúde.

As avaliações devem ser realizadas in loco, por comissão visitadora, mediante instrumentos de avaliação aprovados pela CNRM.

À CEREM cabe a designação da comissão de avaliação do programa de residência médica. Esta deve ser constituída, preferencialmente, de, no mínimo, um membro da CEREM, de um membro indicado pela Sociedade de Especialidade correspondente ao programa que, por sua vez, deve ser filiada à Associação Médica Brasileira (AMB), de um representante do gestor público local de saúde, indicado pela Secretaria Estadual de Saúde, e de um médico residente indicado pela Associação Nacional de Médicos Residentes (ANMR).

Na ponderação dos pontos atribuídos aos aspectos avaliados, o conteúdo do programa e infraestrutura corresponderão a 40%, o corpo docente a 30% e o corpo discente a 30%.

Os programas com índice de desempenho maior que 50% serão recredenciados por cinco anos. Aqueles com desempenho variável entre 25% e 50% terão seu programa submetido à diligência e deverão ser reavaliados em até dois anos. Se o índice de desempenho for menor que 25%, o programa será descredenciado.

Assim como a CNRM, as CEREM carecem de estrutura suficiente, de método universal às especialidades médicas e de profissionais treinados em número suficiente para esse fim.

Este processo de avaliação é pautado no cumprimento de requisitos mínimos estabelecidos pela CNRM. Sendo mínimos, não deveriam ser cumpridos aquém da sua totalidade. Há evidente nivelamento pelo mínimo, que não distingue entre excelência e eficiência mínima. Por não identificar pontualmente as deficiências dos programas mais fracos, não oferece subsídios consistentes que possam nortear o aprimoramento do programa de ensino.

Esta iniciativa louvável, ainda que tardia, atesta, quando muito, a suficiência mínima dos programas de ensino, mas não os classifica por qualidade como o faz a CAPES nos cursos de pós-graduação senso estrito.

A ABORL-CCF antecipou-se a essa resolução e desenvolveu seu Protocolo de Avaliação e Classificação dos Programas de Residência Médica ou Especialização (PACRE). O desenvolvimento desse programa contemplou uma sequência de procedimentos técnicos e administrativos, todos importantes para a sua implantação e efetivação.

Inicialmente, foi desenvolvido um protocolo como instrumento de avaliação, complementar aos "Requisitos Mínimos" da ABORL-CCF para o credenciamento dos cursos de especialização. Durante a elaboração do protocolo de avaliação, identificamos a necessidade de redefinir os requisitos mínimos para o credenciamento de programas. A maioria dos serviços existentes não poderia atender àquelas condições que, portanto, não poderiam ser consideradas mínimas.

O protocolo de avaliação foi desenvolvido durante três meses, em reuniões semanais da Comissão de Ensino, Treinamento e Residência da ABORL-CCF, após discussões e avaliações rigorosamente criteriosas. Contemplou diversos aspectos que influenciam a qualidade dos programas de formação nas três grandes dimensões da sua abrangência: ensino, assistência e pesquisa.

No aspecto "Caracterização Geral do Programa", avaliou-se também o ambiente acadêmico.

As oportunidades de aprendizagem são diferentes num hospital universitário, com níveis de complexidade terciária ou quaternária, onde coexistem outros programas de residência em especialidades diferentes que favoreçam o intercâmbio de conhecimentos, a vigilância das comissões de ética e a busca contínua por qualificação, pressuposto das instituições acadêmicas. Mesmo fora das instituições universitárias, que têm no ensino e pesquisa sua principal razão de existir, hospitais gerais podem desenvolver programas eficientes de ensino, ao disponibilizar equipamentos adequados e tecnologia, excelência das suas estruturas e protocolos padronizados que compensam a inexistência da organização acadêmica. No entanto, estas não parecem ser as condições de ensino oferecidas à maioria dos médicos residentes ou especializandos em Otorrinolaringologia no Brasil. Muitos programas de especialização são desenvolvidos em hospitais menores e em clínicas privadas, voltadas essencialmente à prestação de serviços, sem a existência de um ambiente propício ao aprendizado, exceto aquele gerado pela vocação e dedicação de seus preceptores.

É fato que as universidades brasileiras, públicas e privadas, não suprem a demanda de vagas na residência médica em Otorrinolaringologia. Os cursos de especialização desenvolvidos em hospitais isolados e clínicas privadas são numericamente significantes na formação do Otorrinolaringologista brasileiro. A existência de orientação externa precisa, voltada aos aspectos conceituais e práticos da formação profissional, tão necessária mesmo dentro do ambiente universitário, torna-se imprescindível fora dele, onde as questões ligadas à educação não são prioritárias. Instalações físicas adequadas, equipamentos para diagnóstico, tratamento e reabilitação, são essenciais à boa assistência médica e são importantes no treinamento profissional. Bibliotecas, acesso à Internet e às publicações científicas da especialidade são fundamentais num programa de formação profissional.

Infraestrutura primorosa, contudo, não é garantia de formação eficiente. Há situações nas quais equipamentos e tecnologia são meros estímulos à solicitação de exames complementares desnecessários, cuja finalidade principal é a geração de lucros, o que configura um desvio ético no exercício da formação de profissionais.

A maior dificuldade encontrada no desenvolvimento do protocolo foi a avaliação do corpo docente. O número de professores, sua titulação e o tempo de dedicação contratual à instituição são indicadores insuficientes por não avaliarem a complexa relação estabelecida entre aluno e professor, que, muitas vezes, transcende à troca formal de conhecimentos específicos. A aferição possível dos indicadores convencionais de quantidade e titulação, combinados numa fórmula de proporcionalidade, foi a solução adotada.

No item "Atividades de Formação" avaliou-se o conteúdo programático, com os aspectos teóricos da formação e o desenvolvimento das atividades ambulatoriais e cirúrgicas. A existência regular de aulas teóricas, reuniões clínicas e discussão da literatura científica são elementos de difíceis avaliações qualitativa e quantitativa, exceto mediante opinião relativa dos médicos residentes.

Na avaliação das atividades assistenciais em ambulatórios, buscou-se diferenciar volume mínimo de pacientes que assegurasse aprendizagem das condições indesejáveis em que o residente é exposto a atendimento intensivo, em detrimento do tempo disponível para desenvolvimento dos demais aspectos da sua formação. O protocolo diferenciou, também, o modo de participação nas atividades cirúrgicas, quer como cirurgião principal, quer como mero observador de procedimentos executados por outros, além das oportunidades de treinamento cirúrgico experimental em laboratório.

Participação em pesquisa científica não é condição essencial ao aprendizado da especialidade. Desenvolve, no entanto, capacidade de observação, atitude crítica e disciplina. Ensina que a aprendizagem não se esgota nos anos da residência ou de especialização; é processo contínuo e interminável na boa prática da Medicina. O protocolo avaliou positivamente as instituições que oferecem aos alunos oportunidades de participação, desenvolvimento e divulgação de pesquisas científicas, além da participação nos principais congressos da especialidade.

A geração de conhecimentos científicos enriquece o ambiente acadêmico e estimula a adoção de procedimentos de qualidade e padronização. Estes aspectos foram avaliados no item "Atividades de Pesquisa e Produção Científica da Instituição" e favorecem os programas que os desenvolvem. Embora considerado por sua relevância, este item teve peso menor na ponderação das notas quando comparado aos demais aspectos da formação do especialista.

O corpo discente foi ouvido reservadamente, em entrevistas diretas apenas com os avaliadores, e todos os aspectos do protocolo de avaliação foram livremente abordados na maioria das vezes. Ao final da entrevista, preencheram anonimamente a "Avaliação do Protocolo de Ensino pelo Corpo Discente". A interação com os estudantes forneceu subsídios fundamentais aos avaliadores para comprovar a confiabilidade das informações apresentadas. Este procedimento estabeleceu relação mais direta entre o corpo discente e a Comissão de Ensino, Treinamento e Residência da ABORL-CCF, materializada na troca frequente de correspondência eletrônica e informações.

As análises detalhada e individual dos indicadores considerados no protocolo de avaliação e classificação, importantes para a identificação das deficiências dos programas de ensino, estão além dos objetivos deste trabalho.

O protocolo não é exato na avaliação qualitativa do ensino oferecido nos programas de formação. Aspectos éticos, importantes na formação do médico, são difíceis de ser julgados ou documentados num protocolo objetivo. A entrevista com os residentes visitados por vezes revelou constrangimento, inibição e até a sonegação deliberada de informações desfavoráveis ao programa visitado. Noutras, revelou grande liberdade para exercer críticas, indicadoras de um senso de exigência estimulado e desenvolvido, característica de liberdade institucional, principalmente nos serviços universitários mais conceituados. As entrevistas com os residentes ou estagiários foi fundamental para a percepção da realidade que os cercam e, algumas vezes, determinantes na percepção de situações montadas para causar boa impressão, mascarando a falta de equipamentos, de programação teórica, de preceptores disponíveis e até de pacientes em número suficiente para atender os requisitos mínimos determinados pela ABORL-CCF.

A percepção da inexistência de um ambiente adequado de ensino e aprendizagem às vezes escapa aos limites de um protocolo, porém, é prontamente notada pelos avaliadores treinados para este fim.

A entrada nesse universo particular e complexo demandou extremo cuidado na escolha dos avaliadores que visitaram in loco os serviços e seus programas de residência ou especialização.

Os avaliadores foram selecionados por indicação dos chefes dos serviços universitários mais reconhecidos ou convidados diretamente pela CETR. Buscou-se um perfil predeterminado: otorrinolaringologistas participantes de programas de pós-graduação ou já pós-graduados, que fossem familiarizados com programas de residência médica, que tivessem capacidade de trabalho reconhecida, com perfil de discrição e de objetividade, não super-expostos em congressos e em atividades associativas e com disponibilidade para deslocamentos em viagens pelo país. Com essas características, procurou-se evitar as relações de amizade ou proximidade entre avaliadores e coordenadores dos programas avaliados ou chefes de serviços. Atribuiu-se grande importância a esses aspectos para assegurar o distanciamento pessoal desejado, a confiabilidade do processo e o afastamento de possíveis críticas de favorecimentos ou rejeições. Foi surpreendente constatar o grande envolvimento dos participantes, a seriedade empenhada e o desejo de contribuir, reveladores de cidadania.

A diferença quanto ao rigor das equipes de avaliadores era fato esperado. Buscou-se compor as duplas com perfis complementares. Todas as avaliações foram posteriormente discutidas entre todos os avaliadores convocados para uma reunião geral, específica para este fim, com o intuito de alcançar equalização máxima possível dos critérios.

A apresentação e a aprovação no Mini-Fórum da especialidade foi uma estratégia que, além do exercício democrático e de regularidade institucional, angariou a aprovação dos principais preceptores dos programas de residência e estágio, presentes ou representados naquele fórum. Naquele ambiente favorável à adoção de ideias e ações reguladoras, foi possível apresentar com detalhamento todas as ações e intenções do programa.

A apresentação posterior no Fórum de Defesa Profissional selou o compromisso previamente sacramentado e aprovado no mini-fórum da especialidade. Permitiu, novamente, a apresentação detalhada do programa a um número maior de líderes e formadores de opinião.

Quando os resultados do Protocolo de Avaliação foram apresentados na Assembleia Geral da ABORL-CCF, chegou sem opositores ou críticos. Foi amplamente acatado e referendado como um programa de importância estratégica para o futuro da especialidade.

Neste protocolo, os diferentes aspectos que influenciam a qualidade do programa de residência ou estágio são avaliados isoladamente, o que permite a identificação das fragilidades do sistema e a dos seus pontos fortes. O diagnóstico dos problemas é etapa fundamental no saneamento das deficiências. Os programas que obtiveram as melhores classificações, ainda assim, exibiram deficiências passíveis de correção e aperfeiçoamento. Vários programas classificados menos favoravelmente, no outro extremo da escala, foram classificados como insuficientes a despeito da impressão de boa qualidade que os caracterizavam previamente devido à influência da boa reputação de seus preceptores. Estes programas receberam informações pontuais sobre suas deficiências e orientação quanto às ações corretivas necessárias.

A grande aceitação e a quase ausência de críticas ao programa refletiram a compreensão de que a inexistência de critérios prévios não permitia conceito fundamentado e que avaliação e classificação por qualidade são instrumentos úteis àqueles que estão empenhados em sanar deficiências.

Este método de avaliação é conceitualmente multifatorial. Os programas de ensino não deverão ser comparados por itens isolados. Um serviço que tenha exame de polissonografia, por exemplo, pode ser classificado em desvantagem quando comparado a outro que não ofereça esta facilidade. Isto ocorre porque a análise conjunta de todas as características avaliadas é que deve ser considerada.

A avaliação de um programa de ensino frequentemente é interpretada como avaliação da própria instituição onde ele desenvolve. Da mesma forma, pode ser percebida como avaliação profissional do corpo docente ou do preceptor do programa. São, no entanto, conceitos distintos. A instituição em si, bem como seus profissionais, podem não guardar relação de qualidade com o ensino ali desenvolvido. Instituições conceituadas, assim como preceptores de renome e prestígio entre seus pares, podem abrigar programas de ensino deficientes. De modo inverso, instituições menos evidentes podem desenvolver programas de residência ou especialização profundamente envolvidos com a formação científica, técnica, ética e moral dos seus alunos.

Escolas médicas e hospitais universitários têm no ensino sua principal razão de existir. Nelas existem comissões de ensino, de residência, de ética médica, de pesquisa e outras que mantêm fóruns de discussão, crítica, avaliação e proposição permanentemente abertos. Ambiente diverso deste é encontrado nas clínicas privadas e nos hospitais gerais, que têm na assistência médica seu principal foco de ação.

As faculdades de Medicina não disponibilizam vagas suficientes para suprir a demanda gerada pelo grande número de médicos formados anualmente e que buscam especialização por meio dos programas de residência. Consequentemente, as clínicas privadas desempenham papel importante na formação dos otorrinolaringologistas no Brasil.

No Brasil, há 53 programas de residência ou especialização em Otorrinolaringologia sendo desenvolvidos em clínicas privadas e hospitais gerais. Apenas 32 estão associados a faculdades de Medicina e universidades. Torna-se evidente a necessidade de instrumentos que avaliem sua qualidade do ensino e que forneçam subsídios para o seu aperfeiçoamento.

Esta necessidade muitas vezes é ignorada por algumas, cujo objetivo é prioritariamente assistencial. Contribui para este fato a definição própria de residência médica: treinamento em serviço.

O treinamento em serviço deve, necessariamente, ser complementado com formação teórica, ensino de bons princípios assistenciais, utilização ética da tecnologia disponibilizada para exames complementares ao diagnóstico clínico, e desenvolvimento de atitudes críticas diante da avalanche de conhecimentos científico e pseudocientífico produzidos continuamente.

As escolas de Medicina e universidades estão habituadas a processos de avaliação de ensino, mesmo que deficientes. Clínicas privadas e hospitais gerais habitualmente não passam por esse crivo e, intuitivamente, transferem seu prestígio aos seus programas de ensino, sem o respaldo de indicadores de qualidade adequados.

Quando se idealizou o PACRE, pensou-se logo na rejeição que despertaria. De modo semelhante, as instituições que aceitassem participar dele poderiam posteriormente desacreditá-lo, ante uma avaliação desfavorável. Basta imaginar que profissionais respeitados, de clínicas bem conceituadas no meio acadêmico e pela população, com programas de ensino concorridos, revelassem qualidade insuficiente e comparação desvantajosa. Seria reação em cadeia, previsível e certeira.

Como parte essencial do método de desenvolvimento e implantação do PACRE, estabeleceu-se uma estratégia de aprovações progressivas e sucessivas que congregasse a aceitação das principais lideranças políticas e científicas da comunidade otorrinolaringológica brasileira. A exposição e a divulgação da metodologia de avaliação e classificação, calcadas em regras claras e preestabelecidas, pavimentou um caminho sem volta. Sem o cumprimento desta etapa, as demais não seriam viabilizadas.

Houve ampla aceitação do PACRE, com 96,5% de participação das entidades brasileiras de ensino da Otorrinolaringologia.

O cumprimento preciso das regras preestabelecidas deu credibilidade ao programa e tornou-o referência para o aperfeiçoamento dos programas de residência ou especialização em Otorrinolaringologia.

Avaliação de ensino é tema complexo, campo de vasta reflexão por teóricos e educadores. Emergem daí duas realidades: a inexistência de um método único, universal, exato e infalível e a necessidade de avaliação como instrumento de aperfeiçoamento pessoal e institucional.

O ensino médico abrange aspectos muito complexos ao incluir conteúdo ético, moral, filosófico, científico, gerenciais e de gestão de recursos.

A Comissão Nacional de Residência Médica foi criada há exatos 30 anos, pelo decreto nº 80.281, de 5 de setembro de 1977, durante a gestão do presidente Ernesto Geisel. Desde o início, teve a atribuição de avaliar periodicamente os programas, tendo em vista o desempenho dos mesmos em relação às necessidades de treinamento e assistência à saúde nos âmbitos nacional ou regional. Além do reconhecimento da necessidade de avaliação, determinava que a instituição de saúde credenciada a oferecer programa de residência médica e que não fosse vinculada ao sistema de ensino organizado fosse conveniada a Escola Médica ou Universidade, visando mútua colaboração no desenvolvimento de programas de treinamento médico. Ainda que corretamente direcionadas, as menções ao conteúdo programático eram vagas: "programas de residência médica compreenderão, num mínimo de 10% e num máximo de 20% de sua carga horária, atividades teórico-práticas, sob a forma de sessões atualizadas, seminários, correlações clínico-patológicas ou outras, de acordo com os programas pré-estabelecidos".

Naquele mesmo ano, a CNRM normatizou os requisitos mínimos dos programas de residência médica em 55 especialidades e áreas de atuação. Estabeleceu que, em Otorrinolaringologia, 15% da carga horária anual fosse destinada à unidade de internação; o mínimo de 25% em ambulatório; o mínimo de 20% em urgência e emergência e o mínimo de 20% no centro cirúrgico. Estabeleceu estágios obrigatórios em bucofaringologia, estomatologia, laringologia, otologia, otoneurologia, rinossinusologia, tumores da face, pescoço e base do crânio, cirurgias do trauma e estética faciais, urgências e emergências em Otorrinolaringologia. Definiu instalações e equipamentos: audiômetro, impedanciômetro, recursos para audiometria condicionada, eletronistagmografia, potencial evocado auditivo, telescópio nasal de 30 graus, telescópio laríngeo de 70 graus e nasofaringolaringoscópio flexível.

São determinações genéricas que não asseguram qualidade de formação e não podem ser consideradas como requisitos mínimos em um programa de qualidade.

A Federação Brasileira das Associações de Ginecologia e Obstetrícia (FEBRASGO) introduziu em 2006 um sistema de avaliação dos programas de residência médica em obstetrícia e ginecologia análogo ao que a SBORL implantou em 2004. O processo de avaliação desenvolvido conceitua diversos aspectos físicos, pedagógicos, assistenciais e de recursos humanos em excelente (E), bom (B), regular (C) ou insuficiente (I). Estabelece uma periodicidade de reavaliações, variável com a qualificação do programa de ensino e propõe, como a ABORL-CCF, uma estratégia de aperfeiçoamento e adequação do programa.

Em abril de 2007, a CNRM constituiu a Comissão Especial para elaborar e propor metodologia e critérios para normatizar e atualizar o conteúdo programático dos programas de residência médica, além de normatizar as visitas de acompanhamento dos mesmos. Esta comissão deverá apresentar relatório conclusivo em seis meses.

No PACRE desenvolvido pela ABORL-CCF, os intervalos de notas correspondentes aos conceitos A, B+, B, C+, C, D e E são desiguais e foram assim determinados com a finalidade de estabelecer diferenças entre as categorias, a partir dos extremos. A existência de sete categorias, algumas com diferenças mais sutis, seria um estímulo ao aprimoramento e à evolução dos programas de ensino. O agrupamento em intervalos regulares e maiores, com maior distância entre as categorias, poderia induzir ao acomodamento.

Houve diferença estatisticamente significante entre todas as categorias, revelando a propriedade do método adotado em discriminar diferenças entre os programas de ensino avaliados, mesmo quando em categorias próximas.

O Estado de São Paulo concentra 42% dos programas de ensino, seguido pelos Estados do Rio de Janeiro e Minas Gerais, na proporção direta com o tamanho das suas populações e concentração de otorrinolaringologistas.

Os melhores programas de residência são desenvolvidos nas universidades paulistas. Todas as regiões geográficas do Brasil têm ao menos um programa no nível A+, exceto a região Norte (Figura 1, Tabelas 3 e 4). A distribuição qualitativa geral revela predomínio de programas nas posições intermediárias da escala de qualidade. A maioria (60%) oferece condições de ensino boas ou satisfatórias (categorias A, B+, B e C+). Há, no entanto, 17% dos programas em condições apenas regulares e 23% em condições críticas, insuficientes para a boa formação de otorrinolaringologistas. Estão distribuídos em todo o país, exceto na região Centro-Oeste (Figuras 2-7).

Na ausência de avaliadores externos e de critérios de autoavaliação, essas instituições não são identificadas como insuficientes e atraem jovens recém-formados que buscam a especialização. Os candidatos desconhecem as condições do ensino ali ministrado, prevalecendo o renome da instituição que oferece o programa e do seu preceptor, o que não assegura boas condições de aprendizagem.

Há fatores, além do propósito deste estudo, que demandam reflexão. Enquanto o Estado de São Paulo concentra 71% dos serviços bem qualificados (A, B+, B e C+) e apenas 12% dos insuficientes, o Rio de Janeiro tem 31% bem qualificados (B ou C+), 31% insuficientes, 39% em condições limítrofes de suficiência e nenhum programa nível A ou B+ (Tabela 3).

Apesar das condições sociais e urbanas que marcam a cidade do Rio de Janeiro, reconhecemos condições favoráveis ao desenvolvimento de bons programas de ensino. Torna-se necessário avaliar se médicos residentes e especializandos não estejam sendo utilizados como prestadores de serviço em troca de formação profissional insuficiente em alguns programas de ensino.

Os programas inicialmente classificados como D e E foram reavaliados em um ano e seis meses, respectivamente, como previsto no cronograma inicial.

Dos dois programas classificados como E, um foi promovido a D, tendo sido reavaliado após um ano. Como permaneceu no nível D, impedido de abrir novo concurso, tendendo à extinção após concluir a formação dos seus alunos atuais em 31 de janeiro de 2008. O outro programa de residência é credenciado pelo MEC e não é obrigado a acatar as sanções determinadas pela ABORL-CCF. Atende aos requisitos mínimos da CNRM e mantém suas atividades normais. Este programa é desenvolvido em Faculdade de Medicina e não em clínica privada. Portanto, sujeito às atividades reguladoras do MEC e CNRM.

Dos 17 programas avaliados inicialmente como D, 77% foram promovidos a C, sendo um deles promovido a C+. Dois deles solicitaram reavaliação antecipada, em um ano, tendo sido promovidos a C+ e B (Quadro 14).

Dos 31 programas de ensino inicialmente avaliados como C ou C+, quatro não participaram do processo de reavaliação dois anos após, como programado. Todos são credenciados pelo MEC e, portanto, desobrigados de participação.

Paradoxalmente, MEC e CNRM, órgãos reguladores responsáveis pela manutenção da qualidade na formação de especialistas no Brasil, às vezes são utilizados como álibi à recusa de algumas instituições em modificar seus programas de ensino, detectados como insuficientes.

Entre 30 participantes da reavaliação, 11 (37%) foram promovidos na escala de classificação, quatro (13%) foram rebaixados e 15 (50%) permaneceram inalterados, como C ou C+ (Quadro 14).

A possibilidade de detecção dos aspectos deficientes e dos favoráveis facultada pelo protocolo de avaliação dos programas de residência estimulou a busca de melhorias e direcionamento com bases objetivas. A periodicidade das avaliações fez com que alguns serviços buscassem o saneamento das suas deficiências de programas de ensino, de estrutura física e de outros itens, como estratégia para manter a boa classificação obtida ou assegurar sua progressão na classificação geral.

O protocolo de avaliação transformou-se num guia de orientação para a busca de excelência.

A avaliação do desempenho dos egressos no concurso para obtenção do título de especialista pela ABORL-CCF revelou que a ordem da classificação dos aprovados é diretamente proporcional à ordem da classificação das suas instituições de origem. Dos 146 candidatos em 2006, a concentração dos 73 egressos mais bem classificados é maior nos programas de ensino mais bem qualificados e diminui progressivamente nos programas menos qualificados. Na relação inversa, os últimos 73 aprovados provêm dos programas menos qualificados (Figura 10).

A comparação das médias dos candidatos aprovados no concurso da ABORL-CCF para obtenção do título de especialista revelou diferença significante apenas nos extremos. O tamanho pequeno da amostra de candidatos aprovados advindos dos programas D dificulta a comparação matemática adequada. Do mesmo modo, a escala da variação de notas torna-se pequena devido à inclusão das notas da avaliação curricular e da prova prática na composição da nota média.

A Figura 11 mostra que a média das notas dos candidatos egressos dos programas com nível A é maior que as dos egressos de outros níveis. Essas médias decrescem de modo semelhante ao decréscimo das médias das notas dos respectivos programas de ensino de origem.

O percentual de reprovação dos candidatos ao título de especialista no concurso da ABORL-CCF é maior nos programas de ensino menos qualificados, quando comparados com os programas com nível A (Figura 13).

A concordância entre desempenho dos candidatos ao título de especialista no concurso da ABORL-CCF e a classificação dos seus programas de ensino de origem atesta a competência do PACRE.

Estes indicadores de desempenho refletem a relação direta entre a qualidade do programa formador e a do residente egresso. Também comprovam que o PACRE permite discriminar qualidade e classificar corretamente os programas avaliados. Trata-se de um indicador direto e significante da efetividade do método.

Se pensarmos, ainda, que melhores programas atraem melhores alunos, as informações disponibilizadas pelo método classificatório possibilitará uma seleção ainda mais apurada pelos candidatos.

Os programas que não puderam adequar-se ao mínimo padrão de qualidade (nível C) foram impedidos de abrir concurso para novos candidatos e serão descredenciados pela ABORL-CCF.

A classificação dos programas foi divulgada no endereço eletrônico da ABORL-CCF, podendo ser consultada pelos egressos dos cursos de graduação em busca de informações sobre os programas de residência médica em Otorrinolaringologia no Brasil.

Em julho de 2005, a CNRM publicou a resolução nº 4, que dispõe sobre o Intercâmbio Interinstitucional para apoiar a criação e o aprimoramento de Programas de Residência Médica em especialidades prioritárias nas regiões carentes do país. Estabeleceu que as instituições interessadas deveriam firmar convênio entre si, com aprovação da CNRM, prioritariamente nas regiões da Amazônia Legal e Nordeste do Brasil. O programa de classificação da ABORL-CCF poderá ser um guia seguro na orientação dos programas de ensino que possam participar do Intercâmbio Interinstitucional da CNRM.

Identificou-se que a região Sudeste concentra grande número de programas de residência ou especialização. Paralelamente, nesta região está concentrada a maioria dos otorrinolaringologistas, tornando algumas localidades intensamente saturadas, com consequente deterioração das condições de trabalho e empregabilidade, como verificado no censo realizado pela SBORL no de 2000.

A ABORL-CCF considerou desnecessária a abertura de novos centros de formação na região Sudeste. Restringiu o credenciamento de novas vagas nos cursos existentes e o credenciamento de novos cursos de especialização, exceto àqueles que forem previamente avaliados como nível A, B+ ou B. A concessão de vagas e novos credenciamentos está assegurada aos programas de boa qualidade, mas vetada àqueles insuficientes.

Desde 2004, um hospital da cidade de São Paulo e outro na cidade do Rio de Janeiro solicitaram credenciamento de novos programas de especialização em Otorrinolaringologia. Ambos foram avaliados com os critérios do PACRE e não atingiram a classificação B, condição mínima para a concessão de credenciamento de novos programas de ensino nos Estados de São Paulo e Rio de Janeiro. Não foram credenciados e não iniciaram atividades. Houve abertura de um programa de especialização em Juiz de Fora, MG, com conceito inicial C+, por localizar-se fora das regiões consideradas saturadas.

Um programa de residência (44), descredenciado pelo MEC pelo não cumprimento de requisitos, solicitou credenciamento pela ABORL-CCF. Foi avaliado como novo programa e não obteve classificação B, necessária ao credenciamento. Suas atividades foram encerradas.

Estima-se, empiricamente, que o volume do conhecimento médico dobre em poucos anos.

No programa de residência, o estudante tem que ser estimulado a desenvolver métodos de aprendizagem contínua. Não basta absorver e desenvolver habilidades. É fundamental haver quem ensine, oferecer estrutura física, ter demanda adequada, construir uma atmosfera acadêmica, dispor de um modelo pedagógico e de uma preceptoria adequada.

O Brasil é uma nação em construção. Assim são nossas instituições. Este país é vasto e desigual e não prima pela adoção de procedimentos padronizados e sustentáveis. Menos ainda por sua continuidade e aperfeiçoamento.

O Protocolo de Avaliação e Classificação dos Programas de Residência e Estágio da ABORL-CCF está sendo adotado como modelo pela Sociedade Brasileira de Ortopedia e está sendo avaliado para aplicação pela Sociedade Argentina de Otorrinolaringologia.

A busca contínua de qualificação, percebida de norte a sul nos programas de ensino, certamente trará benefícios à formação do otorrinolaringologista brasileiro, com impacto positivo no futuro desta fascinante especialidade médica.


CONCLUSÕES

Houve ampla receptividade do Protocolo de Avaliação e Classificação dos Programas de Residência ou Especialização da ABORL, possivelmente favorecida pela estratégia de desenvolvimento, caracterizada pele apresentação múltipla e progressiva para aprovação institucional e ampla divulgação de regras predefinidas;

O Protocolo de Avaliação e Classificação da ABORL-CCF é método semiquantitativo suficiente para discriminar por qualidade os programas de residência ou especialização em Otorrinolaringologia;

Os programas de residência ou especialização em Otorrinolaringologia no Brasil apresentam discrepâncias de qualidade e distribuição geográfica.

Os programas de melhor qualidade estão concentrados nas universidades do Estado de São Paulo;

O PACRE identificou e localizou os programas de ensino mais deficientes, os medianamente qualificados e os de melhor qualidade no Brasil;

Houve melhora na classificação da maioria dos programas de ensino identificados inicialmente pelo PACRE como deficientes;

A ordem de classificação dos candidatos aprovados no concurso da ABORL-CCF para obtenção do título de especialista tende a seguir a ordem de classificação de suas instituições de origem;

As médias das notas dos candidatos aprovados no concurso para título de especialista apresentaram a mesma tendência da classificação de suas instituições de origem;

O percentual de reprovação dos candidatos ao título de especialista no concurso da ABORL-CCF é muito menor nos programas de nível A;

A tendência à concordância entre o desempenho dos candidatos ao título de especialista no concurso da ABORL-CCF e a classificação de seus programas de ensino de origem indicam que o Protocolo de Avaliação e Classificação dos Programas de Residência ou Especialização da ABORL-CCF foi capaz de discriminá-los por qualidade.

AGRADECIMENTOS

Dr. José Victor Maniglia, Dr. José Alexandre de Médicis, Dr. José Francisco Figueiredo (In memorian), Dra. Shirley Pignatari, Dr. Almiro José Machado Júnior.


REFERÊNCIAS

1. Sociedade Brasileira de Otorrinolaringologia. Censo 2002. São Paulo: Sociedade Brasileira de Otorrinolaringologia; 2002. 87p.

2. Brasil. Coordenadoria de Aperfeiçoamento de Pessoal de nível Superior-CAPES - Resoluções [Acessado 19 outubro 2013]. Disponível em: http://www.capes.gov.br/sobre-a-capes/legislacao/2341-resolucoes

3. Comissão Estadual de Residência Médica - CEREM [Acessado em 19 de outubro de 2013]. Disponível em: http://www.cerem.org.br/

4. Dias Sobrinho J. Paradigmas e políticas de avaliação da educação superior. Autonomia e heteronomia. In: Universidad e investigación científica: convergências y tensiones. Vessuri H, org. Buenos Aires: CLACSO, Consejo Latinoamericano de Ciencias Sociales; 2006.

5. Dias Sobrinho J. Universidade e Avaliação Entre a ética e o mercado. Florianópolis: Insular; 1997. 54p.

6. Entrevista de Antonio Carlos Lopes. J Clin. 2004;66:1.

7. Brasil. Ministério da Educação. Resoluções e atas da Comissão Nacional de Residência Médica- CNRM [Acessado em 18 de outubro de 2013]. Disponível em: http://portal.mec.gov.br/index.php?option=com_content&view=article&id=12263&Itemid=507

8. Crespo A. The training of otorhinolaryngologists in Brazil. Braz J Otorhinolaryngol. 2008;74(6):802.










Livre docente (chefe da disciplina ORL-FCM-UNICAMP)

Endereço para correspondência:
Agrício Nubiato Crespo
Av. Heitor Penteado, nº 1541. Taquaral
Campinas - SP. Brasil. CEP: 13087-000

Este artigo foi submetido no SGP (Sistema de Gestão de Publicações) da BJORL em 12 de setembro de 2013. cod. 11113.
Artigo aceito em 14 de outubro de 2013.

Imprimir: