Resumindo áudios no Microsoft Teams com Microsoft Foundry Speech to Text e Foundry Agent Service
O Microsoft Foundry é a plataforma da Microsoft para construir e operar aplicações e agentes de IA, reunindo modelos, serviços de IA e o Foundry Agent Service em um único recurso. Um cenário comum no dia a dia é receber um áudio longo no Microsoft Teams, seja uma gravação de reunião ou uma voice note, e precisar ouvir até o fim para saber do que se trata.
Neste artigo, criamos um bot no Teams que recebe o arquivo de áudio, transcreve com o Speech to Text do Foundry e devolve um resumo gerado por um agente do Foundry Agent Service, sem sair da conversa. O backend é uma aplicação ASP.NET Core em .NET 10, hospedada no Azure App Service e integrada ao Teams pelo Azure Bot Service.
O conteúdo apresenta todo o processo, incluindo:
- Criação do Azure Bot bot-audio-summarizer e do Web App app-audio-summarizer com .NET 10 em Linux;
- Registro de duas App Registrations no Microsoft Entra ID, uma para a identidade do bot e outra para acessar o Foundry;
- Deploy do modelo gpt-6-luna e criação do agente audio-summarizer no Foundry;
- Definição das instruções do agente, com regras contra prompt injection e formato de saída em Markdown do Teams;
- Atribuição da role Foundry User no recurso do Foundry, necessária para o Speech to Text e para o Agent Service;
- Implementação do backend com Bot Framework SDK, Azure.AI.Speech.Transcription e Azure.AI.Projects.
O artigo também esclarece por que separar as identidades: uma permissão dada ao bot nunca abre acesso ao Foundry, e o contrário também vale. Além disso, mostra por que a role precisa ser atribuída no recurso e não apenas no projeto, já que o Speech to Text é chamado no endpoint do recurso.
Ao final, o usuário envia um áudio para o bot e recebe o resumo como uma proactive message, uma base prática para equipes que querem ganhar tempo com áudios no Teams usando os serviços do Foundry.
Confira o tutorial completo e todas as etapas da configuração:
https://tallesvaliatti.com/resumindo-%C3%A1udios-no-microsoft-teams-com-microsoft-foundry-speech-to-text-e-foundry-agent-service-900acc1b0730