Desenvolvedor Python Sênior

<h2>Sobre a empresa:</h2> <p>Somos a AgRisk, a infraestrutura completa para toda a jornada de crédito do agronegócio, com um motor de decisão alimentado por mais de 30 módulos de análise. Há 9 anos conectamos dados, tecnologia e governança para que instituições tomem decisões de crédito mais rápidas, seguras e consistentes. Já realizamos mais de 3,5 milhões de consultas, analisamos mais de 1,2 milhão de CPFs e CNPJs e hoje sustentamos a operação de mais de 1.600 clientes. Somos investidos pelo Itaú Venture Capital e recebemos recentemente um aporte de R$ 50 milhões do Rabo Partnerships, avançando para a Série B. Somos um time de mais de 100 pessoas construindo a base sobre a qual o crédito agro é decidido no país.</p> <h2>O que você vai fazer aqui:</h2> <ul> <li>Projetar, desenvolver e evoluir sistemas de coleta, processamento e integração de dados utilizando Python, garantindo escalabilidade, resiliência e alta performance.</li> <li>Conduzir iniciativas técnicas desde o desenho da solução até a implementação, testes e rollout em produção.</li> <li>Desenvolver soluções de coleta automatizada utilizando web scraping, web crawling, automação de navegadores, consumo de APIs e integração com fontes externas.</li> <li>Construir arquiteturas de coleta de dados em larga escala, considerando paralelismo, concorrência, gerenciamento de sessões e eficiência de recursos.</li> <li>Desenvolver estratégias para extração de dados de sites dinâmicos, aplicações JavaScript, documentos estruturados e não estruturados.</li> <li>Construir pipelines de extração, transformação, normalização, validação e enriquecimento de grandes volumes de dados.</li> <li>Identificar e solucionar gargalos de performance, otimizando throughput, latência, consumo de memória e custos operacionais.</li> <li>Implementar mecanismos de resiliência como retries, timeouts, backoff, idempotência e recuperação de falhas.</li> <li>Evoluir a arquitetura dos serviços Python, promovendo modularização, reutilização de componentes e redução de débitos técnicos.</li> <li>Desenvolver mecanismos de observabilidade para monitorar disponibilidade das fontes, taxas de sucesso, tempos de execução e qualidade dos dados.</li> <li>Investigar incidentes em produção, identificar causas raiz e implementar melhorias estruturais.</li> <li>Explorar novas tecnologias e estratégias de coleta, incluindo IA para extração inteligente de informações e automação de processos.</li> <li>Utilizar ferramentas de IA no desenvolvimento (AI First), aumentando produtividade, qualidade e velocidade de entrega.</li> <li>Colaborar com decisões arquiteturais, realizar code reviews e apoiar o desenvolvimento técnico de profissionais menos experientes.</li> </ul> <h2>O que esperamos de você:</h2> <ul> <li>Experiência sólida com Python, incluindo programação assíncrona, concorrência, gerenciamento de memória e otimização de performance.</li> <li>Experiência comprovada com web scraping e web crawling, utilizando Scrapy, BeautifulSoup, Playwright, Selenium ou tecnologias equivalentes.</li> <li>Domínio de HTTP/HTTPS, headers, cookies, sessões, autenticação e funcionamento de aplicações web.</li> <li>Experiência com automação de navegadores e extração de dados de aplicações dinâmicas renderizadas por JavaScript.</li> <li>Bons conhecimentos de arquitetura de software, padrões de projeto e construção de sistemas distribuídos e escaláveis em Python.</li> <li>Experiência com frameworks como FastAPI, Django e/ou Flask.</li> <li>Experiência com processamento de grandes volumes de dados, utilizando Pandas, Polars ou ferramentas equivalentes.</li> <li>Conhecimento de processamento assíncrono e paralelo, utilizando asyncio, multiprocessing, filas e workers.</li> <li>Experiência com mensageria utilizando RabbitMQ, Kafka, SQS, Redis ou tecnologias equivalentes.</li> <li>Experiência com MongoDB e/ou PostgreSQL, incluindo modelagem, indexação e otimização de consultas.</li> <li>Capacidade de desenvolver soluções resilientes de coleta, com reprocessamento, deduplicação, controle de execução e recuperação de falhas.</li> <li>Experiência com testes automatizados, observabilidade, monitoramento e troubleshooting em produção.</li> <li>Conhecimento de Docker, Linux e infraestrutura cloud (AWS e/ou GCP).</li> <li>Familiaridade com ferramentas de IA para desenvolvimento (AI First), incorporando-as ao fluxo diário de trabalho.</li> <li>Autonomia para investigar problemas complexos, propor soluções e conduzir entregas de ponta a ponta.</li> <li>Boa comunicação, pensamento analítico, senso de responsabilidade e facilidade para colaborar com outros desenvolvedores.</li> </ul> <h2>Diferenciais:</h2> <ul> <li>Já ter trabalhado com Scrapy</li> </ul>