Protocols & Binary Serialization
Confira uma chave e a quantidade total de partições usando Murmur2 compatível com Java.
Espaços e quebras de linha são preservados. Uma chave de zero bytes é válida; selecione null se a chave estiver ausente.
68 65 6c 6c 6f
O cálculo fica nesta aba. Nenhuma chave é enviada ou salva, e não há conexão com um cluster Kafka.
Válido para roteamento por chave com Murmur2 compatível com Java. Partição explícita, chaves ignoradas, outro serializador ou particionador podem mudar o destino real.
Cálculo concluído.
Calcular partição Kafka é útil quando uma mensagem aparece em um destino inesperado. Antes de investigar o particionador, confira a serialização: uma chave que parece igual no log pode ter bytes diferentes. O painel permite acompanhar os valores que levam ao destino.
Uma chave de partição numérica pode ser serializada como texto ou como inteiro binário. A função de hash não enxerga o significado do valor, apenas os bytes. Para reproduzir um serializador que não usa strings UTF-8, informe sua saída em hex ou Base64.
Calcular partição Kafka coloca três formas de entrada na mesma base de comparação. Espaços finais, quebras de linha e caracteres de vários bytes ficam visíveis no hexadecimal. Se os bytes forem iguais, a forma escolhida para digitá-los não muda o hash nem o destino nas mesmas condições.
Uma string UTF-8 vazia gera um array existente com zero bytes. null indica a ausência do array. O primeiro caso tem um hash determinístico; o segundo depende do estado de execução do produtor. O resultado não atribui uma partição fictícia à chave ausente.
UTF-8 mantém espaços e quebras de linha. Hex permite espaços ASCII, mas exige pares completos sem 0x. Base64 padrão exige o preenchimento adequado. Trocar a codificação reinterpreta o conteúdo atual; não o converte automaticamente para outro formato.
O padrão 12 é um exemplo, não uma recomendação de capacidade. As partições começam em zero, portanto os destinos vão de 0 a 11. Alterar o total pode mudar o resto e a partição de futuras mensagens mesmo quando o hash permanece igual.
Carregue abc ou foobar nos vetores e compare o hash com sinal ao valor esperado. O modo automático aguarda 350 ms após a última edição. Desative-o para calcular com Ctrl/Cmd + Enter. Resultados desatualizados ficam bloqueados para exportação.
A variante usa 0x9747b28c, blocos little endian de quatro bytes e multiplicação de 32 bits. Os valores com e sem sinal representam os mesmos bits. Antes do módulo, o bit de sinal é removido com 0x7fffffff. Usar valor absoluto é outra operação e pode mudar a partição.
Hex e Base64 padrão representam bytes arbitrários, incluindo 00 e ff. Quantidade ímpar de dígitos, preenchimento incorreto e bits finais não canônicos são rejeitados. O texto mantém maiúsculas, espaços e forma Unicode, de modo que a ferramenta não altera a entrada para fazê-la passar.
abc, foobar e 21 vêm com valores esperados do Apache Kafka. A prévia mostra 100 bytes e cresce de 100 em 100. O JSON inclui todos os bytes, algoritmo, codificação, tipo de chave, total de partições e valores intermediários para comparação com o produtor.
Para a política selecionada, aplique Murmur2 aos bytes serializados, remova o bit de sinal e obtenha o resto em relação ao total de partições. abc produz o hash com sinal 479470107 e vai para a partição 3 quando há 12. Confirme o total nos metadados do tópico.
Sim. Muitas chaves precisam compartilhar um conjunto finito de destinos. Isso não exige colisão do hash completo: valores positivos diferentes podem ter o mesmo resto. Estar na mesma partição não prova que duas chaves são iguais nem que seus hashes de 32 bits coincidem.
Compare os bytes serializados, o total e a configuração do particionador. Clientes diferentes podem usar algoritmos e serializadores diferentes. Partição explícita e a opção de ignorar chaves também interferem. O rebalanceamento dos consumidores muda a atribuição de leitura, não esta fórmula de hash.
Não. A necessidade de uma chave depende dos requisitos de agrupamento e ordem da aplicação. É possível enviar sem chave, mas a fórmula Murmur2 baseada em chave não basta para determinar o destino. Uma string vazia é diferente de uma chave ausente.
Depende do cliente, da versão, da configuração e do estado em execução, inclusive dos lotes. Produtores Java podem usar comportamento sticky; outros clientes seguem políticas próprias. Por isso, a página não atribui uma partição fixa a null nem presume sempre um antigo rodízio circular.
A variante do Kafka usa a semente fixa 0x9747b28c. Com os mesmos bytes, o hash é reproduzível entre execuções. O destino final ainda pode mudar: outra quantidade de partições altera o módulo, e outro particionador pode escolher uma regra diferente.
Encontrou um erro no cálculo ou na validação?
Calcular partição Kafka permite comparar a saída real do serializador e os valores intermediários com a implementação de roteamento usada no produtor.