Fala pessoal blz!
Como integrar o Google Gemini no seu HomeAssistant para que ele descreva as imagens, muitos pedidos ai pela comunidade para trazer esse vídeo, então dale!
Não esquece de comentar/curtir por favor 
Tks!
2 curtidas
cara, gostei de mais desse video… terminando aqui ja vou no youtube para curtir lá…
mas agora eu fiquei com uma ideia na cabeça, mas presciso de ajuda, eu usei de teste o gemini no site dele mesmo, aonde eu coloquei a foto que uma camera tirou do meu carro, e pedi para ele me dizer a placa e o modelo do carro e foi bem acertivo.
estou a dias procurando uma solução para fazer uma leitura de placas, e se for a placa desejada abra meu portão, mas tudo que consegui foi o plate recorganizer que me da 50 detecçoes por mes, e o plano pago é muito caro e enviavel para mim, entao, imaginei usar o gemini.Será que voce consegue me ajudar?
eu ja utilizo o frigate no meu home assistant para minhas cameras, e instalei uma camera exclusiva para leitura de placas. eu gostria que toda vez que o frigate tirasse o snap da camera, o gemini leia a imagem e me retorne a placa e o modelo do carro, e se for o esperado abra o portão que tambem ja tem um interruptor de pulso integrado no home assistant. a perguta prncipal é, consigo por exemplo fazer o gemini alimentar um sensor mqtt para que a automação aconteça? ou consigo criar uma automação direto com ele? e outra, como eu faço??? kkkkk
se puder me ajudar ficaria muito grato…
Não são 50, são 2500/ mês
se vc tem o retorno do gemini no seu HA como eu mostro no vídeo vc consegue, vc só precisa padronizar a resposta dele para que sempre alimente um sensor seu, por exemplo
"Me descreva essa placa neste formato: “Placa ABCXD”
Resposta Gemin → “Placa ABCEY34”
No sensor vc trata o retorno para pegar somente o valor da placa ou o retorno inteiro mesmo, acho que funciona.
Então eu testei aqui agora,as acho que usei a lógica errada, pois ele está publicando no sensor mqtt o modelo do carro e não a placa, mas já está funcionando
1 curtida
Segui suas dicas , funciona, mas não é 100% acertivo, nos meus testes agora, 4 de 5 a placa foi lida corretamente,as 1 vez leu errada a placa e me informou outro modelo de carro! Mas no geral é muito bom… Acredito que basta treina lá
acho que para contas mais antigas eram 2500, pois na epoca que assisti o video era isso talvez, mas criei a conta semana passada, deve ter diminuido!
mas agora com o gemini, acredito que resolvi o meu problema, baste eu ir acertando os detalhges para tudo funcionar!!! Graças ao @Choske e seus videos!!!
aproveitando @Choske , como anda o projeto do 3d? conseguiu fazer?
Atualização:
Já estou utilizando o Gemini para detectar as placas, modelos dos carros que param no meu portão, está funcionando bem, outra coisa que consegui foi que quando não detectadas as placas, ele coloque como ausente. Está rodando muito bem, publicando no mqtt e em cima disso rodando uma automação, além de estar criando uma lista com as últimas detecçoes.
Será que consigo ir além? Queria deixar o Gemini assistindo uma câmera tem tempo real pelo RTSP e quando ele detectar no vídeo a placa ele execute as automações que já estão predefinidas?
E indo mais além ainda, será que consigo “treinar” para reconhecer o rosto de pessoas conhecidas, como o meu ou da esposa, e então executar uma automação?
Posso estar pensando muito alto, mas as vezes pode ser útil não só para mim…
1 curtida
Alguem sabe me dizer se é possivel utilizar o gemini no node red? A ideia é enviar as imagens pelo node red para que sejam analisadas e depois receber a resposta tambem dentro do node red. Tentei de varias formas porem sem exito, acredito que seja meu baixo conhecimento em funções, nem o chat gpt me ajudou nessa. Ja utilizo o Google cloud vision, porem somente para localização de objetos.
Top… Já deixei a Curtida e o comentário lá…