Detecção de Pessoas com Frigate - Person Detection

[Henry.Phy]

Pessoal essa integração é bastante interessante para detecção de pessoas, porém não se restringe somente a pessoas, vc pode detectar carros, bicicletas, motos, cachorros e muito mais. E o mais interessante, vc não precisa integrar a camera no config para depois jogar pra analise de imagem, vc já pode setar a url da camera diretamente pra ser analizada pelo Frigate.

Instalação

1. Vá até Supervisor > Loja de Add-ons > Repositorios
2. Adicione o repositório https://github.com/blakeblackshear/frigate-hass-addons
3. Crie o arquivo frigate.yml (a extensão é yml mesmo, e não yaml) na pasta config

vou colocar aqui o conteúdo do meu arquivo frigate.yml pra mais detalhes acessem o github do addon, lá tem bastante conteúdo e as possibilidades são enormes. Frigate | Frigate (blakeblackshear.github.io)

mqtt:
  host: XXX.XXX.X.XX # endereço do home assistant (tenho instalado o addon Mosquitto Broker)
  user: seu_usuario_mqtt
  password: sua_senha
  
cameras:
  nome_da_sua_camera:
    ffmpeg:
      inputs:
        - path: rtsp://admin:[email protected]/XX # url da sua camera, os formatos são variados
          roles:
            - detect 
            - clips
    width: 1280 # resolução da sua camera, vc pode reduzir a resolução mas tem que manter a proporção, no caso a minha é 1280x720
    height: 720
    fps: 5 # é recomendado 5fps acima disso será utilizado mais CPU sem necessidade para detecção
    objects: # abaixo vc identifica os objetos que serão analizados e rastreados
      track:
        - person # detecta pessoas
        - car # detecta carros
        - bicycle # detecta bicicletas
    snapshots: # decidi salvar apenas fotos dos eventos em que foi detectado os objetos acima, mas podem ser gravados videos também
      enabled: True
      timestamp: false
      bounding_box: True # habilita uma caixa ao redor do objeto detectado
      retain:
        default: 2 # aqui informa quantos dias o sistema guardará as imagens após o periodo a imagem será deletada
    motion:
      mask: # aqui criei duas mascaras nas areas que não desejo que seja analizado detecção de objetos, assim economizando cpu
        - 0,720,0,0,0,0,180,0,69,720
        - 248,0,1280,0,1280,720,995,720

detectors: # aqui vc pode informar quantas CPU´s serão utilizadas para deteção, no meu caso dediquei duas CPU´s
  cpu1:
    type: cpu
  cpu2:
    type: cpu

Você ainda pode criar sensores para detecção por exemplo, se um cachorro ser detectado na sua camera disparar uma automação, e por aí vai.

Adicionando a integração para gerar as entidades:

1. Vá até o HACS instale o repositório https://github.com/blakeblackshear/frigate-hass-integration
2. instale a integração no HACS e reinicie
3. vá até configurações>integrações>adicionar integração>Frigate e instale
   pronto, suas entidades para os objetos que vc cadastrou para detecção estarão disponíveis para suas automações.

[WDGCHA]

Parabéns. Excelente integração!!!
A instalação foi feita normalmente, consegui configurar câmera IP individual e câmera por canal do DVR.
Tive apenas um problema, que talvez você tenha passado e possa ajudar a resolver.
A imagem do video ficou excelente, porém, as fotos estão com distorção de cor e sobrepostas.
Alterei a resolução e mesmo no caso de câmera Full-HD e direto dela, sem ser pelo DVR, a imagem estática continua ruim.
Saberia qual a configuração para normalizar?
Lembrando que o video gravado ficou excelente.

[Henry.Phy]

que bom que gostou!
quanto ao problema, o que mais ví nos tutoriais foi que caso a resolução configurada no arquivo .yml nao for exatamente a mesma gerada pela camera ou o aspect ratio for diferente gera artefatos bem parecidos com o que vc está relatando. fora isso não sei o que poderia ser, mas eu tentaria desbravar mais pelas configurações do ffmpeg.

[WDGCHA]

Obrigado. Vou tentar novas configurações no arquivo.

[dmsgyn]

Oi tudo bem? Segui o seu tutorial e funcionou bem no meu HA instalado num RP4. Coloquei a deteção de pessoas e funcionou. Imagino que irá ficar muito melhor se instalar um Google Coral.
Mas tenho duas dúvidas:

1. Como faço para também gravar o audio da câmera?
2. Tem como identificar cada pessoa? E não apenas que é uma pessoa?

Obrigado

[Henry.Phy]

1- no link Frequently Asked Questions | Frigate vc tem a resposta pra habilitar o áudio no frigate.

2- a resposta mais rápida seria não. Mas se usar o frigate em conjunto com o deepstack vc consegue. No deepstack vc consegue treinar um rosto pra ser reconhecido e aí sim vc usa o deepstack no frigate com a detecção.

[Adessotti]

Eu não consigo usar, ele não reconhece a câmera.
Me apresenta sempre o mesmo erro:

E eu também estou usando um celular antigo como câmera, seguindo este tutorial
https://forum.homeassistantbrasil.com.br/t/ip-webcam-celular-antigo-android-como-camera-integrado-ao-home-assistant/1518

[MrPontes]

Bom dia, consegui colocar o Frigate funcionando, mas infelizmente não consegui colocar funcional marcar uma área para não registrar o movimento. Fiz a mascara, mas o sistema continua detectando movimento nessa area

com a mascara !

ainda continua registrando movimento onde nao deveria

[kleberkadanus]

pessoal, o meu esta tudo funcionando, dentro do frigate aparece as snapshots, as gravaçoes, diferencia pessoas, carro, bike e moto, do jeito que quero, mas quando eu quero trazer as informaçoes para dentro do HA, fica indisponivel, como posso resolver?

[lucararqbr]

parece ser erro da configuração MQTT, precisa verificar seu usuario e senha