Essas informações de localização são criptografadas localmente e não são compartilhadas com a Apple, mas você pode querer revisar, excluir e até mesmo desativar o recurso. E você pode, mas é um pouco enterrado.
Primeiro, abra as Preferências do Sistema e vá para Segurança e Privacidade.