LARAVEL Como realizar consulta no banco aplicando “exceções” com relacionamento?

Todos os Role exceto o número 2 traga a relação de usuários, exemplo

$users = Role::where('id', '<>', 2)->users;

trazendo todos os usuários exceto o que tem roles == 2.

Observação: users e a sua relação com as funções de cada usuário então coloque o mesmo nome configurado no seu model

Um outra forma pela relação do usuário com o método has():

$users = User::with(['roles'])->has('roles', '<>', 2)->get();