alias brew="env PATH=${PATH/${HOME}\/\.anyenv\/envs\/pyenv\/shims:/} brew"

を足した。

phpenv 入れてる時 brew doctor したら出る Warning 消した - Qiita あたりを参考に色々いじった。

ただ、自分はこれ以外にも PATH の設定（書き方）が場所によって適当だったりして最初動かなかったので、解決までに無駄に時間がかかってしまった。今後は気をつけたい。