横断歩道の歩行者用ボタンを押して青になったので渡ろうとしたら赤信号で引っかかった車から人が降りてきて殴りかかってきた

愚痴、前提として俺は手帳持ちの発達障害
車の通り少ない8メートル程の横断歩道だけど歩行者用ボタン押して青になるのを待った
青になって渡ろうとしたら赤で引っかかった車から人が降りてきて、「車が少ない通りでわざわざ信号変わるの待つなよ！引っかかって時間のロスじゃねーか！」と殴りかかってきた
何言ってんだと思いつつも殴られるのは嫌だから柔道技で取り押さえて警察に連絡した
翌日は被害者としてだが警察に色々聞かれるので会社にその旨を伝えた上で休んだのだが翌日変なことになっていた
同僚や先輩が車の通り少ないのにわざわざ信号変えた俺にも原因があると言い出したのだ
上司はそんなんで殴りかかる方が悪いと言ってくれたのだが、同僚や先輩は殴りかかることが悪いのは否定しないけど怒らせる要因になったのは間違いないと譲らない
俺は納得いかないので赤信号渡るのは法律違反ですよね？と言ったのだが先輩は
「お前は手帳持ちの発達障害だから分からないんだろうけど世の中見逃されてたり黙認されてる法律違反ってあるんだよ、現に赤信号渡った歩行者がパクられたことあるか？パクられたとしても大した罰則ないからみんなやるんだよ」とか
「お前だってyoutubeでミュージックビデオとか見てるだろ？あれも公式以外の違法アップロードあるんだぜ」とかいう
法律守っただけなのになんでここまで言われなければいけないのだろうか