안성재, 비판에 대해 확실한 태도