Bon, juste une remarque en passant, mais je ne pense pas que le problème vienne de là.
Moi, j'usine d'abord tous ce qui est le plus loin de l'étau, et ensuite ce qui est le plus proche. Là, tu as affaibli la pièce en usinant d'abord la rainure proche de l'étau, qui a priori pose moins de problème de rigidité, et ensuite la rainure externe qui a priori est plus critique. J'aurais instinctivement fait le contraire : rainure externe d'abord, puis rainure proche de l'étau.
Il me semble que l'étau n'est pas un étau de fraisage. Attention avec de type d'étau de perçage, il ne me semble pas adapté à la puissance de ta machine.
On ne voit pas parfaitement sur la photo, mais à priori les dents de la fraise ont l'air correctes ? Si la fraise est bonne, cela ne peut venir que d'une avance trop forte ou d'un problème de bridage/vibration.
Franchement, passe de 2 en rainurage avec une fraise de 10 dans de l"acier à ferrer les ânes, ce n'est pas excessif, il me semble.