ストローク中にパターヘッドが揺れてしまうという方はけっこういらっしゃいます。
そういう方に限って素振りでは全く揺れる事がない場合が多いです。
なぜスムーズにヘッドが動かせないのか？それはヘッドを動かそうとしているからです。言葉を変えれば引こうと思っている上にどっちにこうとかを考えながらやっているからです。
思わぬ方向に行こうとするからそれを修正しようとする…それで揺れてしまう。
で、表題のボールを見ないでアドレスをした後カップを見ながら打ってみると、ストロークがスムーズにできます。集中する場所が変わったからですね。
ヘッドを引くという意識は色々な弊害を呼びます。テークバックは手で引かないを実践することによってヘッドの揺れは軽減できます。
本来できているはずのストロークをボールを見ないで打つことでできることを確認してみてください。何か違うところに神経を集中できればそこは気にならなくなり本能で動けるようになります。