単振動の中心から外に向かう向きに力が働くのでは?ってことですよね?
力が働く向きと、実際に進む向きは関係ありませんよ。
例えば、斜方投射した物体には重力しか働いていないですよね。
斜めに進んでいるのに重力は下向きです。
あとは、車がブレーキをかけたとき、
進行方向とは逆向きに摩擦力が働いています。
『※完全に静止している物体が動き出す瞬間』については
力の向きと運動の向きはほぼ同じになるとは思いますが、
単振動しているってことはもう物体はとっくに動いてますから、
※の状態ではないですよね。