清洗装修窗框上的水泥，可以尝试以下几种方法：

使用清洁剂

将清洁剂喷在水泥上，静置一会，然后用湿抹布或海绵擦洗，轻轻一擦就能去除水泥。

热水加毛巾

将热水倒在毛巾上，敷在水泥表面，反复几次后水泥会逐渐软化，然后用清水冲洗干净。

牙膏

将牙膏涂抹在水泥表面，等待几分钟后搓揉，可以将水泥清除。

醋

将醋倒在水泥表面，等待一段时间后，醋与水泥的碱性成分发生反应，使其发生变化后清洗掉。

草酸

将草酸和水按比例稀释后喷洒在水泥污渍上，然后用抹布擦拭。注意草酸有腐蚀性，使用时需谨慎。

软塑料或木铲

对于已经固化成凸起的小疙瘩的水泥，可以先用软塑料或木铲铲除，然后用湿抹布敷在残留的水泥印上，待水泥软化后，再用清洁球清洗干净。

洁厕剂

使用洁厕剂擦拭水泥，特别是对于细小的水泥浆，洁厕剂中的草酸成分对水泥有分解腐蚀作用，但对塑钢型材无伤害。

汽油或香蕉水

对于窗户上的胶水，可以先用抹布沾汽油或香蕉水擦拭胶渍，效果显著。

砂纸或钢丝球

对于顽固的水泥污渍，可以使用砂纸或钢丝球进行清理，但要注意不要刮伤窗框表面。

盐酸或磷酸溶液

将盐酸或磷酸溶液与水按1:5的比例调合，浇在水泥上，撒上锯木沫，使用木铲铲除。这种方法适用于较厚的水泥层。

根据窗框的具体情况和水泥的固化程度，可以选择适合的方法进行清洗。建议先在不显眼的地方进行小范围测试，以确保不会损坏窗框或造成其他损伤。