python3.5を使っています。例えば["a","b",1,2,3]というリストがあったときに、[1,2,3]というリストに直したいです。下は、試しに書いてみたコードです。

list1=["a","b",1,2,3]


list_number=False
while list_number==True:
    try:
        float(list1[0])
        list_number=True
    except:
        list1=list1[1:]
        list_number=False

print(list1)

これでlist1が[1,2,3]に変換されると思ったのですが、変わりませんでした。どうすればよいのでしょうか。