Китайский совершенно точно не сложнее английского!
В китайском грамматика намного проще: там нет времен, склонений и родов. Для владения языком на хорошем уровне совсем не обязательно знать 50—60 тысяч иероглифов — вполне достаточно пары тысяч. К тому же иероглифы строятся по одной логике: если знаешь базовые графемы, большинство разгадать сможешь.
Что касается разных тонов, то, как правило, у них диаметрально противоположные значения. И совсем не понять, что человек говорит, шансов немного.