他自幼便跟父亲学武，苦于身体瘦弱，膂力不强，与游氏双雄刚猛的外家武功路子全然不合，学了三年武功，进展极微，浑没半分名家子弟的模样。他学到十二岁上，游驹灰了心，和哥哥游骥商量。两人均道：“我游家子弟出了这般三脚猫的把式，岂不让人笑歪了嘴巴？别人一听他是聚贤庄游氏双雄子侄，不动手则已，一出手便使全力，第一招便送了他小命。还是让他乖乖地学文，以保性命为是。”于是游坦之到十二岁上，便不再学武，游驹请了个宿儒教他读书。