如果办理的是遗嘱公证，由立遗嘱人到公证处直接撤销或修改遗嘱就行了。如果办理的是委托书公证，那么撤销的是委托书而不是公证书，由原委托人到公证处办理一个撤销委托的声明书公证。如果是房屋买卖或赠与公证，那么除非双方都同意才行。再强调一点，公证书是无法撤销的，要撤销的是公证的内容，比如遗嘱、委托书、合同，而不是公证书。
公证委托是可以随时取消的，我国民法通则里就规定委托代理终止的法定原因之一就是被代理人取消委托;广州市各公证处就规定撤销公证委托需要去原做委托的公证处，并且原则上要求收回原公证委托书;(但是如果能够全部收回，直接撕毁即可，也不需要办理撤销手续了)。就算没有办法收回，那么就算做了撤销委托书，在撤销委托之前，代理人以被代理人名义做出的公证受托事项也是有效行为。
由于撤销委托不会有公示行为，第三人也无法得知公证委托书的真实性，这就要求委托人在房产交易环节一定要控制住风险，上海市各交易中心就规定，由合同当事人至房屋所在地的房产交易中心办理登记备注手续即可，比如可以直接备注“撤销某份公证委托书”或“只认可当事人本人办理产权过户相关手续”等。