Фамилията Оливандър от много отдавна се свързва с мистериозната професия майсторене на магически пръчки. Казват, че името означава „онзи, който притежава маслиновата пръчка“, което подсказва, че първият Оливандър е дошъл във Великобритания от средиземноморска държава (тъй като маслиновите дръвчета не се срещат по онова време в Обединеното кралство). Самият господин Оливандър вярва, че най-ранните му предци, са пристигнали в страната заедно с римляните и са отворили сергия (впоследствие магазин), за да продават магически пръчки на древните британски магьосници, чиито тогавашни пръчки били грубо издялкани и не особено надеждни. 

Господин Оливандър е доказано най-добрият майстор на магически пръчки в света и много чужденци пътуват до Лондон, за да си купят пръчки, вместо да предпочетат онези, които се предлагат по техните родни места. Господин Оливандър е израснал, обучавайки се в семейния бизнес, като показва талант още в ранна възраст. Той има амбицията да подобри изработката на пръчки, избирайки определени сърцевини и дървесини и още от началото на кариерата си преследва целенасочено, почти фанатично своята мечта да създаде идеалната пръчка. 

Преди господин Оливадър да поеме семейния бизнес, магьосниците използвали голямо разнообразие от сърцевини. Купувачът можел да предостави на майстора каквото и да е магическо вещество, към което бил привързан, или което е наследил от своето семейство (намек за тази традиция е сърцевината на пръчката на Фльор Делакор). Господин Оливандър обаче настоявал, че най-добрите пръчки не могат да се измайсторят вграждайки в любимата дървесина на купувача мустаците на любимия домашен нийзъл (или стъблото на растението росен, което някога е спасило бащата на магьосника от отравяне, или от гривата на келпи, което вещицата е срещнала някога по време на ваканция в Шотландия). Той вярвал, че най-добрите пръчки съдържат сърцевини от невероятно мощни магически субстанции, които се вграждат в специално избрани от експерт допълващи със свойствата си дървесини, за да може съчетаването им да подхожда идеално на собственика, с когото пръчката избере да се свърже. Въпреки че в началото този революционен нов начин за майсторене на магически пръчки среща съпротива, бързо става очевидно, че пръчките на Оливандър са много по-добри от всичко, правено до момента. Неговите методи за намиране на дървесини и сърцевини, за съчетаването им и за събирането им с подходящия собственик, са ревностно пазени тайни, които той крие от съперниците си-майстори на магически пръчки.