ต่อมาในปี พ.ศ. 2482 สงครามโลกครั้งที่ 2 ก็เกิดขึ้น งานของสำนักงานแห่งนี้จึงซบเซาลง การติดต่อสัมพันธ์ระหว่างประเทศต่าง ๆก็เป็นไปโดยไม่สะดวก
ปี พ.ศ. 2488 สำนักงานลูกเสือนานาชาติก็เริ่มคึกคักขึ้นอีก และได้ย้ายที่ทำการของสำนักงานไปอยู่ที่ 132 Ebury Street, Westminster เพราะสถานที่เดิมหมดสัญญาเช่า
ปี พ.ศ. 2496 พลตรี D.C. Spry ชาวแคนาดา ได้รับเลือกเป็นผู้อำนวยการ (Director) ของสำนักงานนี้
ด้วยเหตุผลทางเศรษฐกิจและการเงินในการดำเนินงานของสำนักงาน ฯ สำนักงาน ฯ จึงย้ายจากกรุงลอนดอนไปอยู่ที่กรุงออตตาวา ประเทศแคนาดา เมื่อวันที่ 1 มกราคม พ.ศ. 2500 และชื่อของสำนักงานได้เปลี่ยนเป็น Boy Scout world Bureau (สำนักงานลูกเสือโลก)
ในปี พ.ศ. 2508 พลตรี D.C. Spry พ้นจากตำแหน่ง และ Mr. R.T. Lund ได้รับการแต่งตั้งให้รักษาการตำแหน่งผู้อำนวยการสำนักงานลูกเสือโลก
วันที่ 1 พฤษภาคม พ.ศ. 2511 ดร. ลาสโล นาจี้ ( Dr. Laszlo Nagy ) ได้รับแต่งตั้งเป็นเลขาธิการสำนักงาน ลูกเสือ เปลี่ยนชื่อตำแหน่งจากคำว่า “ ผู้อำนวยการ ” เป็น “ เลขาธิการ ” ซึ่งใช้กันมาจนถึงปัจจุบันนี้ ในขณะเดียวกันก็เปลี่ยนชื่อสำนักงานลูกเสือโลกจากคำว่า Boy Scout world Bureau มาเป็น Boy Scout Bureau
ดร. ลาสโล นาจี้ พ้นจากตำแหน่งเลขาธิการสำนักงานลูกเสือโลกในปี พ.ศ. 2531 และ ดร. ยาคส์ เมอริยอง ( Dr. Jacques Moreillon ) ได้รับแต่งตั้งเป็นเลขาธิการสำนักงานลูกเสือโลก และขณะเดียวกันเป็นเลขาธิการองค์การลูกเสือโลกด้วย
1. ผู้บังคับบัญชาลูกเสือสายอาชีพขององค์การลูกเสือโลก
ผู้บังคับบัญชาลูกเสือ ประกอบด้วยเจ้าหน้าที่ลูกเสือ ผู้ตรวจการลูกเสือ และผู้บริหารลูกเสือ ทุกคน รวมทั้งเลขาธิการสำนักงานลูกเสือโลก ซึ่งปฏิบัติหน้าที่ประจำในสำนักงานลูกเสือโลกก็ดี หรือในสำนักงานลูกเสือโลก (สาขา) ประจำเขตต่าง ๆ ของโลก (ซึ่งมีอยู่ 6 เขต) ก็ดี รวมทั้งสิ้นมีจำนวน 33 คน ถือว่าเป็นผู้บังคับบัญชาลูกเสืออาชีพเพราะว่าทุกคนทำงานเต็มเวลาตามระบบการทำงานสากล และได้รับเงินเดือนจากองค์การลูกเสือโลก ตามระบบการจ่ายเงินเดือนทุกประการเป็นประจำ ผู้บังคับบัญชาลูกเสือดังกล่าวเหล่านี้ อยู่ในตำแหน่งโดยการแต่งตั้ง ตามความรู้ ความสามารถ ประสบการณ์ ทักษะ และความชำนาญการ
2. ผู้บังคับบัญชาลูกเสือสายอาสาสมัครขององค์การลูกเสือโลก ได้แก่ ได้แก่ ผู้ตรวจการลูกเสือ กรรมการลูกเสือ อนุกรรมการลูกเสือ ที่ปฏิบัติงานให้แก่องค์การลูกเสือโลกในฐานะกรรมการลูกเสือโลกก็ดี กรรมกาลูกเสือเขตต่าง ๆ ขององค์การลูกเสือโลกก็ดี อนุกรรมการในหน่วยปฏิบัติงานเฉพาะกิจขององค์การลูกเสือโลก หรือเขต ฯ ก็ดี ผู้ตรวจการลูกเสือฝ่ายต่าง ๆ ขององค์การลูกเสือโลก หรือเขตต่างๆ ของโลก ก็ดี ถือว่าเป็นผู้บังคับบัญชาลูกเสืออาสาสมัครขององค์การลูกเสือโลกทั้งนี้เพราะไม่ได้รับเงินเดือนจากองค์การลูกเสือโลกเป็นค่าตอบแทน และไม่ได้อยู่ปฏิบัติงานประจำขององค์การลูกเสือโลก และเนื่องจากบุคคลเหล่านี้ล้วนแต่มีงานประจำ และมีฐานะทางการเงินดีและมั่นคงอยู่ในประเทศของตนอยู่แล้ว แต่ไปรับหน้าที่และรับอาสาในการปฏิบัติภารกิจขององค์การลูกเสือโลก ตามความสามารถ ความชำนาญการ และความเชี่ยวชาญเฉพาะสาขาที่ตนมีประสบการณ์และความรู้ในสาขาต่าง ๆ ด้วยความสมัครใจ และยังมีบทบาทสำคัญเป็นอย่างมากในการบริหารองค์การลูกเสือโลก และองค์การลูกเสือเขตตามภาระและหน้าที่