Разбира се, обучението по писане и четене съществува под някаква форма от въвеждането на китайското писмо и Будизма през 6-ти век. През 701 г. Тайхо Коде основава училища за деца с благороднически произход както в столицата, така и в различните провинции. В началото на период Камакура (1185-1333) значителен брой деца на самураи получават официално образование, но едва след 250-те години мир на периода Едо (1600-1868) образованието се разпростира и сред висшата класа и сред простолюдието.

В началото образованието през периода Едо е базирано върху Конфуцианството, което от своя страна акцентира върху механичното наизустяване и изучаване на китайската литература. Развиват се два основни типа училища. Първият тип са така наречените владенчески училища (ханко). До края на периода те съществуват в повече от 200 владения и осигуряват образование главно на деца от класата на самураите. Вторият тип училища са училищата теракоя, в които се учат деца на обикновени хора и на самураи. Те акцентират върху нравственото обучение и предмети като четене, писане и аритметика. Обикновено училищата теракоя са ръководени от един единствен учител или съпружеска двойка и до края на периода Едо има вече десетки хиляди такива училища.

По време на разпадането на шогуната Токугава през 1868 г. нивото на грамотност в Япония е около 40 % - ниво, което може да се сравни с тогавашното ниво на грамотност при много западни нации. Без тази образователна основа бързата модернизация, постигната през следващите няколко години, би била невъзможна.

През периода Мейджи управляващите бързо правят постъпки за въвеждане на нова образователна система, с която да догонят Запада и да поощрят националното единство. Установява се триредна образователна система - начално, средно училище и университет, като началното училище е задължително е и за момчетата и момичетата.

След края на Втората световна война през 1947 г. под ръководството на Окупационните сили биват прокарани Фундаменталният закон за образованието и Законът за училищно образование. Законът за училищното образование определя система, която е в сила и днес: шест години начално образование, три години средно образование, три години гимназия и две или четири години университетско образование. Задължително е началното и средното образование. Съществуват детски градини (от една до три години), петгодишни технически колежи, специални подготвителни училища за завършващите средно образование, специализирани училища за инвалиди и университети за получаване на научни степени.