Микола Федорович закінчив Катеринославську Духовну Семінарію.
З 1889 року учителював у Бахмутській духовній школі, цього разу уже в становищі вчителя. Після дванадцяти років учителювання він кидає бурсу і 1901 року переїздить до Чернігова.
У 1901—1903 роках працював земським статистиком у Чернігові, з 1903-го жив у Херсоні та до 1919 працював там у губерніюземстві, пізніше вчителював.
У 1903 році Микола Федорович переїхав у свій будинок на Пестелевському проїзді (нині — вул. Перекопська). У теперішній час будинок Чернявського використовується як приватне майно. Біля парадного входу встановлено дві пам'ятні таблички, присвячені Чернявському і Коцюбинському.
У 1917 році очолив товариство «Українська Хата в Херсоні». Повстання Української держави у 1917 році Чернявський привітав, але активної участі в її розбудові не взяв та по її поразці залишився під совєтами, хоч радянським письменником теж не став і з 1933 року зовсім перестав друкуватися. Пізніше був репресований, а твори його були заборонені. Реабілітований по смерті Й. Сталіна. Але радянська критика і після реабілітації закидала Чернявському український націоналізм.
Довгий час помилково вважалося, що він загинув у 1948 році. Лише у 1992-му пошуковці встановили справжню дату смерті письменника. Він був розстріляний опівночі з 19 на 20 січня 1938 року.