В сентябре 1784 года Гавриил Романович прибыл в Петрозаводск. Круг обязанностей, возложенный на правителя, был довольно широк. Прежде всего, он должен был наблюдать за деятельностью всех должностных лиц в губернии, чётким соблюдением законодательства. Кроме того, на наместника возлагалось попечение о нуждах населения.
Для работы Олонецкого наместничества в Петрозаводске на Круглой площади были построены специальные здания, сохранившиеся и поныне. Наместничество состояло из 8 уездов: Петрозаводского, Олонецкого, Каргопольского, Лодейнопольского, Вытегорского, Повенецкого, Пудожского и Кемского. Официальное открытие присутственных мест состоялось 17 декабря 1784 года. Оно было ознаменовано приездом генерал-губернатора Тимофея Ивановича Тутолмина, пушечным салютом, колокольным звоном и другими праздничными мероприятиями, в ходе которых губернский прокурор лично зачитал функциональные обязанности всем чинам губернского правления.
Большая часть местного чиновничества формировалась из «временщиков», присланных сюда из Санкт-Петербурга, порой не по своей воле. Недостаток грамотных и квалифицированных чиновников сохранялся особенно в период формирования губернских учреждений. В документах Олонецкого губернского правления сохранилось донесение Державину от председателя судебной палаты, в котором он жалуется на невозможность вести нормально дело, поскольку оформлением бумаг в канцелярской части занимаются «худо умеющие писать дети от 12 до 14 лет».
Новому губернатору пришлось бороться и с низким моральным уровнем управленцев. Каждый случай мздоимства и связанное с ним наказание Гавриил Романович предавал широкой огласке, часто угрожая в следующий раз ужесточить кару для провинившегося. С другой стороны, тем, кто «порядочно свою службу служит», Державин объявлял свое «удовольствие», то есть, благодарность. Такие находились, в основном, среди немногочисленных управленцев, приехавших в Олонецкий край вместе с Державиным – недавних студентов, едва начавших свою карьеру. Н. Ф. Эмин, А. М. Грибовский, Ф. Г. Поспелов были весьма образованными людьми, связанными с литературным творчеством. Они писали стихи, занимались переводами. Возможно, их близость к литературному титану и одновременно государственному чиновнику высшего ранга не была случайной – впоследствии карьера молодых людей пошла в гору. Николай Эмин, сын известного в то время писателя и журналиста Федора Эмина, не оставил литературного творчества даже став гражданским губернатором в Выборгской губернии. А. М. Грибовский после отъезда из Карелии служил при Потёмкине, затем стал статс-секретарем Екатерины II.
Раз в три года объезжать губернию и составлять её описание также входило в обязанности наместника. В 1785 году Державин на лодках и на лошадях проехал почти две тысячи километров, составив Подёную записку – ценный исторический документ. В ней содержится описание природы и занятий населения, этнографические сведения, даётся характеристика поселений Олонецкой губернии. Например, приводится первое описание водопада Кивач, о котором он напишет оду, уже покинув Карелию.
Особую ценность представляют описания встречи в карельских лесах со старообрядцами. Державин посещал их скиты и монастыри, общежительство Выгорецию, знакомился с укладом жизни, рассматривал книги и церковную утварь. Текст записки не содержит неприязни к старообрядцам, что можно принять за веротерпимость губернатора, которому Синод предписывал решительно бороться с раскольниками.
В городе Кемь по поручению Екатерины II он открывает присутственные места и придаёт городу статус уездного. Для уточнения русско-шведской границы было произведено тщательное описание приграничных поселений Повенец, Сумский острог, Реболы, Лендеры, Гимолы, Лубосалми, Поросозеро.
Новый губернатор возглавил Олонецкий приказ общественного призрения. При его непосредственном участии в Петрозаводске появляется первая казенная больница, в которой люди могли лечиться бесплатно. Гавриил Романович лично написал устав больницы и аптеки при ней.
С Державиным в Петрозаводске находилась его жена, красавица Екатерина Яковлевна, которая успокаивала его после трудов праведных игрой на арфе. Сам он любил играть на скрипке. Из окон их дома на Губернскую площадь лились звуки очаровательной музыки. Первое народное училище, первый губернский архив тоже связаны с деятельностью Г. Р. Державина. В помощь первой больнице он пожертвовал 100 рублей, сумму по тем временам немалую.
Гавриил Романович вникал во все вопросы работы учреждений вверенной ему губернии, вплоть до пошива мундиров для чиновников. Для чиновничества существовал своеобразный культ формы. В год создания Олонецкой губернии в 1784 году Екатерина II установила губернские мундиры без различия рангов применительно к «трем полосам Империи». Олонецкая губерния, относящаяся к северной полосе, получила мундир светло-синего цвета. В его состав входили: суконный кафтан с отложным воротником и длинными лацканами, камзол, штаны до колен, чулки, башмаки и черная треугольная шляпа. Отделка – воротник, лацканы, обшлага – были одного цвета, пуговицы из жёлтого металла.
Введение мундиров во вновь создаваемой губернии было важным не только организационно-хозяйственным, но и мероприятием социального характера. Причём предписывалось для общей пользы приобретать сукна и другие товары, необходимые для изготовления мундиров, преимущественного отечественного характера. Деньги для покупки сукна и других материалов, необходимых для пошива мундиров, давало государство, а вот расходы за шитьё несли сами чиновники.
Взаимоотношения генерал-губернатора Т. И. Тутолмина и Олонецкого наместника Г. Р. Державина складывались очень непросто. Поначалу генерал-губернатор довольно радушно встретил назначение Державина гражданским губернатором Олонецкого края. Их многое объединяло: Тутолмин тоже писал стихи, занимался меценатством. Позднее отношения осложнились из-за административной неразберихи. Тутолмин перевёз в Петрозаводск из Архангельска множество своих близких и дальних родственников, которые стали чиновниками различного ранга. Его люди служили в губернском правлении, верхнем земском суде, казённой палате. В ходе разгоревшегося конфликта это обстоятельство играло немаловажную роль.
Другой насущной проблемой становления государственной службы было недостаточное материальное обеспечение Олонецкого наместничества, хотя в указе об учреждении наместничества говорилось о выделении 20 тысяч рублей ежегодно в течение пяти лет. В Национальном архиве Республики Карелия хранится протокол Олонецкого наместнического правления от 26 марта 1785 года, в котором утверждается, что «по подряду для сего правления сделано столярною работою шесть столов со шкафами, два стола без шкафов, одно копеистское место и шесть стульев… за которые причитается двадцать шесть рублей девяносто девять копеек». Причём, изготовленные столы и стулья составляли лишь половину необходимых. Возможно, положенная сумма так и не дошла до места назначения.
Жалование чиновникам Олонецкого наместничества выплачивалось нерегулярно. Это подтверждается протоколом Олонецкого наместнического правления от 12 марта 1785 года где указывается, что чиновникам последний раз платили в декабре прошлого года, «но по великой дороговизне съестных припасов и прочих к содержанию их надобностей, терпят крайнюю нужду, для чего просят по своему суще недостатку выдать им заслуженное их за два месяца, то есть за генварь и февраль, жалование».
Несмотря на все сложности и трудности, под руководством нового губернатора повседневная и порой малозаметная работа Олонецких чиновников разных рангов обеспечивала нормальное функционирование государственного механизма Российской империи в этом важном в геополитическом отношении крае. Предложенный указом императрицы принцип разделения властей был реализован на практике.