Il a connu les premiers incidents le 25 août : son voisin (Mérintier ?), un cafetier, a distribué du marc de café « et autres matières » à jeter à ses garçons qui faisaient la parade « lorsqu’ils annonçaient les portraits animés de la famille impériale et royale ». Son épouse « a été renversée d’un coup de citron porté avec violence sur la tempe et l’œil droit, ce qui fut cause qu’un de ses garçons insultés, voyant tomber sa maîtresse, lança une écuelle contre celui qu’il avait vû porter le coup ». Malgré ce geste de défense, Borrelly préfère le congédier dès le lendemain et interdit le tambour, puis la parade au-delà du pas de sa porte, malgré les frais qu’il doit engager (loyer, garde de police, droit des pauvres en augmentation). Devant la perte financière qui s’ensuit, il obtient du commissaire de police de pouvoir à nouveau jouer du tambour jusqu’à 7h du soir et des autres instruments (violon, caisse d’harmonie) jusqu’à 22h, se limitant finalement à ceux-ci ; mais le 10, la caisse lui est retirée par la police. Il s’apprête à quitter son métier, protestant contre l’injustice, puisque ses concurrents ne sont pas soumis à de semblables restrictions (lettre au maire de Marseille, 13 septembre 1806)