A.- Gaspard Pellaz, né en 1911, marié et père de famille, souffre de diverses affections du dos. Se fondant sur un prononcé du 8 juin 1967 de la Commission cantonale valaisanne de l'assurance-invalidité qui constatait l'existence d'un taux d'invalidité de 80%, la Caisse de compensation des Centrales suisses d'électricité mit le prénommé au bénéfice d'une rente et de rentes complémentaires à partir du 1er avril 1967 (décision du 3 août 1967).

La caisse précitée lui ayant communiqué des rapports médicaux qui attestaient un degré d'invalidité de 25% seulement, le 4 septembre 1968, en l'informant qu'elle suspendrait le paiement de la rente "jusqu'à ce qu'une nouvelle décision ait pu être prise", la commission susmentionnée procéda à diverses mesures d'instruction. Puis elle fixa à 50% l'invalidité de l'intéressé (prononcé du 24 avril 1969), taux qu'elle confirma les 19 février 1970 et 24 juin 1971. Aucun des trois prononcés rendus par elle ne fut cependant notifié à l'assuré par la Caisse de compensation des Centrales suisses d'électricité, qui se disait persuadée que l'intéressé aurait pu réaliser plus de la moitié ou des deux tiers d'un gain normal.

Gaspard Pellaz s'adressa alors le 10 septembre 1971 à l'Office fédéral des assurances sociales pour se plaindre de la carence de l'administration. Ledit office lui répondit le 4 novembre 1971 qu'il considérait sa lettre comme un recours, lequel fut transmis au Tribunal cantonal valaisan des assurances. Par jugement du 3 février 1972, ce dernier renvoya le dossier à l'assurance pour complément d'instruction et nouvelle décision. Les premiers juges estimaient en bref que les pièces ne permettaient pas de décider si l'assuré faisait fautivement obstacle à une réadaptation et qu'elles étaient de toute façon insuffisantes pour évaluer le taux d'invalidité. Ce jugement fut confirmé en dernière instance par le Tribunal fédéral des assurances, le 13 avril 1972.

Par prononcé du 28 juillet 1972, la Commission cantonale valaisanne de l'assurance-invalidité ordonna l'octroi d'une demi-rente dès le 1er octobre 1968, après avoir procédé aux mesures requises. La caisse de compensation soumit cependant le cas à l'Office fédéral des assurances sociales, qui pria la commission de compléter encore l'instruction, ce qu'elle fit avant de confirmer son plus récent prononcé, le 3 mai 1973. Le 22 juin 1973 enfin, la caisse alloua à l'assuré, dont l'épouse avait eu 60 ans en 1970, une rente entière de couple, et fixa à 37'856 fr. la somme qu'elle lui devait à titre de prestations arriérées.

B.- Gaspard Pellaz recourut contre ce dernier acte de l'administration en concluant au versement d'un intérêt moratoire sur les arrérages payés rétroactivement et à une indemnité d'avocat. En effet, au cours de la procédure administrative, il avait consulté Me T.; en revanche, il agissait seul devant la juridiction de première instance.

Le 8 mars 1974, le Tribunal cantonal valaisan des assurances admit la première conclusion et rejeta la seconde. Il condamna la caisse intimée à payer sur les rentes arriérées un intérêt de retard dont il arrêta le taux à 5% l'an "dès chaque échéance des rentes mensuelles, soit le 1er de chaque mois (art. 47 al. 3 LAI et 44 al. 1 LAVS), mais au plus tôt dès le 1er juin 1969". Ledit intérêt devait être calculé "jusqu'à la date du versement effectif de l'arriéré arrêté par décision du 22 juin 1973".

C.- La Caisse de compensation des Centrales suisses d'électricité a formé en temps utile un recours de droit administratif contre le jugement cantonal. Elle conclut à libération de l'obligation de verser un intérêt. Selon elle, la fixation définitive de la rente a été différée longtemps à cause d'avis médicaux contradictoires, et elle avait le devoir de suspendre des versements qui auraient pu se révéler indus et irrécupérables.

Agissant au nom de l'intimé, Me M. conclut avec suite de frais et dépens au rejet du recours.

Dans sa réponse, l'Office fédéral des assurances sociales estime que le litige porte sur le droit de l'assuré à la demi-rente allouée depuis le 1er octobre 1968, à un intérêt moratoire ainsi qu'au remboursement de ses frais d'avocat. Il se borne cependant à conclure à l'admission du recours sur la question des intérêts de retard, parce que la LAI - à la différence de la LAMA - ne laisserait nulle place au versement de tels intérêts; il renonce en revanche à formuler des conclusions sur les deux autres points qu'il soulève.

1. Fondé sur l'art. 85 al. 2 lit. d LAVS, le Tribunal fédéral des assurances a dit qu'en cas de recours la décision entière doit, en général, être examinée d'office par l'autorité judiciaire. Cependant, la jurisprudence a tracé des limites à ce principe; le juge ne saurait revoir spontanément des questions non litigieuses, sauf si ces dernières se trouvent avec des questions litigieuses dans un rapport de connexité suffisant pour en justifier l'examen simultané (v. p.ex. RO 98 V 33). Cela vaut pour les deux instances judiciaires.

a) Le Tribunal cantonal valaisan des assurances a refusé d'indemniser l'intimé Gaspard Pellaz des frais d'avocat concernant la phase administrative de la procédure. Personne n'a attaqué cette partie du dispositif du jugement. Le seul recours de droit administratif a trait à l'intérêt moratoire, soit à une question manifestement dépourvue de connexité avec celle des frais de conseil. Contrairement à l'opinion de l'Office fédéral des assurances sociales, le Tribunal fédéral des assurances n'a donc pas à revenir d'office sur cette question-ci.

b) La contestation relative à l'intérêt moratoire est dans un certain rapport de connexité avec l'existence du droit à la rente, puisqu'il ne saurait y avoir d'intérêt pour cause de retard si aucun paiement ne devait être effectué. Mais l'obligation éventuelle de payer un intérêt moratoire est ici une conséquence très mineure de la dette de rente, de sorte qu'il serait abusif d'exiger du juge qu'il revoie d'office, à l'occasion d'un recours ne portant que sur l'intérêt, une rente dont la fixation a donné lieu à de nombreuses mesures d'instruction et dont ni la caisse de compensation ni l'assuré ne contestent le principe ou les modalités. Par conséquent, contrairement encore à l'opinion de l'Office fédéral des assurances sociales, c'est à juste titre que le Tribunal cantonal valaisan des assurances a considéré la décision du 22 juin 1973 comme passée en force quant à l'existence du droit à la rente et quant à la nature, au montant et à la durée de cette prestation. Le Tribunal fédéral des assurances n'a pas de motifs, lui non plus, de revenir sur cet objet.

2. S'agissant du pouvoir d'examen de la Cour de céans (et de la question des frais de justice), il y a lieu de considérer que le présent litige porte sur des prestations d'assurance, au sens des art. 132 et 134 OJ.

3. Sur le seul problème que le Tribunal fédéral des assurances ait à résoudre, celui de l'intérêt moratoire, l'argumentation de l'autorité de première instance est pertinente.

Dans le domaine du droit des assurances sociales, le Tribunal fédéral des assurances considère depuis longtemps déjà qu'il n'y a en principe pas place pour des intérêts moratoires, lesquels ne sont pas prévus par la législation (v. p.ex. ATFA 1952, p. 88, 1960, p. 94, 1967, p. 57, 1968, pp. 19 et 167; RJAM 1973, No 168, p. 68 consid. 3, No 174, p. 126 consid. 2; v. aussi RO 95 I 258 consid. 3, p. 263, et MAURER, Recht und Praxis der Schweizerischen obligatorischen Unfallversicherung, 2e édition, p. 276, No 2). La doctrine a en général approuvé cette conception, du moins tacitement (GRISEL, Droit administratif suisse p. 325; IMBODEN, Schweizerische Verwaltungsrechtsprechung, 4e édition, No 123 I; RENGGLI, SZS 1961, p. 10; MAURER, SZS 1972, pp. 189 ss; contra: PFLUGER, SKZ 1968, p. 227). La principale raison de l'exclusion de la dette d'intérêts en matière d'assurance sociale réside dans le rôle dévolu à l'administration. Celle-ci se présente comme détentrice de la puissance publique chargée d'instruire, parfois longuement, les demandes de prestations émanant des particuliers et de leur appliquer le droit de manière objective. Lui imposer systématiquement des intérêts moratoires reviendrait à la pénaliser pour avoir accompli son devoir avec soin. Quant à l'assuré, la règle de l'égalité des parties commande de le dispenser lui aussi du paiement d'intérêts de retard lorsqu'il a défendu ce qu'il estimait être son droit (ATFA 1968, p. 19; MAURER, SZS 1972, pp. 189 ss). Ce principe a pourtant ses limites, et il peut arriver qu'exceptionnellement des circonstances justifient qu'on y déroge. Dans l'arrêt ATFA 1968, p. 19, le Tribunal fédéral des assurances a vu l'existence d'une telle circonstance, en matière d'assurance-maladie, dans le fait qu'une assurée avait contesté devoir des cotisations sans avoir invoqué aucun moyen libératoire, ni cherché d'arrangement avec la caisse, ni mis fin au plus tôt à des engagements qu'elle ne pouvait ou ne voulait pas tenir, obligeant ainsi l'institution d'assurance à procéder à des démarches fastidieuses.

De manière générale, on peut dire qu'il faut laisser l'administration exercer ses fonctions publiques et l'assuré défendre ses droits sans craindre de devoir verser des intérêts moratoires. On ne saurait cependant laisser sans aucune sanction des manoeuvres illicites ou purement dilatoires. L'octroi d'intérêts de retard, dans ces hypothèses, se justifie même dans le domaine des assurances sociales. Mais il ne doit intervenir qu'avec retenue, ne serait-ce que pour éviter les inconvénients signales par MAURER (SZS 1972, pp. 189 ss). L'opinion de l'Office fédéral des assurances sociales, qui estime qu'en matière d'assurance-invalidité l'administration en demeure ne peut jamais devoir d'intérêt de retard, a par conséquent le tort d'être absolue. Qu'on doive peut-être tolérer de plus grands délais de paiement dans certains domaines des assurances sociales que dans d'autres, c'est possible. Mais la question souffre de rester indécise dans le présent arrêt, car les atermoiements de la caisse recourante étaient inadmissibles.

4. Ainsi que l'exposent les premiers juges, on peut considérer en l'occurrence qu'il était du devoir des organes de l'assurance de réexaminer le bien-fondé de la rente en cours sans risquer d'être pénalisés plus tard par le versement d'intérêts moratoires pour avoir pris le temps nécessaire à une révision sérieuse. Or, après instruction complémentaire, la commission de l'assurance-invalidité a tenu compte des faits nouveaux signalés par la caisse ainsi que des autres pièces du dossier et réduit à 50% son estimation du taux d'invalidité. Avec son prononcé du 24 avril 1969, la procédure était close; une décision formelle notifiant ce prononcé à qui de droit aurait normalement dû suivre dans un délai raisonnable et le versement des prestations de l'assurance-invalidité, reprendre sous la forme d'une demi-rente.

Mais la Caisse de compensation des Centrales suisses d'électricité a refusé de donner suite au prononcé de la Commission cantonale valaisanne de l'assurance-invalidité, et cela à plus d'une reprise, outrepassant en cela manifestement ses compétences, comme l'explique pertinemment le jugement attaqué. On se bornera à rappeler à cet égard que les caisses de compensation sont liées par les prononcés des commissions de l'assurance-invalidité relatifs à l'existence, à la durée et au degré de l'invalidité (art. 54, 60 LAI, 74 et 75 RAI). Quand elles constatent à ce sujet une irrégularité, elles doivent la signaler à la commission compétente et, le cas échéant, à l'autorité de surveillance; mais il ne leur appartient ni de suspendre de leur propre chef le paiement d'une rente - si ce n'est pour une courte durée - ni d'ignorer volontairement les prononcés des commissions cantonales (v. le message du 24 octobre 1958 du Conseil fédéral relatif à la LAI, pp. 72-73; Circulaire du 1er avril 1964 de l'Office fédéral des assurances sociales sur la procédure, ch. 193 à 196; Circulaire du 1er octobre 1964 de l'Office fédéral des assurances sociales sur le contentieux, ch. 91 et 92).

Dans ces conditions, c'est à bon droit que le Tribunal cantonal valaisan des assurances a refusé d'appliquer la règle générale, admise par la jurisprudence et la doctrine en matière d'intérêts moratoires dans l'assurance sociale, en présence du refus arbitraire, réitéré et de longue durée d'un organe de l'assurance-invalidité d'exécuter la décision prise par une autorité compétente d'accorder des prestations à l'intimé.

Rapport soit, pour le surplus, aux considérants du jugement déféré au Tribunal fédéral des assurances, s'agissant notamment du taux de l'intérêt dû (5% l'an; v. GRISEL, op.cit., p. 325) et de la manière de le calculer en l'espèce (au regard notamment de la date d'exigibilité), considérants qui échappent à toute critique et ne sont du reste pas attaqués sur ces points.

Par ces motifs, le Tribunal fédéral des assurances prononce:

Le recours est rejeté.