Das Eidg. Versicherungsgericht zieht in Erwägung:

1.1 Das kantonale Gericht hat die Beschwerde gegen den Einspracheentscheid vom 24. November 2003 aus formellen Gründen gutgeheissen. Dabei hat es erwogen, die IV-Stelle habe im Einspracheentscheid im Wesentlichen auf die Stellungnahme ihres Abklärungsdienstes vom 11. August 2003 und auf die Gewerbestatistik 2001/2002 abgestellt. Sie habe somit dem Dossier neue Akten beigefügt und sich bei der Entscheidfindung darauf gestützt, ohne den Versicherten darüber informiert zu haben. In diesem Vorgehen der Verwaltung erblickt die Vorinstanz eine Verletzung des Anspruchs auf rechtliches Gehör. Angesichts der erheblichen Versäumnisse komme eine Heilung der Gehörsverletzung nicht in Betracht. Es hob daher den Einspracheentscheid auf und wies die Sache an die IV-Stelle zurück, damit sie dem Versicherten das rechtliche Gehör gewähre und hernach neu verfüge.

1.2 Die IV-Stelle macht demgegenüber geltend, die Stellungnahme des Abklärungsdienstes habe keine neuen Tatsachen oder Erkenntnisse enthalten. Sie habe lediglich dazu gedient, im Rahmen des internen Entscheidfindungsprozesses die Ergebnisse des Abklärungsberichts vom 21. Mai 2003 zu erläutern. Die Gewerbestatistik sei sodann nur zu Vergleichszwecken herangezogen worden. Sie sei somit für die Entscheidfindung nicht massgebend gewesen.

2. (Anspruch auf rechtliches Gehör; vgl. BGE 132 V 368 mit Hinweisen)

3.1 Aus Inhalt und Funktion des Akteneinsichtsrechts als Teil des Anspruchs auf rechtliches Gehör folgt nach der Rechtsprechung, dass grundsätzlich sämtliche beweiserheblichen Akten den Beteiligten gezeigt werden müssen, sofern in der sie unmittelbar betreffenden Verfügung darauf abgestellt wird. Denn es gehört zum Kerngehalt des rechtlichen Gehörs, dass der Verfügungsadressat vor Erlass eines für ihn nachteiligen Verwaltungsaktes zum Beweisergebnis Stellung nehmen kann. Das Akteneinsichtsrecht ist somit eng mit dem Äusserungsrecht verbunden, gleichsam dessen Vorbedingung. Der Versicherte kann sich nur dann wirksam zur Sache äussern und geeignete Beweise führen oder bezeichnen, wenn ihm die Möglichkeit eingeräumt wird, die Unterlagen einzusehen, auf welche sich die Behörde bei ihrer Verfügung gestützt hat. Das rechtliche Gehör dient in diesem Sinne einerseits der Sachaufklärung und stellt anderseits ein persönlichkeitsbezogenes Mitwirkungsrecht im Verfahren dar. Daraus ergibt sich, dass der Versicherer, welcher neue Akten beizieht, auf die er sich in seiner Verfügung zu stützen gedenkt, grundsätzlich verpflichtet ist, die Beteiligten über den Aktenbeizug zu informieren (BGE 115 V 302 Erw. 2e).

3.2 Das Akteneinsichtsrecht bezieht sich auf sämtliche verfahrensbezogenen Akten, die geeignet sind, Grundlage des Entscheids zu bilden. Die Akteneinsicht ist demnach auch zu gewähren, wenn die Ausübung des Akteneinsichtsrechts den Entscheid in der Sache nicht zu beeinflussen vermag. Die Einsicht in die Akten, die für ein bestimmtes Verfahren erstellt oder beigezogen wurden, kann demnach nicht mit der Begründung verweigert werden, die fraglichen Akten seien für den Verfahrensausgang belanglos. Es muss vielmehr dem Betroffenen selber überlassen sein, die Relevanz der Akten zu beurteilen (Urteil des Schweizerischen Bundesgerichts vom 13. August 1996, 2A.444/1995).

4.1 Nach Art. 42 ATSG haben die Parteien Anspruch auf rechtliches Gehör. Sie müssen nicht angehört werden vor Verfügungen, die durch Einsprache anfechtbar sind. Spätestens im Einspracheverfahren hat die Verwaltung jedoch die allgemeinen Grundsätze des rechtlichen Gehörs zu wahren und folglich der versicherten Person oder ihrem Vertreter Einsicht in die Akten zu gewähren, auf deren Grundlage sie den Einspracheentscheid abstützt (vgl. RKUV 1992 Nr. U 152 S. 200 Erw. 3b). Wird nach Erhebung einer Einsprache festgestellt, dass die Entscheidungsgrundlagen unvollständig sind, so ist der Sachverhalt unter Wahrung der Parteirechte zu vervollständigen und das Verwaltungsverfahren mit dem Einspracheentscheid abzuschliessen (BGE 131 V 413 Erw. 2.1.2.2).

4.2 Die IV-Stelle hatte dem Versicherten den Abklärungsbericht für Selbstständigerwerbende vom 21. Mai 2003 zusammen mit der Verfügung vom 29. Mai 2003 zugestellt. Für den Beschwerdegegner bestand daher kein Anlass, im Verwaltungsverfahren ein Gesuch um Akteneinsicht zu stellen. Die IV-Stelle hätte ihm nach dem in Erw. 4.1 Gesagten die im Einspracheverfahren eingeholte Stellungnahme des Abklärungsdienstes vom 11. August 2003 samt Beilage von sich aus vor Erlass des Einspracheentscheids zur Stellungnahme überlassen müssen.

5.1 Das Recht auf Akteneinsicht ist wie das Recht, angehört zu werden, formeller Natur. Die Verletzung des Rechts auf Akteneinsicht führt ungeachtet der Erfolgsaussichten der Beschwerde in der Sache selbst zur Aufhebung der angefochtenen Verfügung. Vorbehalten bleiben praxisgemäss Fälle, in denen die Verletzung des Akteneinsichtsrechts nicht besonders schwer wiegt und dadurch geheilt wird, dass die Partei, deren rechtliches Gehör verletzt wurde, sich vor einer Instanz äussern kann, welche sowohl die Tat- als auch die Rechtsfragen uneingeschränkt überprüft (BGE 115 V 305 Erw. 2h; RKUV 1992 Nr. U 152 S. 199 Erw. 2e). Von einer Rückweisung der Sache zur Gewährung des rechtlichen Gehörs an die Verwaltung ist im Sinne einer Heilung des Mangels selbst bei einer schwer wiegenden Verletzung des rechtlichen Gehörs dann abzusehen, wenn und soweit die Rückweisung zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen würde, die mit dem (der Anhörung gleichgestellten) Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache nicht zu vereinbaren wären (BGE 116 V 187 Erw. 3d).

5.2 Dass die Stellungnahme des Abklärungsdienstes vom 11. August 2003 eine wesentliche Grundlage des Einspracheentscheids bildete, kann nicht zweifelhaft sein. Die IV-Stelle hat deren Argumentation praktisch integral übernommen und bezüglich der einzelnen Einwände des Einsprechers umfassend daraus zitiert. Aus diesem Umstand kann indessen nicht gefolgert werden, die Nichtzustellung dieses Berichts vor Erlass des Einspracheentscheids stelle eine schwere, keiner Heilung zugängliche Verletzung des rechtlichen Gehörs dar. Der Abklärungsdienst bestätigte nämlich in allen wesentlichen Punkten lediglich die der Verfügung vom 29. Mai 2003 zugrunde gelegte Beurteilung. Sein Ergänzungsbericht enthält keine neuen entscheidrelevanten Gesichtspunkte, sondern äussert sich einzig zu den in der Einsprache vorgebrachten Rügen. Selbst wenn eine Gehörsverletzung zu bejahen ist, muss sie mit Blick auf die Verfahrensdauer und das Interesse des Versicherten an einem raschen Abschluss des Verfahrens als leicht bezeichnet werden, so dass trotz der Zurückhaltung, welche sich das Eidgenössische Versicherungsgericht bei der Prüfung der Frage auferlegt, ob eine Vorinstanz einen (festgestellten) Verfahrensmangel zu Recht als unheilbar erachtet hat (vgl. RKUV 1998 Nr. U 309 S. 461 Erw. 3c), die Aufhebung des Einspracheentscheids ohne materielle Beurteilung der Sache Bundesrecht verletzt.

6.1 Der Beschwerdegegner hat im vorinstanzlichen Verfahren denn auch keine Verletzung des rechtlichen Gehörs durch die Einsprachebehörde gerügt und keinen Antrag auf Rückweisung der Sache an die Verwaltung gestellt und somit in keiner Weise angezeigt, dass ihm an einem formell richtigen Verfahren mehr liegt als an einer beförderlichen Verfahrenserledigung (vgl. BGE 119 V 218). Vielmehr hat er einzig Aktenedition verlangt, verbunden mit der Möglichkeit, anschliessend dazu Stellung nehmen zu können. Damit hat er zum Ausdruck gebracht, dass er zumindest in die von der Verwaltung beigezogenen Akten Einsicht nehmen und sich dazu äussern möchte, bevor das Gericht über die materielle Rechtmässigkeit des Einspracheentscheids befindet.

6.2 Grundsätzlich hat eine Partei ein Gesuch um Akteneinsicht zu stellen, damit überhaupt die Einsichtnahme gewährt oder verweigert werden kann (vgl. SVR 2002 IV Nr. 32 S. 103; KÖLZ/HÄNER, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 2. Aufl., Zürich 1998, Rz 298). So kann der Versicherer gemäss Art. 8 Abs. 1 ATSV die Gewährung der Akteneinsicht von einem schriftlichen Gesuch abhängig machen. Allerdings bedingt dies, dass die Beteiligten über den Beizug neuer entscheidwesentlicher Akten informiert werden, welche diese nicht kennen und auch nicht kennen können (KÖLZ/BOSSHART/RÖHL, Kommentar zum Verwaltungsrechtspflegegesetz des Kantons Zürich, 2. Aufl., Zürich 1999, N 71 zu § 8; MERKLI/AESCHLIMANN/HERZOG, Kommentar zum Gesetz vom 23. Mai 1989 über die Verwaltungsrechtspflege des Kantons Bern, Bern 1997, S. 196; Kieser, ATSG-Kommentar, N 20 zu Art. 47).

6.3 Die Entscheidung über Einsichtsbegehren obliegt in erster Linie derjenigen Behörde, in deren Zuständigkeitsbereich die Akten gehören. Da mit der Erhebung einer Beschwerde die Sache aufgrund des Devolutiveffekts in den Zuständigkeitsbereich der Rechtsmittelinstanz übergeht, liegt es in deren Zuständigkeit, die Akteneinsicht zu gewähren, zu verweigern und zu bestimmen, inwieweit Kenntnis zu geben ist, wenn im Beschwerdefall Akteneinsicht verlangt wird (nicht veröffentlichtes Urteil vom 12. Februar 1992, I 230/91; vgl. auch ZAK 1988 S. 38). In der vorinstanzlichen Vernehmlassung vom 6. Februar 2004 hält die IV-Stelle fest, die genannten Unterlagen befänden sich in den Akten und würden auf Gesuch hin ohne weiteres zur Verfügung gestellt.

6.4 Das kantonale Gericht hätte somit über die Akteneinsicht mit der Möglichkeit der betroffenen Partei, sich zu den fraglichen Unterlagen zu äussern, selber befinden müssen und die Sache nicht zu deren Vollzug an die Verwaltung zurückweisen dürfen.