DevExpress Office File API是一個(gè)專(zhuān)為C#, VB.NET 和 ASP.NET等開(kāi)發(fā)人員提供的非可視化.NET庫(kù)。有了這個(gè)庫(kù)，不用安裝Microsoft Office，就可以完全自動(dòng)處理Excel、Word等文檔。開(kāi)發(fā)人員使用一個(gè)非常易于操作的API就可以生成XLS, XLSx, DOC, DOCx, RTF, CSV 和 Snap Report等企業(yè)級(jí)文件。

出于與可訪問(wèn)性相關(guān)的原因，某些業(yè)務(wù)使用場(chǎng)景要求Office文檔為圖形內(nèi)容(圖像、圖表等)包含有意義的描述/替代文本(Alt text)。Alt Text幫助有視覺(jué)障礙的人理解圖片和其他圖形內(nèi)容(屏幕閱讀器不能正確閱讀沒(méi)有Alt Text的包含圖像的文檔)。此外，沒(méi)有Alt Text的文檔不能正確導(dǎo)出為可訪問(wèn)的PDF(這些PDF無(wú)法通過(guò)可訪問(wèn)性驗(yàn)證)。

OpenAI平臺(tái)提供了解決這一特殊需求/問(wèn)題的解決方案(OpenAI的生成式AI可以幫助描述Word和Excel文件中的圖像和其他圖形內(nèi)容)。在這本文中，我們將向您展示如何將OpenAI模型集成到DevExpress驅(qū)動(dòng)的Office File API應(yīng)用程序中，并添加缺失的媒體描述和Alt Text。處理完文檔后，用戶可以將文件導(dǎo)出為可訪問(wèn)的PDF，或者在文檔查看器中上傳，然后使用屏幕閱讀器閱讀。

DevExpress Office File API 最新正式版下載

DevExpress技術(shù)交流群10：532598169      歡迎一起進(jìn)群討論

我們創(chuàng)建了一個(gè)示例項(xiàng)目來(lái)幫助說(shuō)明策略，這個(gè)REST API應(yīng)用程序包括兩個(gè)端點(diǎn)：描述Word文檔中的圖像和Excel文件中的圖表。

您可以從GitHub下載這個(gè)項(xiàng)目：

實(shí)現(xiàn)OpenAI模型API

在您將此解決方案納入應(yīng)用程序之前，請(qǐng)務(wù)必閱讀并理解OpenAI的許可協(xié)議和使用條款。

首先，在項(xiàng)目中添加對(duì)包的引用，這個(gè)包適應(yīng)OpenAI的REST APIs，因此它們可以在非Azure OpenAI開(kāi)發(fā)中使用。

我們將使用這個(gè)API發(fā)送請(qǐng)求和處理響應(yīng)。

下面的代碼片段發(fā)送一個(gè)請(qǐng)求來(lái)描述一個(gè)圖像，并獲得一個(gè)帶有響應(yīng)的字符串。

class OpenAIClientImageHelper {
OpenAIClient client;
internal OpenAIClientImageHelper(string openAIApiKey) {
client = new OpenAIClient(openAIApiKey, new OpenAIClientOptions());
}
string ConvertDXImageToBase64String(DXImage image) {
using (MemoryStream stream = new MemoryStream()) {
image.Save(stream, DXImageFormat.Png);
byte[] imageBytes = stream.ToArray();
return Convert.ToBase64String(imageBytes);
}
}
internal async Task<string> DescribeImageAsync(OfficeImage image) {
string base64Content = ConvertDXImageToBase64String(image.DXImage);
string imageContentType = OfficeImage.GetContentType(OfficeImageFormat.Png);
return await GetImageDescription($"data:{imageContentType};base64,{base64Content}");
}
internal async Task<string> GetImageDescription(string uriString) {
ChatCompletionsOptions chatCompletionsOptions = new() {
DeploymentName = "gpt-4-vision-preview",
Messages =
{
new ChatRequestSystemMessage("You are a helpful assistant that describes images."),
new ChatRequestUserMessage(
new ChatMessageTextContentItem("Give a description of this image in no more than 10 words"),
new ChatMessageImageContentItem(new Uri(uriString))),
},
MaxTokens = 300
};

Response<ChatCompletions> chatResponse = await client.GetChatCompletionsAsync(chatCompletionsOptions);
ChatChoice choice = chatResponse.Value.Choices[0];
return choice.Message.Content;
}
}

Word Processing Document API端點(diǎn)

我們可以在DevExpress支持的Word Processing Document API應(yīng)用程序中使用上面描述的API，使用集合檢索文檔圖像。按類(lèi)型對(duì)檢索到的形狀排序，并檢查圖像是否包含Alt Text，然后調(diào)用上面實(shí)現(xiàn)的OpenAIClientImageHelper.GetImageDescription方法來(lái)生成圖像描述。

public async Task<IActionResult> GenerateImageAltText(IFormFile documentWithImage,
[FromQuery] RichEditFormat outputFormat) {
try {
var imageHelper = new OpenAIClientImageHelper(openAIApiKey);
using (var server = new RichEditDocumentServer()) {
await RichEditHelper.LoadFile(server, documentWithImage);
server.GenerateAltTextForImages((document) => {
foreach (var shape in document.Shapes) {
if (shape.Type == DevExpress.XtraRichEdit.API.Native.ShapeType.Picture && string.IsNullOrEmpty(shape.AltText))
shape.AltText = imageHelper.DescribeImageAsync(shape.PictureFormat.Picture).Result;
}
});

Stream result = RichEditHelper.SaveDocument(server, outputFormat);
string contentType = RichEditHelper.GetContentType(outputFormat);
return File(result, contentType, $"result.{outputFormat}");
}
}
catch (Exception e) {
return StatusCode(500, e.Message + Environment.NewLine + e.StackTrace);
}
}

Spreadsheet Document API端點(diǎn)

您還可以為Excel圖表生成Alt Text，我們的項(xiàng)目展示了如何結(jié)合Azure OpenAI和Spreadsheet Document APIs來(lái)解決這個(gè)特殊的需求。

首先，您需要將Excel圖表轉(zhuǎn)換為圖像，調(diào)用方法從每個(gè)圖表中獲取OfficeImage對(duì)象，然后調(diào)用上面實(shí)現(xiàn)的OpenAIClientImageHelper.GetImageDescription方法來(lái)生成圖像描述并將其用作Alt Text。

public async Task<IActionResult> GenerateChartAltText(IFormFile documentWithImage,
[FromQuery] SpreadsheetFormat outputFormat) {
try {
var imageHelper = new OpenAIClientImageHelper(openAIApiKey);
using (var workbook = new Workbook()) {
await SpreadsheetHelper.LoadWorkbook(workbook, documentWithImage);
foreach (var worksheet in workbook.Worksheets) {
foreach (var chart in worksheet.Charts) {
OfficeImage image = chart.ExportToImage();
chart.AlternativeText = await imageHelper.DescribeImageAsync(image);
}
}

Stream result = SpreadsheetHelper.SaveDocument(workbook, outputFormat);
string contentType = SpreadsheetHelper.GetContentType(outputFormat);
return File(result, contentType, $"result.{outputFormat}");
}
}
catch (Exception e) {
return StatusCode(500, e.Message + Environment.NewLine + e.StackTrace);
}
}