<td><a href="#"
 onclick="xbb_insertLink('img', '<?php echo $xbb_lang['img_prompt']; ?>');return false;"
 class="toolbarButton"><img alt="[img]" src="./images/buttons/image.gif"
 id="img_img" /></a></td>

<?php
// Подключаем JsHttpRequest. У вас путь к библиотеке будет, наверное, другим:
include_once './JsHttpRequest.php';
// Если надо, пофиксите кодировку:
$JsHttpRequest = new JsHttpRequest('utf-8');
 
// Сохраняем картинку. Пофиксите путь и все остальное:
$path = 'img/' . rand() . '.jpg';
move_uploaded_file($_FILES['img']['tmp_name'], $path);
$path = '/bbcode/test/' . $path;
 
// Отдаем фронтенду путь к картинке:
$_RESULT = array('path' => $path);

<script type="text/javascript">
// Выводит форму для выбора картинки:
function img()
{
    xbb_buttonClick();
    var div = document.getElementById('hidden_div');
    if ('none' != div.style.display) {
        div.style.display = 'none';
        return false;
    }
    if (window.innerWidth) {
        var width = window.innerWidth;
    } else {
        var width = parseInt(xbb_editor.currentStyle.width);
    }
    div.style.top = (parseInt(xbb_height/2) - 100) + 'px';
    div.style.left = (parseInt(width/2) - 160) + 'px';
    div.innerHTML = '<div style="width:320px;height:180px;padding:10px">'
        + '<form onsubmit="imgSubmit();return false" name="imgOptions" '
        + 'method="post" enctype="multipart/form-data">'
        + '<p>Введите адрес картинки:</p>'
        + '<input name="address" style="width:300px" />'
        + '<p>или залейте новую:</p>'
        + '<input type="file" name="img" style="width:300px" />'
        + '<br /><br />'
        + '<input type="submit" value="Готово" />';
        + '</form>'
        + '</div>';
    div.style.display = '';
    return false;
}
// Обрабатывает сабмит формы для выбора картинки:
function imgSubmit()
{
    var addr = document.imgOptions.address.value;
    if (addr) {
        imgInsert(addr);
        return;
    }
    xbb_startLoader();
    document.getElementById('loader').style.zIndex = "10";
    // (не забудьте подгрузить JsHttpRequest.js)
    var req = new JsHttpRequest();
    req.onreadystatechange = function() {
        if (req.readyState == 4) {
            imgInsert(req.responseJS.path);
        }
    }
    req.open(null, '/bbcode/test/backend.php', true);
    req.send({img: document.imgOptions.img});
}
// Формирует BBCode и вставляет его в текст.
function imgInsert(addr)
{
    document.getElementById('hidden_div').style.display = 'none';
    xbb_insertTags('[img]' + addr + '[/img]', '');
    xbb_stopLoader();
}
</script>
 
<td><a href="#" onclick="img();return false;"
 class="toolbarButton"><img alt="[img]" src="./images/buttons/image.gif"
 id="img_img" /></a></td>